엔비디아 GPU 한 장 가격이 5천만 원을 넘어섰습니다. 솔직히 이 숫자를 처음 봤을 때 AI 산업에서 엔비디아 말고는 답이 없다고 생각했습니다. 그런데 그 생각이 흔들리기 시작한 건 비용 문제가 터지면서였습니다. AI 데이터센터 하나 짓는데 수조 원이 들어가는 구조가 되자, 비로소 시장이 다른 선택지를 진지하게 찾기 시작했습니다.
CUDA 락인 구조, 왜 이렇게 무서운가
AI를 조금이라도 공부해본 분이라면 결국 CUDA라는 벽에 한 번씩 막히게 됩니다. CUDA(쿠다)란 엔비디아가 자사 GPU에서 병렬 연산을 효율적으로 처리할 수 있도록 설계한 소프트웨어 플랫폼입니다. 쉽게 말해, GPU라는 하드웨어를 제대로 쓰게 해주는 운영체제 같은 존재입니다. 엔비디아는 이걸 20년 가까이 쌓아왔고, 전 세계 AI 기업들은 이미 이 생태계 위에 자신들의 시스템을 전부 올려놓은 상태입니다.
제가 직접 AI 관련 공부를 해봤을 때 가장 실감했던 부분이 바로 이 지점입니다. 다른 GPU가 성능이 괜찮아도 실제로 쓰려면 라이브러리 호환성부터 막히고, 최적화 도구도 엔비디아 기준으로 만들어진 게 압도적으로 많았습니다. 이게 락인(Lock-in) 효과입니다. 락인이란 한 번 특정 생태계에 들어가면 전환 비용이 너무 커서 쉽게 빠져나오지 못하는 구조를 말합니다. 애플 생태계보다도 더 강하다는 말이 과장이 아닌 이유입니다.
전 세계 AI 연산의 약 90%가 엔비디아 GPU 위에서 돌아가고 있다는 추정이 나올 정도로(출처: NVIDIA 공식 투자자 자료), 이 집중도는 인류 역사에서 한 회사가 하나의 산업을 이렇게까지 장악한 사례를 찾기 어려운 수준입니다. 그러다 보니 빅테크들이 매번 "엔비디아 의존을 끊겠다"고 선언하면서도 실제로는 매년 더 많은 GPU를 주문합니다. 선언과 현실 사이의 간격이 쿠다 생태계의 두께를 그대로 보여줍니다.
CUDA에 종속되지 않으려면 어떻게 해야 할까요. 핵심은 하드웨어 위에 올라가는 소프트웨어 레이어를 직접 만드는 것입니다. 소프트웨어 레이어란 서로 다른 하드웨어가 하나의 시스템처럼 움직이도록 연결해주는 중간 계층입니다. 구글이나 메타 같은 빅테크들이 자체 소프트웨어를 구축해서 AMD GPU를 납품받기 시작한 것도 이 레이어를 직접 확보했기 때문입니다. 하드웨어가 달라져도 자신들이 만든 소프트웨어로 제어할 수 있다는 자신감이 생긴 것이죠.
AMD 투자를 받은 한국 스타트업이 노리는 것
이 구조에서 제가 가장 눈여겨본 것은 한국 스타트업 모레의 접근 방식이었습니다. AMD가 한국 소프트웨어 기업에 직접 투자한 사례 자체가 거의 없다는 점에서, 처음에는 솔직히 과대 포장된 뉴스라고 생각했습니다. 그런데 내용을 뜯어보니 핵심은 단순했습니다. 어떤 반도체든 위에 올라가는 소프트웨어가 잘 작동하면 엔비디아 GPU 없이도 데이터센터를 돌릴 수 있다는 것입니다.
모레가 만드는 것은 GPU 클러스터링 소프트웨어입니다. GPU 클러스터링이란 수천 장, 수만 장의 GPU를 하나의 거대한 연산 시스템처럼 묶어서 효율적으로 작동시키는 기술을 말합니다. 개별 GPU를 잘 만드는 것과, 그 GPU들을 묶었을 때 전체 효율을 극대화하는 것은 완전히 다른 문제입니다. 실제로 같은 하드웨어라도 소프트웨어 최적화에 따라 수백 배 이상의 성능 차이가 나는 게 이 분야의 현실입니다.
모레 팀은 2011~2012년부터 AMD GPU를 활용한 슈퍼컴퓨터 연구를 10년 넘게 해온 경력이 있습니다. 글로벌하게 AMD GPU로 AI 클러스터를 가장 먼저 시도한 팀 중 하나로, KT 클라우드와 협력해 GPU 수천 장 규모의 인프라를 실제로 구축한 사례도 있습니다. 단순 기술 주장이 아니라 실제 레퍼런스가 있다는 점이 AMD의 투자로 이어진 배경으로 보입니다.
현재 전라북도에 엔비디아 GPU가 단 한 장도 들어가지 않는 데이터센터를 구축 중이며, 짐 켈러가 이끄는 텐스토렌트와도 협력 관계를 맺었습니다. 짐 켈러는 애플 A4, AMD Zen 아키텍처 등을 설계한 반도체 업계의 전설적인 엔지니어입니다(출처: Tenstorrent 공식 사이트). 이런 파트너십 자체가 이 프로젝트의 기술적 무게감을 보여주는 신호라고 생각합니다.
물론 냉정하게 봐야 할 리스크도 있습니다.
- 쿠다 생태계는 20년치 라이브러리와 개발자 자산이 축적된 산업 표준입니다. 소프트웨어 하나로 단기간에 흔들 수 있는 구조가 아닙니다.
- AMD나 텐스토렌트의 칩이 엔비디아 수준의 안정적인 양산 체계를 갖추지 못하면 아무리 좋은 소프트웨어도 의미가 없습니다.
- "엔비디아 대항마"라는 프레임 자체가 지나친 기대를 만들 수 있습니다. 제 경험상 이런 표현이 붙으면 실제보다 과대평가되는 경우가 많았습니다.
하지만 모레가 노리는 게 "엔비디아를 이기는 것"이 아니라는 점에서 이 리스크들은 다른 각도로 읽힙니다. 이들이 증명하려는 건 "엔비디아 말고도 선택지가 된다"는 것입니다. 안드로이드가 iOS를 이겨서 70%가 된 게 아니라, 다른 선택지가 되어서 시장을 확장한 것처럼요. GPU 한 장에 5천만 원이 넘는 시대에 두 번째 선택지 하나가 생기는 것만으로도 데이터센터 비용 구조 전체가 바뀔 수 있습니다.
제가 생각이 바뀐 지점은 바로 여기입니다. AI 시대의 진짜 패권이 어떤 GPU를 쓰느냐보다, 그 GPU들을 얼마나 효율적으로 연결하고 계산시키느냐로 이동하고 있다는 신호가 시장 여기저기에서 동시에 나오고 있기 때문입니다.
이 흐름이 성공하든 실패하든, 한국 스타트업이 CUDA 독점 구조에 정면으로 도전하고 있다는 사실은 단순한 국산 기술 뉴스로 넘기기엔 너무 큰 이야기입니다. 앞으로 AI 서비스 비용이 어떻게 바뀌는지, 모레가 실제로 반값 AI 인프라를 상용화하는지를 지켜보는 것이 이 산업의 방향을 읽는 가장 현실적인 방법이라고 생각합니다. 관심 있으신 분들은 모레의 실제 서비스 사례와 데이터센터 구축 진행 상황을 주기적으로 확인해보시길 권합니다.
이 글은 개인적인 경험과 의견을 공유한 것이며, 투자나 기술 도입에 대한 전문적인 조언이 아닙니다.