엔비디아 AI칩 구매 전쟁…“팬데믹 때 동난 화장지 같아”

[이데일리 김상윤 기자] “코로나19 팬데믹 당시 화장지 구하기 같습니다.”

AI(인공지능) 스타트업 라미니(Lamini)의 샤론 저우 최고경영자(CEO)는 “(엔비디아와 네트워크가 있는) 업계의 누구를 아는지가 중요해 졌다”며 AI칩 구하기 전쟁을 이같이 비유했다. 생성형AI인 챗GPT가 전 세계에 주목을 받은 이후 소프트웨어 업체들이 너도나도 AI개발에 나서면서, 핵심 하드웨어인 AI칩 공급을 받기가 어려워지고 있다는 설명이다.

엔비디아 CEO인 젠슨 황이 29일(현지시간) 대만 타이베이에서 열린 컴퓨텍스 포럼에서 새로운 AI 슈퍼컴퓨터인 ‘DGX GH200’를 공개하고 있다. 이 슈퍼컴퓨터는 단일 GPU 역할을 할 수 있는 256개의 GH200 슈퍼칩을 결합해 메모리가 약 100배 정도 커졌다. (사진=AFP)

고급 AI칩 4400만원…“마약보다 구하기 어려워”

29일(현지시간) 미 일간 월스트리트저널(WSJ)에 따르면 소프트웨어 기업들이 AI개발에 적극 나서고 있지만, 엔비디아 AI칩 수요에 비해 공급이 부족하면서 ‘프로세서 병목현상’이 벌어지고 있다. 마치 팬데믹 초기에 화장지 사재기가 벌어졌을 때와 유사하다는 말이 나올 정도다.

엔비디아는 원래 그래픽처리장치(GPU) 전문 업체다. 전 세계 GPU시장에서 90% 점유율을 확보하고 있는 사실상 독점기업이다. 화려한 3D 게임을 하려면 데이터 처리 속도를 높여야 하는데 중앙처리장치(CPU)만으로는 한계가 있어 GPU가 보조하는 역할을 한다. 마찬가지로 챗GPT와 같은 생성형AI를 위한 거대언어모델(LLM)을 자체 개발하려면 인텔과 AMD의 CPU 외 엔비디아의 GPU가 필수적일 수밖에 없다. GPU를 AI칩으로 부르는 이유다. 챗GPT 개발에 엔비디아의 ‘A100’칩이 1만개가 들어가는 것으로 알려져 있다. AI칩이 없으면 LLM을 개발하는 데 상당한 시간이 걸릴 수밖에 없는데, AI 초격차를 내기 위해 치열한 경쟁이 벌어지고 있는 상황에서 후발주자 입장에서는 발등에 불이 떨어진 상황이다.

이미 AI 클라우드 서비스 확대에 나서고 있는 구글, 아마존, 마이크로소프트, 오라클 등 빅데크들은 데이터센터 성능을 키우기 위해 엔비디아의 칩을 대거 매입하고 있는 것으로 전해진다. 반면 빅테크에 비해 상대적으로 협상력이 부족한 소규모 스타트업 입장에서는 AI칩을 구하기가 ‘하늘에 별 따기’ 수준인 셈이다. ‘프리미엄’도 상당히 붙어 일부 소매점에서는 고급 AI칩이 개당 3만3000달러(약 4400만원)에 팔리기도 한다. 최근 AI개발에 눈독을 들이고 있는 테슬라 CEO인 일론 머스크도 최근 WSJ CEO 카운슬 서밋에서 “현재 GPU는 마약보다 구하기가 상당히 어렵다”고 말할 정도다.

미국 캘리포이나주 산타클라라에 있는 엔비디아 본사 건물 (사진=AFP)

MS와 아마존에 구걸…“서버 더 할당해달라”

자체적으로 AI 컴퓨팅을 구축하기 어려운 기업들은 AI 클라우드 서비스에 목을 매고 있지만, 이마저도 쉽지 않다. 이미 클라우드서비스를 선구매한 업체들이 많기 때문이다. 일부 기업은 다른 스타트업과 프로세서와 서버 주문 용량의 조정해달라고 요청하거나, 클라우드서비스 업체인 아마존과 MS에 조금이라도 서버를 할당해달라고 구걸하고 있는 상황이다. 상대적으로 인기가 낮은 클라우드업체인 오라클에도 수요가 폭증하고 있다.

AI업체들은 최소 내년까지는 AI칩 부족현상이 지속할 것으로 예상하고 있다. 엔비디아는 최근 수요 폭증을 대비해 AI칩인 H100 생산량을 늘리고 있다고 밝혔지만 쉽지 않은 상황이다. 엔비디아의 칩은 세계 최대 파운드리(반도체 위탁생산)업체인 TSMC에서 제조하고 있는데, 이미 2~3년간 물량이 이미 선주문돼 있기 때문이다. TSMC 등 파운드리 업체가 공장설비를 보다 확충해야 하는데 이 역시 3~5년은 더 걸릴 수밖에 없다.

AI기반 대화형 검색툴을 개발하고 있는 콘플레서티 AI의 CEO인 아라빈드 스리니바스는 WSJ에 “이미 선불로 결제하더라도 GPU가 당장 오는 건 아니다”면서 “엔비디아칩을 구입하려면 6개월 이상 기다려야 한다. 그저 기다리는 것밖에 할 수 있는 게 없다”고 말했다.