2023년 전 세계 마이크로소프트(MS), 알파벳, 아마존 등의 대규모 데이터센터(하이퍼스케일러)의 시장 규모는 371억 2000만달러였다. 세계적으로 이 시장은 2024년 448억 9000만달러에서 2032년까지 2,620억 9000만달러로 연평균 24.7%의 성장을 보일 것으로 예상했다. 미국의 정보 기술 연구 및 자문 회사인 가트너 역시 이런 추세에 발맞춰 지난 7월 기존 전망을 수정했다. 2024년 전 세계 데이터센터 서버에 투입되는 자금 규모가 지난해에 비해 24.1% 증가할 것으로 예상했다. 지난해 기록한 성장률 4%의 6배에 달한다. 거대언어모델(LLM)이 더 커지고 더 많은 자원을 소비해 AI 훈련 열풍은 향후 몇 년 동안 서버 지출을 더 증가시킬 것이다. 엔비디아는 AI 칩 시장의 97%를 독점하고 있다. 하이퍼스케일러의 경우도 총자본 지출의 50%가 엔비디아에 들어가고 있다. 엔비디아의 독주가 앞으로도 계속될 것인지 알아보기로 한다.

향후 AI 추론 시장과 맞춤형 칩이 몰고 올 변화

2025년에도 월가는 엔비디아의 질주를 여전히 예상한다. 엔비디아가 AI 칩 시장에서 가장 강력한 플레이어지만 시장점유율은 점차 70~80% 수준으로 내려갈 것으로 보인다. 엔비디아의 100% 가까운 독점 추세가 지속 가능하지 않다고 본다는 말이다. 그 이유는 뭘까? 우선 앞으로 AI 시장이 훈련 모델에서 추론 모델로 넘어가는 과정에 있다는 것을 명심할 필요가 있다. AI의 효과는 훈련에서 나아가 추론으로 그 효과가 발휘된다. 추론 단계에서는 고성능 AI칩이 훈련 모델과 달리 그다지 필요하지 않다. 해당 추론 작업을 효율적으로 진행하는 적절한 칩이 필요할 뿐이다. 그간 학습모델 구축을 위해서 처리 데이터양이 많다 보니 고성능 병렬 컴퓨팅을 처리할 그래픽처리장치(GPU)칩과 HBM(고대역 반도체 메모리)이 많이 필요했다.

그렇다면 엔비디아가 차지하지 않은 20~30%의 시장점유율은 어디로 갈까? 2위 GPU 업체인 AMD의 분발을 많은 이가 예상한다. 시장 추세가 추론으로 넘어가는 상황에서는 AMD가 추론에 쓰이는 칩을 집중적으로 팔 것이란 전망이다. 다음으로 서버 기반의 거대언어모델(LLM)이 아닌 단말기 중심의 온디바이스(On Device)에서도 성능을 엇비슷하게 만들 소형 언어모델(SLMs)이 몰고 올 변화에 주목해야 한다. 이러한 추세로 반도체 경쟁 구도가 바뀌고 새롭게 이익을 보는 기업이 탄생하게 된다. 한편으로 마이크로소프트, 알파벳, 아마존 등은 자체 맞춤형 칩을 개발 중인 것도 엔비디아가 심한 경쟁에 몰린다는 것을 의미한다.

올해 시티가 엔비디아를 제치고 클라우드 기업 마벨 테크놀로지(MRVL)를 반도체 분야 탑픽으로 꼽기도 했다. 지속적인 AI 광학 성장, 주문형반도체(ASIC) AI 프로젝트가 성장을 견인할 것으로 봤다. ASIC는 특정 용도의 집적회로이다. 엔비디아 칩 사양보다 덜 스마트하고 유연성도 떨어진다는 비판이 있지만 한 가지 작업을 지시하면 효율성 관점에서 아주 훌륭한 업무를 수행한다. 클라우드 기업이 자체 칩을 구동하게 되면 ASIC를 사용할 가능성이 높다.

추론으로 AI 시장이 진화하면 삼성전자, 하이닉스, 마이크론 테크놀러지 같은 메모리 반도체 회사에도 관심이 쏠릴 것으로 보인다. 추론 시장이 매우 커 대용량 메모리가 더 필요해 HBM이 많이 소요될 것이다. 스마트폰이나 PC 같은 엣지 디바이스 분야에서 지난 10년간 메모리 반도체가 완만하게 증가했지만, 앞으로는 더 큰 폭으로 늘어날 전망이다.

한편, AI 훈련 모델에 포함되지 않은 개별 기업의 비공개 산업용 데이터의 보안 강화를 위한 인프라도 중요할 것이다. 지스케일러 같은 보안 관련 기업이나 액센츄어 같은 컨설팅 회사가 주목받을 수 있다. 인터넷 혁명 이후의 최대 혁명인 AI 혁명을 맞아 AI 기반 애플리케이션에도 관심을 가질 차례로 보인다. 관련 소프트웨어의 혁신에 세계의 이목이 쏠리고 있다.

엔비디아 CEO 젠슨 황이 지난 3월 캘리포니아 산호세 SAP 센터에서 열린 엔비디아 GTC 인공지능 컨퍼런스에서 기조연설을 하고 있다. 젠슨 황은 이날 기조연설에서 미래 먹거리로 휴머노이드 로봇을 선언했다.[AFP]

AI 관련 인프라 시장 구축에 지속적인 관심 가져야

젠슨 황 엔비디아 최고경영자(CEO)는 지난 5월 생성형 AI를 광범위하게 보급하려면 ‘AI 공장(AI Factory)’이 필요하다고 밝혔다. AI 공장이란 기업이 AI 운영을 위해 개별적으로 소유할 수 있는 ‘소형 데이터센터’를 말한다. 데이터를 입력하면 정보를 생산해 내는 특수한 데이터센터라고 보면 되겠다. 젠슨 황은 AI 공장을 물을 이용해 전기를 생산했던 과거 산업혁명 당시의 공장에 비유했다. 오늘날 데이터센터는 데이터와 전기를 전 세계에 배포하는 귀중한 데이터 자원 공장으로 중요한 역할을 한다. 여기에는 AI 공장을 통해 AI 수요를 지속 유지하겠다는 엔비디아의 야심이 숨어 있다. 엔비디아는 아마존, MS, 알파벳 등 클라우드 제공 업체에 GPU를 공급하는 것을 넘어, 기업이 자체적으로 AI에 쉽게 접근할 수 있는 인프라를 제공하려 한다. 델컴퓨터 등이 AI 공장 사업의 파트너로 합류하고 있다.

다른 한편, AI 열풍이 전력기기 시장 슈퍼 사이클로 이어졌다. 미국에서는 AI와 반도체 산업 육성을 위해서 막대한 전력 공급이 필요하다. 뱅크오브아메리카의 미국 데이터센터 전력 소비량 추정치를 보자. 올해 172 테라와트시(TWh)에서 2030년 405TWh로 2배 이상 증가할 것이란다. 전체 공급량 대비 비중을 보면 4.2%에서 8.1%로 2배 수준으로 증가한다.

AI 기술과 관련 산업이 폭발적으로 성장하면서 기업은 물론 각국 정부들도 AI 인프라 확충에 팔을 걷어붙이고 있다. AI 경쟁력이 단순히 민간 기업 이익 창출을 넘어, 국가의 기술, 국방, 안보 등의 분야에 있어서 경쟁력에도 직간접적으로 영향을 미치고 있다.

엔비디아 AI칩 ‘H100’은 손바닥 하나 크기의 기판 하나가 중형 에어컨 한 대와 맞먹는다. 시간당 약 700W의 전력을 소비한다. 차세대 AI칩 ‘B100’의 경우도 서버 한 대가 시간당 100kW(킬로와트)의 전력을 소비한다. 이는 10가구의 하루 평균 사용 전력량 수준이다. 그래서였나? 전력난을 해결하는 방안으로 원자력발전 확충이 화제가 되기도 했다. MS 같은 빅테크 기업이 데이터센터 인근에 소형 모듈 원자로(SMR)를 구축하려고 시도하고 있다.

SMR은 기존 원전보다 규모와 발전량이 적다. 그 반면 비용과 건설 시간이 기존 원전의 절반~3분의 1 수준이다. 설치 장소에 제약이 적다. AI 데이터센터처럼 대량의 전력이 필요한 곳 인근에 쉽게 배치할 수 있다. AI 붐은 전력 수요를 증가시킨다는 측면에서 변압기·전선 등을 비롯한 송배전망 분야가 뜨거운 산업으로 부상하게 했다. 국내에서도 HD 현대일렉트릭, LS 일렉트릭 같은 전력주가 달아올랐다. 전력기기 업체인 HD현대일렉트릭이 450억 원을 투자해 울산과 미국 앨라배마 공장의 생산능력을 기존보다 20%씩 늘릴 계획이다.

엔비디아의 넥스트에 관심 쏠려

젠슨 황은 엔비디아가 AI 반도체만 잘 만드는 하드웨어 기업이 아니라 AI 기술 구현의 관문 역할을 하는 ‘플랫폼 기업’으로 도약하게 만들겠다는 의지를 다졌다. 엔비디아는 실제로 의료, 우주, 로봇 등 첨단 분야에 특화한 AI 소프트웨어를 300여 개 점유하고 있다. 젠슨 황은 현실의 공간을 가상에 복제하는 ‘디지털 트윈’ 개념에도 관심이 높다. 그에 따르면 엔비디아 소프트웨어로 만든 제2의 지구는 AI로 기후 변화를 학습하고 자연재해를 모니터링해 미래 기후 상황을 완전히 예측할 수 있다.

그는 디지털 트윈이 가까운 미래에 상용화될 것으로 본다. 젠슨 황은 대만 폭스콘이 현실과 똑같은 가상의 ‘복제 공장’을 만든 뒤 AI 로봇을 실제 환경처럼 실험해 미래를 예측하는 것을 예로 들었다. 왜 지금 엔비디아는 로봇을 얘기할까? 디지털 트윈 기술과 함께 생성형 AI로 연합 학습(federated learning)이 가능하다고 보는 것이다. 이는 과거 딥러닝 방식에서는 특정 작업별 모델을 하나하나 훈련해야 하는 것과는 차이가 있다. 지금까지 엔비디아는 거대언어모델(LLM)과 생성형 AI의 시간이었다. 엔비디아는 앞으로는 물리 세계의 AI의 시간이 찾아올 것으로 본다. 그 시대의 주인공은 바로 현실 세계에서 움직이는 AI 로봇이다.

모든 AI는 물리법칙에 따라 모든 공장이 로봇화한다. 공장이 로봇을 제작하고 로봇은 로봇을 만든다. 로봇에서의 AI는 데이터센터 기반 생성 AI보다 더 많은 작업이 필요하다. 로봇에게는 총 3개의 컴퓨팅 작업이 필요하다. 데이터센터에서 AI를 훈련·추론시키는 기초 모델, 로봇에 탑재되는 엣지 컴퓨팅, 이 둘 사이에 있는 메타버스 플랫폼 ‘옴니버스’ 기반의 컴퓨팅이다. 옴니버스는 시행착오나 추가 비용 지출 없이 로봇을 훈련할 수 있다. 3개 컴퓨터가 끊임없이 상호작용하며 로봇을 훈련하여 완전하게 만든다는 개념이다.

엔비디아는 로봇 중에서 자율주행차와 휴머노이드, 즉 인간을 닮은 로봇에 관심이 높다. 엔비디아는 GPU와 전용 소프트웨어 ‘쿠다(CUDA)’로 AI 칩 시장을 독점했다. 엔비디아는 이 성공 공식을 그대로 로보틱스로 옮기려 한다. 로봇 개발 시장에서도 표준 도구를 만들어 엔비디아 없이는 그 어떤 휴머노이드 로봇도 작동하지 않는 미래를 상상하고 있다. 그 역시 엔비디아 GPU가 주인공이다.

올해 UAE 두바이에서 열린 세계정부정상회의 대담 프로그램에서 젠슨 황은 학생들에게 컴퓨터 공학을 전공하지 말라는 폭탄 발언을 했다. 프로그래밍이 엔비디아의 역할로 필요 없는 세상이 되어 생명공학과 같은 개척 분야를 공부하라고 주문했다. 컨설팅 기업 맥킨지가 지난 1월 발표한 보고서에 따르면 제약 산업과 의료 관련 상품 산업에서 AI 기술의 경제적 기대 가치는 연간 600억 달러에서 1100억 달러 수준으로 추정된다.

신약 개발에 높은 관심을 보이는 엔비디아는 생성형 AI 신약 개발 플랫폼 “바이오네모”를 운영하고 있다. 엔비디아는 기업과 개인이 상호 협력하는 개방형 플랫폼을 지향한다. AI를 넘어 엔비디아가 로보틱스, 신약 등에서 지구촌의 지속 가능한 발전을 지원하고 인류의 삶을 풍요롭게 하는 데 이바지하기를 바란다.