조상연 삼성전자 DS 미주 총괄 “AI 추론 시대 대안 메모리 중심 컴퓨팅”

삼성전자가 인공지능(AI) 시대 인프라의 패러다임이 연산 성능에서 메모리 대역폭으로 이동하고 있다고 진단했다. 메모리 뿐 아니라 파운드리, 패키징까지 ‘턴키 설루션’을 제공하는 삼성전자의 경쟁력이 더 중요해진다는 분석이다. 올해 초 개념을 공개한 차세대 3차원 메모리인 zHBM 상용화 시점도 2029년께로 점쳐졌다.

조상연 삼성전자 DS부문 미주총괄법인(DSA) 총괄(부사장)은 27일(현지시간) 온라인으로 진행된 미국 정보기술(IT) 콘퍼런스 ‘더 식스파이브 서밋 2026’에 연사로 나서 이 같은 AI 반도체 시장의 변화를 강조했다. 조 총괄은 ‘AI 한계 재정의: 삼성의 메모리·전력·시스템 설계’를 주제로 약 30분간 진행된 대담에서 “AI 추론 서비스에서 매우 중요한 요소인 ‘조직이 필요로 하는 초당 토큰 수’가 메모리 대역폭에 의해 결정된다는 사실을 업계는 아직 제대로 이해하지 못하고 있다”고 지적했다.

그는 데이터가 메모리와 연산 장치 사이를 얼마나 빠르게 이동할 수 있는지를 보여주는 ‘메모리 대역폭’이 이용자 수, 요청의 수, 응답 속도, 맥락 보존·처리량 등을 좌우한다고 설명했다. AI 시스템이 무엇을 제공할 수 있는지, 또 그 과정에서 비용이 얼마나 드는지 결정하는 것도 메모리 대역폭이라는 것이다.

조 총괄은 “삼성은 비트(bit·데이터의 단위)를 판매하는 것이 아니라 대역폭을 판매하고 있다”고 강조했다. 이어 “4년 뒤 성공할 애플리케이션은 메모리 양이 가장 많은 애플리케이션이 아니라 자신이 가진 메모리 대역폭을 어떻게 활용할지 알아낸 애플리케이션일 것”이라고 전망했다.

이에 따라 그는 메모리에서 출발해 대역폭을 정의하고, 이를 가장 효과적으로 활용하는 방법을 모색하는 ‘메모리 중심 컴퓨팅’을 대안으로 제시했다.

기존에는 중앙처리장치(CPU)나 그래픽처리장치(GPU) 등 연산(컴퓨팅) 자원을 먼저 정한 뒤 필요한 메모리 용량과 패키징, 전력 구조를 맞추는 방식이 일반적이었다. 삼성은 이 순서를 뒤집어 메모리 대역폭을 먼저 정의한 뒤 연산장치와 패키징, 전력 구조를 이에 맞춰 설계해야 한다고 보고 있다.

이 같은 구상을 구현할 차세대 제품으로는 ‘zHBM’을 제시했다. zHBM은 연산을 맡은 AI 가속기(xPU) 옆에 고대역폭 메모리(HBM)를 연결하는 기존 방식과 달리 아예 가속기 위에 HBM을 쌓아 올린 아키텍처로, 데이터 이동 거리를 최소화해 대역폭을 극대화한 제품이다.

조 총괄은 “현재 1세대 zHBM의 세부 사양을 정의하고 있으며, 이를 기반으로 한 미래 제품은 2029년 이후 등장할 것으로 예상한다”고 말했다. 2030년께 상용화할 것으로 봤던 시장의 예측보다 1년 이른 일정이다.

다만 가속기와 HBM을 수직으로 결합할수록 열이 집중되는 만큼 발열 제어는 넘어야 할 과제로 꼽힌다. 삼성전자는 이를 해결하기 위해 하이브리드 구리 접합(HCB) 등 차세대 접합 기술을 함께 적용하는 방안을 추진하고 있다.

AI 시대에는 첨단 패키징의 역할 역시 더욱 커질 것으로 내다봤다. 공정 미세화만으로는 AI가 요구하는 성능과 전력 효율 향상에 한계가 있다. 여러 다이와 메모리, 서로 다른 공정 노드를 하나의 시스템으로 통합하는 패키징 기술의 중요성이 커지고 있다는 것이다.

박지영 기자