SK하이닉스 “AI 시대 메모리, 저장에서 연산으로 역할 확대”

SK하이닉스가 인공지능(AI) 시장이 학습에서 추론 중심으로 이동하고 에이전틱 AI가 확산하면서 메모리 기업들의 역할도 바뀌어야 한다고 강조했다. 단순 용량·속도 경쟁을 넘어 고객사의 전력·비용 고민까지 함께 해결하는 파트너로 진화해야 한다는 설명이다.

2일 업계와 대만 언론 등에 따르면 김호식(사진) SK하이닉스 메모리시스템리서치 담당 부사장은 전날 대만에서 열린 ‘세미콘 타이완 2026: 메모리 이그제큐티브 서밋’에서 ‘AI는 메모리의 역할을 어떻게 재정의하는가’를 주제로 발표했다.

김 부사장은 메모리가 과거 PC·클라우드 시대엔 비용과 전력 소비를 줄여야 하는 부품으로 여겨졌지만 AI 시대엔 시스템 성능과 확장성, 경쟁력을 좌우하는 ‘전략적 인프라’로 바뀌고 있다고 짚었다. 향후 메모리의 가치 역시 단순 용량이나 속도보다 ‘달러당 토큰(Token/$)’, ‘와트당 토큰(Token/W)’ 등 AI 시스템 전체의 효율성 관점에서 평가해야 한다고 강조했다.

최근 AI의 무게중심이 학습에서 추론으로 이동하면서 메모리의 역할도 더욱 커졌다. 김 부사장은 엔비디아의 랙 단위 AI 시스템 ‘NVL72’를 사례로 들며 전체 메모리 공간의 절반 이상을 KV 캐시가 차지한다고 설명했다.

KV 캐시는 AI가 앞서 처리한 문맥을 다시 계산하지 않도록 중간 데이터를 저장해 두는 임시 기억 공간으로, 대화가 길어지고 복잡한 추론을 반복할수록 필요한 용량이 급격히 늘어난다.

김 부사장은 메모리의 역할이 단순 ‘저장’을 넘어 ‘컴퓨팅’ 영역으로 확장되면서 데이터 컴퓨팅과 메모리 컴퓨팅, 인 메모리 컴퓨팅 등에 대한 시장 수요가 커지고 있다고 설명했다.

HBM의 역할을 저장에서 연산으로 확장하는 방안도 연구 중이다. 김 부사장은 HBM4부터 베이스 다이에 기존 메모리 공정이 아닌 로직 공정을 적용하면서 다양한 기능을 추가할 수 있는 여지가 커졌다고 분석했다.

커스텀(맞춤형) HBM의 경우 베이스 다이에 일부 연산 기능을 탑재해 GPU가 담당하던 작업을 메모리가 일부 담당할 수 있게 된다.

SK하이닉스가 연구 중인 ‘스트림DQ(StreamDQ)’가 대표적이다. AI 추론 과정에서 GPU가 수행하던 역양자화 작업을 HBM 베이스 다이에 탑재한 전용 연산블록이 대신 처리해 GPU의 부담과 데이터 이동량을 줄였다. 이를 통해 대규모언어모델(LLM)의 초당 토큰 처리량을 최대 5.15배 높일 수 있다는 연구 결과를 제시한 바 있다.

첨단 패키징의 중요성도 강조했다. AI 시스템에서 데이터를 연산장치까지 옮기는 데 필요한 에너지가 실제 연산에 필요한 에너지보다 수천~수만 배까지 커질 수 있는 만큼 데이터 이동 거리와 횟수를 줄이는 것이 핵심 과제로 떠오르고 있다.

김 부사장은 2.5D·3D 패키징 기술을 해법으로 제시했다. 기존 2.5D 패키징에서 칩을 수직으로 쌓는 3D 패키징으로 발전하면 데이터 이동 거리도 한층 줄일 수 있다. 이를 통해 데이터 전송에 필요한 에너지를 비트당 0.2~0.3피코줄(pJ) 수준까지 낮추는 것이 가능하다고 설명했다. 김 부사장은 궁극적으로 메모리 업체의 변화를 주문했다. 과거처럼 더 빠르고 용량이 큰 메모리를 만들어 공급하는 것만으로는 AI 시대 경쟁력을 확보하기 어렵다는 것이다. 박지영 기자