“싸질수록 더 쓴다…AI 효율 개선, 메모리 수요 확대로 이어질 것” [헤럴드 기업포럼 2026]

[헤럴드경제=이정완 기자] “메모리를 적게 쓰기 위한 알고리즘이 매일 만들어지고 있습니다. 그런데 이게 전체 메모리 수요 감소로 곧바로 이어지지는 않습니다.”

임의철 SK하이닉스 설루션 AT 담당 부사장은 29일 서울 중구 신라호텔 다이너스티홀에서 열린 ‘헤럴드 기업포럼 2026’에서 ‘AI(인공지능) 시대, 결국 메모리가 핵심이다’라는 주제로 AI의 효율 개선이 메모리 수요 확대로 이어질 것으로 전망했다. 토큰(AI가 데이터를 처리하는 단위)당 메모리 사용량이 줄어도, 비용 하락으로 전체 토큰 소비가 늘어난다는 설명이다.

임 부사장은 “이렇게 노력하는 이유는 토큰을 더 쓰고 싶은데 메모리 공간이 부족해서 못 쓰기 때문”이라며 “토큰당 메모리 용량을 줄이더라도 결국 토큰을 더 쓰는 방향으로 갈 수밖에 없다”고 말했다. 이어 “싸졌으니까 더 쓰고, 더 효율적으로 쓰기 위해 저장하다 보면 또 메모리가 필요해진다”며 총수요가 증가하는 구조를 설명했다.

그는 AI 시대 메모리의 중요성을 이해하려면 거대언어모델(LLM)의 작동 방식부터 살펴봐야 한다고 강조했다. LLM 추론은 입력 내용을 이해하는 프리필(Prefill)과 토큰을 생성하는 디코드(Decode) 단계로 나뉜다.

임 부사장은 “프리필 단계에선 파라미터를 로딩한 뒤 그 데이터를 100번, 1000번 이상 재사용할 수 있기 때문에 연산이 중요하다”면서 “디코드 단계에선 단어 하나를 처리할 때마다 재귀적(Recursive) LLM 모델을 다 읽어야 하기 때문에 메모리 성능에 따라 전체 LLM 성능이 좌우된다”고 말했다.

이를 위해 빠른 속도도 중요하지만 그만큼 용량도 중요하다는 설명이다. SK하이닉스는 HBM(고대역폭메모리)로 고대역폭·대용량·저지연 수요를 충족시켰다.

그는 “메모리 다이(Die)를 쌓아 좁은 공간 내에 용량을 키웠고 다이 사이를 실리콘관통전극(TSV)로 I/O(입출력)를 많이 뚫어 대역폭을 높였다”며 “그러면서 HBM과 연산기 사이를 최대한 짧게 만들어 전력 사용량을 줄였다”고 설명했다.

AI 업계에서는 메모리를 더 활용해 연산 부담을 줄이려는 움직임이 나타나고 있다. 임 부사장은 “에이전트 AI가 미리 처리한 컴퓨팅 결과를 새롭게 처리하지 않고 메모리에 저장해뒀다가 재사용하는 개념이 나타나고 있다”며 “메모리를 더 써서 전체 시스템의 효율을 높이겠다는 것”이라고 말했다. 이어 “현재는 이 기술이 대세로 굳어지고 있다”고 전했다.

이때 활용되는 대표적인 정보가 ‘KV캐시(Key-Value Cache)’다. 이전 토큰을 처리하면서 계산한 키·값 정보를 보관해 후속 연산에 재사용한다. 처리하는 토큰과 저장할 정보가 늘면 HBM뿐만 아니라 서버 D램, SSD(솔리드스테이트드라이브), 네트워크 스토리지까지 전체 메모리 계층의 중요성이 높아진다.

임 부사장은 에이전트 AI가 메모리 수요 확대를 더욱 가속시킬 것으로 내다봤다. 에이전트 AI는 기존 챗봇 방식과 달리 AI에 과제만 주면 알아서 이를 수행한다. 사람이 답변을 읽고 다음 질문을 입력하는 속도에 묶여 있던 AI 활용이 달라진다는 것이다.

임 부사장은 “사람이 사용할 때는 밥도 먹고 잠도 자고 중간중간 쉬어야 했다”며 “에이전트 AI로 가면 사용자는 일을 주고 집에 가면 된다”고 말했다. 이어 “에이전트 AI는 일주일에 7일, 하루 24시간 쉬지 않고 일한다”며 “GPU(그래픽처리장치)뿐 아니라 CPU(중앙처리장치)까지 더 많은 데이터센터 인프라가 필요하다는 얘기”라고 덧붙였다.

그는 AI 서비스가 지속되려면 수익성을 확보해야 한다고 평가했다. 에이전트 AI가 제공하는 가치가 커지면서 서비스 가격도 높아졌지만 인프라 비용을 낮추는 작업이 우선이라고 봤다.

SK하이닉스는 다양한 이 같은 요구에 대응하기 위해 차세대 메모리 기술을 개발하고 있다. 빠른 토큰 처리가 필요한 프리미엄 시장을 겨냥해선 3D 적층 D램을 준비 중이고 비용 효율이 중요한 서비스에는 고대역폭플래시(HBF)를 공급하려 한다.

임 부사장은 HBF에 대해 “HBM에 버금가는 대역폭과 낸드플래시에 버금가는 용량을 제공해 더 저렴한 가격에 처리량을 높이는 방향으로 생각하고 있다”고 밝혔다.

마지막으로 그는 “메모리를 잘 활용해서 컴퓨팅 시스템 효율을 높이는 게 중요해졌다”며 “SK하이닉스도 디바이스만 아닌 전체 아키텍처가 어떻게 흘러갈지 시스템 레벨에서 연구·개발 중이다”고 강조했다.

“3차원 zHBM으로 ‘메모리 월’ 극복…4~8배 성능 대도약 보인다” [헤럴드 기업포럼 2026]

https://biz.heraldcorp.com/article/10887751?sec=027