차세대 HBM ‘CXL’<컴퓨트익스프레스링크> 뜨는데…엔비디아가 견제하는 이유 [헤럴딥-칩칩팹팹]

최근 반도체 업계를 달군 뉴스는 ‘FMS(Future of Memory and Storage) 2026’이다. 글로벌 메모리반도체 1·2위인 삼성전자와 SK하이닉스가 이 자리에서 AI(인공지능) 시대를 겨냥해 경쟁적으로 차세대 기술을 공개했다.

매년 이 무렵 미국 캘리포니아주 산타클라라에서 열리는 FMS는 지금처럼 메모리 전반의 신기술을 알리는 행사는 아니었다. 2006년 1회 행사가 열렸고, 당시 이름은 ‘Flash Memory Summit’이었다. 낸드 기술에 대해 다루다가 2024년부터 AI와 고성능컴퓨팅(HPC) 부상으로 D램과 차세대 메모리·스토리지 기술 경계가 모호해지면서 지금 이름으로 일종의 ‘리브랜딩’을 했다.

KV캐시 폭증에…AI 추론 병목 해소할 ‘공용 저수지’

올해 삼성전자와 SK하이닉스가 FMS 2026에서 가장 많이 발표한 주제는 바로 차세대 HBM(고대역폭메모리)라 불리는 CXL(컴퓨트익스프레스링크)이다.

CXL은 아직까지 생소한 영역이다. 이 기술은 ‘링크’라는 말처럼 연결에 초점을 두고 있다. CPU(중앙처리장치)와 GPU(그래픽처리장치), 메모리를 유기적으로 연결해 대역폭과 용량의 한계를 확장시켰다.

AI가 단순히 학습하는 수준을 넘어 긴 문맥을 이해해야 하는 대규모언어모델(LLM) 추론 시대에 접어들면서 KV캐시(Key Value Cache) 요구량도 덩달아 폭증하고 있다. LLM 기반 AI 에이전트는 사용자와 이전에 나눈 대화를 KV캐시에 임시로 저장해 추론 시간을 줄이는데, 대화가 길어지고 사용자 수가 늘어나면서 KV캐시 메모리가 수백기가바이트(GB)까지 늘어날 수 있다.

이렇게 되면 기존 메모리만으론 용량이 부족하니 ‘메모리 풀링(Memory Pooling)’을 통해 대용량 CXL 메모리를 저수지처럼 사용하자는 개념이다. CXL 연결망을 구축해두면 CXL 세대 발전에 따라 향후 PB(페타바이트) 규모 메모리 저수지를 만들 수 있다.

삼성전자와 SK하이닉스도 개발에 한창이다. 삼성전자가 2021년 업계 최초로 CXL 기반 D램 메모리 기술을 개발한 뒤 이듬해 SK하이닉스 역시 곧바로 CXL 메모리 샘플을 선보였다.

양사 모두 최근 CXL 기술을 LLM 추론에 활용한 성과를 소개하기도 했다. 삼성전자는 ‘CXL 메모리 풀링 기반 KV캐시 오프로딩’ 실험 결과를 발표했는데, 512GB D램 구성에선 KV캐시 요구량이 가용 메모리 용량을 초과해 성능이 저하됐지만 1TB CXL 메모리 풀은 KV캐시 요구량을 지원하면서 성능을 안정적으로 유지했다.

SK하이닉스는 이달 초 마벨과 협력해 CXL 기반 PNM(Processing-Near-Memory) 메모리 모듈인 ‘CMM-Ax’를 공개했다. 메모리가 연산까지 맡아 초장문 LLM 환경에서 단일 GPU 대비 최대 5.5배, 듀얼 GPU 구성 대비 3.6배 높은 처리량을 달성했다. 이번 검증은 장치당 512GB 용량을 반영해 이뤄졌다.

엔비디아 독점 생태계에 주춤 “AI 에이전트 설루션 부상”

글로벌 메모리 ‘투톱’이 앞장서서 개발하고 있는 기술 같은데, 아직까지 낯설게 여겨지는 것에는 CXL의 확산을 내심 원하지 않는 핵심 플레이어의 이름이 등장한다. 바로 엔비디아다.

엔비디아는 ‘NV링크(NVLink)’라는 독자 규격을 바탕으로 GPU끼리 연결한다. 이제 6세대에 접어든 NV링크는 GPU당 초당 3.6테라바이트(TB) 대역폭을 지원한다. 블랙웰·루빈 기반 데이터센터에서 수십~수백개의 GPU를 묶어 고성능 슈퍼컴퓨터처럼 작동한다.

AI 데이터센터 시장에서 엔비디아의 강점은 압도적인 GPU 성능을 바탕으로 생태계에 ‘락인(Lock-in)’ 시키는 것이다. 자체 개발한 병렬 컴퓨팅 플랫폼인 CUDA(쿠다) 소프트웨어를 기반으로 독점적인 프로그래밍 생태계를 구축했다. 그런데 CXL이란 개방형 인터커넥트 기술이 확산되면 엔비디아 입장에서도 영향이 불가피하다.

CXL을 주도하는 회사를 봐도 엔비디아가 탐탁치 않아할 이유가 드러난다. CXL은 2019년 인텔이 주도해 컨소시엄을 출범시켰다. 인텔 데이터센터 CPU인 제온(Xeon) 생태계 확산을 위해 글로벌 클라우드하이퍼스케일러(CSP)와 메모리 기업을 끌어들였다. 물론 엔비디아도 데이터센터 고객 미래 수요에 대비하고 생태계를 견제하기 위해 컨소시엄에 들어가 있기는 하다.

하지만 이에 반박하는 의견도 있다. CXL로 향하는 대세를 거스를 수 없다는 이야기다. 이번 FMS 2026에서도 이와 관련한 발표가 있었다.

소진인 삼성전자 메모리시스템아키텍트 시니어 디렉터와 이호균 삼성전자 D램설루션엔지니어링 디렉터는 지난 6일(현지시간) ‘AI 시대 CXL의 부활’이란 주제로 발표하면서 NV링크를 언급했다.

두 사람은 “몇 년 전 일부 업계 보고서에서 NV링크 같은 인터커넥트와 비교해 대역폭에 한계가 있다는 이유를 들며 ‘AI 시대에 CXL은 끝났다’는 주장이 있었다”며 “이제 CXL은 대용량 메모리 풀링 및 공유 기술과 함께 저지연 특성을 활용해 핵심 설루션으로 부상하고 있다”고 강조했다.

메모리에 연산 더해 온디바이스 AI 시장 겨냥

CXL 외에도 ‘FMS 2026’에서 양사가 선보인 차세대 기술이 있다. 메모리가 연산까지 수행하는 PIM(Processing-In-Memory)이다. 그동안 메모리는 데이터를 저장하는 역할을 맡아왔다.

하지만 마찬가지로 에이전트 AI와 LLM의 확산에 따라 데이터를 빠르게 처리해야 할 필요성이 커졌다. 지금까지 컴퓨터 아키텍처 구조에선 연산을 담당하는 프로세서와 메모리는 물리적으로 분리되어 있었다.

하지만 데이터를 저장하는 셀 내부에 연산 회로를 설계하면 메모리가 간단한 연산은 할 수 있게 된다. 이렇게 되면 전보다 데이터가 이동량이 줄어드니 속도도 빨라지고 전력도 덜 사용한다.

삼성전자는 이번 FMS 2026에 세계 최초로 개발한 LPDDR5X-PIM(저전력D램-PIM)을 들고 나갔다. 저전력D램에 PIM 기술을 접목시켜 ‘FMS 베스트 오브 쇼 어워드(Best of Show Award)’를 수상했다.

SK하이닉스 또한 발표를 통해 LPDDR6-PIM 개발 여정에 대해 소개했다.

두 회사는 왜 LPDDR에 데이터 연산을 구현하려 할까? 이는 온디바이스AI처럼 중앙 클라우드를 거치지 않는 ‘엣지AI’ 시장을 겨냥한 기술로 여겨진다. 메모리가 연산까지 수행하니 서버가 크지 않아도 고성능 AI를 저전력으로 돌릴 수 있다. 말 그대로 ‘Low Power’가 가능한 셈이다.

PIM과 CXL을 결합하는 것도 두 회사가 직면한 기술 과제다. 앞서 CXL을 설명하면서 최근 SK하이닉스가 CXL 기반 PNM 모듈 ‘CMM-Ax’를 선보였다고 했다. PNM은 PIM까지는 아니지만 메모리 근처에서 연산을 하기 때문에 지연 속도를 줄여준다. SK하이닉스의 CMM-Ax에선 마벨의 CXL 컨트롤러에 탑재된 16개 CPU가 연산을 수행한다.

낸드서도 적층 경쟁…SK ‘HBF’ vs 삼성 ‘zNAND-O’

낸드 신기술도 하나 소개한다. FMS 2026에서 눈길을 끈 낸드 기술은 단연 ‘HBF(고대역폭플래시)’였다.

HBM 시장을 선점해 점유율 1위를 달리고 있는 SK하이닉스가 샌디스크와 함께 이름도 비슷한 HBF 표준 규격을 처음으로 발표했다. 용량과 대역폭·연결 방식 등을 정하고 앞으로 우리는 이렇게 만들테니 다른 제조사나 사용하고 싶은 사람은 규격에 맞게 준비하란 의미다.

SK하이닉스의 아이디어는 GPU HBM·D램·SSD(솔리드스테이트드라이브)로 나눠진 현 계층 구조 속에 HBF 같은 새로운 계층이 더해져야 추론 병목을 넘어설 수 있다는 것이다. 전원이 꺼져도 데이터가 유지되는 낸드를 HBM처럼 쌓은 개념이니 D램 대비 큰 용량을 상대적으로 저렴하게 제공할 수 있다.

삼성전자는 ‘zNAND-O(z낸드-O)’라는 용어로 3D 메모리 아키텍처 비전을 제시했다. ‘TSV(실리콘전통관극)’로 4단·8단 반도체 칩을 3D 패키징하는 기술이다. 기존 적층 구조에선 와이어를 통해 칩 외곽으로 데이터를 전송했는데, zNAND-O는 칩 내부 전극으로 전송 경로를 단축해 속도와 전력 효율이 향상된다.

삼성전자와 SK하이닉스 모두 낸드를 수직으로 쌓는다는 동일한 컨셉을 소개했지만 이름을 달리한 셈이다. 두 메모리 강자의 자존심 대결이라고 볼 수 있다. 업계에서는 이른바 HBF 기술이 2030년경 상용화될 것으로 전망한다.

이정완 기자