SK하이닉스가 고대역폭메모리(HBM)에서 확보한 경쟁력을 AI 추론 영역으로 넓히고 있다. AI 모델의 대형화에 이어 실제 서비스를 제공하는 추론과 AI 에이전트 시장이 커지면서 메모리에 요구되는 역할도 달라지고 있어서다.

최근 SK하이닉스가 공개하고 있는 HBF(High Bandwidth Flash), PIM(Processing-In-Memory), SALT-KV 등의 기술도 이런 변화와 맞닿아 있다. HBM의 성능을 높이는 데 그치지 않고 D램과 낸드, 스토리지까지 묶어 AI 시스템의 데이터 처리 효율을 높이겠다는 방향이다.

회사는 최근 미국 캘리포니아 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에서 이들 기술을 공개했다. 올해 행사에는 약 6000명이 참가했으며 SK하이닉스도 지난해보다 전시 공간을 두 배가량 확대했다.

AI 추론 늘자 달라지는 메모리 수요

AI 반도체 시장은 그동안 GPU와 HBM을 중심으로 성장했다. 대규모언어모델(LLM)을 학습하려면 GPU의 연산 성능과 함께 대량의 데이터를 빠르게 공급할 수 있는 HBM이 필요했기 때문이다.

AI가 실제 서비스 단계로 넘어오면서 상황은 조금 복잡해졌다. 이용자가 늘고 대화와 작업 시간이 길어질수록 처리해야 할 데이터도 함께 증가한다. 모든 데이터를 HBM에 담는 방식은 비용과 용량 측면에서 한계가 있다.

HBF는 이 사이를 겨냥한 제품이다. 낸드플래시에 HBM에 사용되는 실리콘관통전극(TSV) 기술을 적용해 기존 SSD보다 높은 대역폭을 확보하면서 낸드의 대용량 특성을 활용한다.

HBM과 SSD 사이에 새로운 메모리 계층을 두겠다는 구상이다. AI 추론 과정에서 빠른 처리 속도가 필요하지만 반드시 HBM을 사용할 필요는 없는 데이터를 맡을 수 있다.

메모리 안에서 연산…PIM도 전면에

PIM은 메모리에 연산 기능을 넣는 기술이다. 기존 시스템에서는 프로세서와 메모리 사이에서 데이터가 계속 오가는데, AI 모델이 커질수록 이 과정에서 속도 저하와 전력 소비가 발생한다.

SK하이닉스는 연산 기능을 갖춘 메모리 ‘AiM’과 이를 활용한 가속기 카드 ‘AiMX’, AiMX가 탑재된 서버 등을 선보였다. 행사에서는 이를 이용한 LLM 서비스도 시연했다.

반도체 업계가 PIM에 주목한 것은 최근의 일만은 아니다. 다만 AI 추론 과정에서 처리해야 할 데이터가 빠르게 늘면서 데이터 이동량과 전력 사용을 줄이는 기술의 필요성이 다시 커지고 있다.

SK하이닉스 입장에서도 PIM은 HBM과는 다른 시장을 열 수 있는 카드다.

HBM·D램·SSD 어디에 데이터를 둘 것인가

SALT-KV는 하드웨어보다는 메모리를 사용하는 방식에 초점을 맞춘다.

LLM과 AI 에이전트는 앞서 처리한 정보를 ‘KV 캐시’ 형태로 저장한다. 대화가 길어지거나 AI가 여러 작업을 연속해서 수행하면 KV 캐시도 커진다.

SALT-KV는 이 데이터를 재사용 가능성 등에 따라 나눠 HBM과 D램, SSD에 배치한다. 자주 사용하는 데이터는 빠른 메모리에 두고 그렇지 않은 데이터는 상대적으로 저렴한 저장장치로 보내는 방식이다.

SK하이닉스는 이번 행사에서 SALT-KV를 적용한 LLM이 게임을 생성하고 실행하는 과정도 공개했다.

이 기술이 관심을 끄는 것은 SK하이닉스가 메모리 반도체 자체뿐 아니라 AI 시스템에서 메모리를 어떻게 사용할 것인지까지 개발 범위를 넓히고 있다는 점 때문이다.

HBM 이후 시장 선점 나선 SK하이닉스

곽노정 SK하이닉스 대표이사 사장은 최근 미국에서 열린 ‘2026 글로벌 포럼’에서 “HBM이라는 새로운 이정표를 세운 것처럼 준비 중인 차세대 메모리를 통해 AI의 새로운 가능성을 열겠다”고 말했다.

글로벌 포럼에서도 설계와 공정·소자, 첨단 패키징, AI 시스템을 각각 떼어놓기보다 시스템 차원에서 연결해야 한다는 논의가 이어졌다.

SK하이닉스의 투자 방향도 비슷하다. 국내에서는 용인 반도체 클러스터를 구축하고 있으며 미국 인디애나에는 AI 메모리용 첨단 패키징 생산기지와 연구개발 시설을 짓고 있다.

HBM 시장이 당장 사라지거나 중요성이 낮아지는 것은 아니다. AI 가속기 성능 경쟁이 이어지는 만큼 HBM 역시 핵심 제품으로 남을 가능성이 높다.

다만 AI 시장이 학습 중심에서 추론과 에이전트로 넓어지면서 HBM 하나만으로 대응하기 어려운 영역도 커지고 있다.

SK하이닉스가 HBF와 PIM, SALT-KV를 잇따라 꺼내드는 것도 이 때문이다. HBM에서 잡은 주도권을 지키면서 그 주변에서 새롭게 생기는 메모리 시장까지 가져가겠다는 움직임으로 읽힌다.

정소연 다른기사 보기