엔비디아가 다른 회사의 AI 반도체를 자사 데이터센터 시스템에 연결하기 시작했다.
미국 AI 반도체 스타트업 d-Matrix는 9월 10일 차세대 추론 프로세서 Raptor XPU를 엔비디아의 NVLink Fusion을 통해 MGX 랙에 직접 연결한다고 발표했다. Raptor의 최종 설계는 올해 말 완료할 예정이며, 이를 탑재한 MGX 시스템은 2027년 4분기 공급을 목표로 한다.
이번 협력에서 주목할 부분은 d-Matrix가 만드는 칩의 성격이다. Raptor는 생성형 AI 서비스를 실행하는 추론에 특화된 프로세서다. 엔비디아는 이런 외부 AI 칩을 NVLink와 MGX 랙, 네트워크로 연결해 하나의 데이터센터 시스템에서 작동하도록 하고 있다.
추론 시장이 AI 반도체 구조를 바꾼다
AI 산업의 무게중심이 모델 개발에서 실제 서비스로 확대되면서 추론 연산량도 빠르게 증가하고 있다. 챗봇은 질문을 받을 때마다 답을 생성하고, 코딩 에이전트는 작업 과정에서 모델을 반복적으로 호출한다. 음성 에이전트는 실시간에 가까운 응답속도를 요구한다.
이 과정에서는 처리속도와 메모리 효율, 전력소비, 토큰 생성비용이 서비스 운영비를 좌우한다. AI 사업자들이 각 작업에 최적화된 프로세서를 찾는 이유다. d-Matrix는 이 시장을 겨냥하고 있다. Raptor는 DRAM 메모리 칩과 SRAM 연산 칩을 3차원으로 결합하는 메모리 중심 구조를 사용한다. 회사는 데이터 이동에서 발생하는 지연과 전력소비를 줄여 코딩 도우미, 실시간 챗봇, 음성 에이전트처럼 빠른 응답이 필요한 서비스에 적용할 계획이다.
엔비디아 GPU와 Raptor가 하나의 AI 작업을 나눠 맡는다
이번 협력의 핵심은 서로 다른 프로세서가 하나의 추론 작업을 분담하는 구조다. 생성형 AI의 추론 과정은 입력된 문맥을 처리하는 ‘프리필(prefill)’과 답을 순차적으로 생성하는 ‘디코드(decode)’ 단계로 나뉜다. 프리필은 많은 연산을 요구하고, 디코드는 빠른 토큰 생성과 낮은 지연시간이 중요하다.
d-Matrix가 제시한 시스템에서는 엔비디아 Vera Rubin GPU가 프리필을 처리하고 Raptor가 디코드를 담당할 수 있다. 엔비디아 GPU와 외부 업체의 추론 전용 칩이 같은 AI 서비스를 함께 처리하는 구조다. 여기에 NVLink Fusion이 두 연산 환경을 연결한다. Raptor는 엔비디아 Vera CPU, NVLink 스위치, BlueField-4 DPU, ConnectX-9 SuperNIC, Spectrum-X 이더넷 네트워크가 적용된 MGX 랙에 들어간다. 이 구조는 AI 데이터센터가 여러 종류의 프로세서를 작업 특성에 맞춰 배치하는 방향으로 발전하고 있음을 보여준다.
엔비디아가 연결 영역을 넓힌다
엔비디아는 NVLink Fusion을 통해 외부 업체가 개발한 CPU와 맞춤형 AI 가속기를 자사 데이터센터 시스템에 연결할 수 있도록 적용 범위를 확대하고 있다. d-Matrix의 참여는 그 범위가 추론 전용 프로세서까지 넓어지고 있음을 보여준다. 엔비디아는 Raptor를 NVLink뿐 아니라 Spectrum-X 네트워크와 MGX 랙 구조에 연결한다. d-Matrix 입장에서는 새로운 반도체를 위한 데이터센터 시스템을 처음부터 구축하는 부담을 줄이고 기존 엔비디아 인프라와 공급망을 활용할 수 있다.
엔비디아에도 이점이 있다. 데이터센터에 다양한 AI 프로세서가 들어와도 NVLink와 네트워크, 랙 등 엔비디아 기술의 적용 범위를 유지할 수 있다. 이 지점에서 엔비디아의 사업 전략도 달라진다. GPU 공급과 함께 프로세서 사이의 연결, 네트워크, 랙 구조까지 데이터센터의 여러 계층에 자사 기술을 배치한다.
AI 반도체 경쟁축이 칩에서 시스템으로 확대
AI 데이터센터의 성능은 GPU 한 종류만으로 결정되지 않는다. CPU와 GPU, 추론 가속기, 메모리, 네트워크가 대규모 데이터를 빠르게 주고받아야 한다. 전력과 냉각도 전체 시스템에 맞춰 설계해야 한다. 엔비디아의 MGX도 이런 방향을 반영한다. MGX는 GPU와 CPU, DPU, 네트워킹을 조합할 수 있는 모듈형 데이터센터 설계로, 단일 서버부터 랙 규모 AI 시스템까지 지원한다. 엔비디아는 이를 통해 여러 종류의 연산 장치를 하나의 데이터센터 구조에서 운영할 수 있도록 하고 있다.
d-Matrix 사례는 여기서 한 단계 더 나아간다. 외부 업체의 추론 전용 프로세서가 엔비디아 랙 안에서 엔비디아 GPU와 직접 작업을 분담한다. AI 반도체 시장에서 앞으로 봐야 할 영역도 넓어진다. 어떤 기업이 가장 빠른 프로세서를 만드는지와 함께 서로 다른 프로세서와 메모리를 어떤 방식으로 연결하고 전체 시스템의 처리 효율을 높이는지가 중요해지고 있다.
한국 반도체가 봐야 할 시장도 넓어진다
이 변화는 삼성전자와 SK하이닉스에도 직접 연결된다. 한국 반도체 기업들은 HBM과 첨단 메모리, 파운드리, 첨단 패키징을 중심으로 AI 시장에 참여하고 있다. 추론용 XPU와 맞춤형 ASIC이 늘어나면 고성능 메모리를 사용하는 프로세서와 고객도 다양해질 수 있다.
특히 d-Matrix의 Raptor처럼 연산과 메모리 사이의 데이터 이동을 줄이는 설계가 확대되면 메모리와 프로세서의 결합 방식도 중요해진다. 메모리 성능, 첨단 패키징, 칩 간 연결 기술을 하나의 시스템 관점에서 봐야 하는 이유다.
삼성전자에는 파운드리와 메모리, 첨단 패키징을 연결하는 사업 기회가 생길 수 있다. SK하이닉스도 GPU 외의 AI 프로세서로 고성능 메모리 고객 기반을 확대할 가능성이 있다. 다만 Raptor의 실제 시장 채택과 메모리 공급구조가 아직 확정되지 않은 만큼 특정 한국 기업의 직접적인 수혜를 예상하기에는 이르다.
엔비디아가 선점하려는 다음 자리
d-Matrix의 Raptor는 아직 개발 단계다. 올해 말 최종 설계를 마치고 NVLink Fusion 기반 MGX 시스템은 2027년 4분기 초기 공급을 목표로 한다. 실제 성능과 가격, 고객 채택은 앞으로 확인해야 한다. 그러나 이번 협력에서 엔비디아의 방향은 확인할 수 있다. 외부 AI 프로세서를 NVLink에 연결하고, MGX 랙과 Spectrum-X 네트워크를 함께 사용하도록 시스템 범위를 넓히고 있다.
AI 추론 시장에서는 앞으로 더 많은 전용 프로세서가 등장할 가능성이 크다. 엔비디아는 이들 프로세서가 데이터센터에 들어오는 통로에 자사 기술을 배치하고 있다. GPU에서 확보한 영향력을 데이터센터의 연결 구조로 넓히는 것. d-Matrix가 보여준 엔비디아의 다음 전략이다.
