공공·금융·제조 등 규제 산업 공략… 엣지 AI로 사업 영역 확대
KT가 국산 AI 반도체와 자체 언어모델을 결합한 기업용 소버린 AI 장비를 내놓고 산업 현장의 AI 전환(AX) 시장 공략에 나선다.
19일 통신업계에 따르면, KT는 국산 NPU와 대규모언어모델(LLM), 운영 플랫폼을 하나의 장비에 구현한 ‘KT NPU LLM Station’을 출시했다. 별도의 복잡한 인프라 구축 없이 기업이 자체 환경에서 AI를 활용할 수 있도록 한 완제품 형태의 솔루션이다.
제품에는 국내 AI 반도체 기업 리벨리온의 추론 특화 NPU ‘ATOM-MAX’와 KT가 자체 개발한 LLM ‘믿음 K 2.5 Pro’, 운영 API 플랫폼이 탑재됐다. AI 연산부터 모델과 서비스 운영에 필요한 핵심 요소를 국산 기술로 구성한 것이 특징이다.
KT는 이를 통해 기업과 기관이 데이터 주권을 확보하면서 AI를 활용할 수 있을 것으로 기대하고 있다. 특히 외부 클라우드나 해외 AI 서비스 이용에 제약이 있는 공공·국방·금융·제약·제조 등 보안 민감 산업을 주요 수요처로 겨냥했다.
보안성은 제품의 핵심 경쟁력으로 꼽힌다. 장비를 고객사 내부에 직접 설치하고 데이터 저장과 AI 연산을 모두 내부에서 처리하는 방식이기 때문이다. 망분리 등 보안 규제로 외부 생성형 AI 활용이 어려웠던 기업도 내부 데이터를 활용한 AI 서비스를 구축할 수 있다는 설명이다.
도입 과정도 간소화했다. 서버와 AI 모델, 운영 소프트웨어를 하나로 묶어 별도 인프라를 구성할 필요를 줄였으며, 설치 후 사내 문서 기반 질의응답(RAG) 등 주요 AI 기능을 바로 사용할 수 있도록 했다.
전력 효율도 차별화 요소다. KT는 추론 작업에 특화된 NPU를 활용해 동급 GPU 서버 대비 높은 전력 효율을 확보했다고 설명했다. 업계 표준 API도 지원해 기존 AI 서비스와 연동할 때 별도의 코드 변경 부담을 낮췄다.
KT는 향후 장비에 자체 개발한 AI 에이전트를 추가해 활용 범위를 넓힐 예정이다. 회의록 작성과 코딩 지원을 비롯해 업무 자동화 에이전트 ‘K-Claw(가칭)’ 등을 순차적으로 탑재하고, 전문 개발사와 협업해 기업별 맞춤형 AI 구축 사업으로 확대한다는 계획이다.
AI 인프라의 적용 범위도 데이터센터를 넘어 엣지 환경으로 넓힌다. KT는 향후 ‘KT NPU LLM Station’을 피지컬 AI에 필요한 엣지 데이터센터에 활용해 저전력·저지연 AI 인프라를 구현한다는 구상이다.
업계에서는 기업의 AI 활용이 확산하면서 단순히 AI 모델을 제공하는 것을 넘어 데이터 보안과 인프라까지 통합한 ‘온프레미스 AI’ 수요가 커질 것으로 보고 있다. 특히 생성형 AI 활용 과정에서 데이터 외부 유출을 우려하는 규제 산업을 중심으로 소버린 AI가 새로운 시장을 형성할 가능성이 있다는 분석이다.
이진형 KT AX사업본부장 상무는 “KT NPU LLM Station은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 산업 현장에서 바로 활용할 수 있도록 만든 제품”이라며 “데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 현실적인 선택지가 될 것”이라고 말했다.
KT는 과학기술정보통신부의 ‘모두의 AI’ 프로젝트에서도 국산 NPU를 활용해 소버린 AI 구현을 지원하고 국내 AI 산업 생태계 경쟁력 강화에 기여할 방침이다.
