KT가 생성형 AI 서비스를 구성하는 여러 대규모언어모델(LLM) 가운데 업무에 적합한 모델을 자동으로 선택하는 ‘모델 라우팅’ 기술 경쟁력을 입증했다. AI 모델의 성능뿐 아니라 비용까지 함께 고려하는 방식으로 기업의 AI 운영 효율성을 높이는 데 초점을 맞췄다.
27일 통신업계에 따르면, KT가 자체 개발한 AI 모델 라우팅 기술 ‘AutoModelRouter(오토모델라우터)’가 글로벌 공개 벤치마크 ‘RouterArena’의 ‘Acc-Cost Arena’에서 종합 2위를 기록했다.
RouterArena는 미국 라이스대학교 연구진이 개발한 LLM 라우터 평가 플랫폼이다. 관련 연구는 머신러닝 분야 국제학회 ICLR 2026 정식 논문으로 채택됐다. 약 8400개 질의를 기반으로 AI 라우터의 응답 정확도와 비용 효율성, 다양한 입력에 대한 견고성 등을 평가한다.
KT의 기술은 ‘KT-ModelRouter’라는 이름으로 RouterArena 공개 리더보드에 올라 있다. 특히 응답 품질과 비용을 함께 평가하는 Acc-Cost Arena에서 2위를 기록했다. 공개 리더보드에는 학계 연구진이 개발한 라우터뿐 아니라 Microsoft의 Azure Model Router 등 상용 기술도 포함돼 있어 KT의 기술 수준을 객관적으로 확인할 수 있는 지표라는 게 회사 측 설명이다.
AI 모델 라우팅은 기업의 생성형 AI 활용이 확대되면서 중요성이 커지는 기술 분야다. 최근에는 하나의 AI 모델만 사용하는 방식에서 벗어나 업무 성격에 따라 여러 모델을 조합하는 멀티모델 전략이 확산하고 있다.
모델마다 강점과 비용 구조가 다르기 때문이다. 번역이나 단순 정보 검색처럼 상대적으로 복잡도가 낮은 작업에는 비용 부담이 낮은 모델을 사용할 수 있는 반면, 전문적인 분석이나 고난도 추론에는 상대적으로 높은 성능을 가진 모델이 요구된다.
이 과정에서 라우터는 사용자의 질문이나 업무 요청을 분석해 어떤 모델을 사용할지를 결정하는 일종의 ‘AI 교통관제 시스템’ 역할을 한다.
KT의 AutoModelRouter는 이용자의 요청을 업무 유형과 난이도, 지식 분야 등으로 분석한 뒤 모델별 품질과 비용을 고려해 적합한 모델로 요청을 전달한다. 모든 요청에 최고 성능 모델을 연결하는 방식이 아니라 목표한 품질 수준을 충족하면서도 불필요한 비용 발생을 줄이는 데 초점을 맞췄다.
예컨대 간단한 번역이나 정보 확인에는 비용 효율성이 높은 모델을 배정하고, 복잡한 문서 분석이나 추론이 필요한 경우에는 고성능 모델을 연결하는 식이다. 이용자 입장에서는 하나의 AI 서비스를 사용하는 것처럼 보이지만 실제 내부에서는 요청 특성에 따라 서로 다른 AI 모델이 선택된다.
업계에서는 이 같은 모델 라우팅 기술이 기업용 AI 시장에서 중요성이 더욱 커질 것으로 보고 있다. 기업이 AI를 실제 업무에 광범위하게 적용할수록 모델 사용량과 토큰 비용이 함께 증가하는 만큼, 업무별로 적절한 모델을 배분하는 기술이 AI 투자 효율성을 좌우할 수 있어서다.
특히 기업 입장에서는 새로운 AI 모델이 출시될 때마다 성능과 가격, 적용 가능 업무를 직접 비교해 시스템에 반영해야 하는 부담도 줄일 수 있다. 라우팅 시스템을 기반으로 모델을 유연하게 교체할 수 있다면 특정 모델에 대한 의존도를 낮추면서 비용과 성능을 함께 관리할 수 있다는 장점도 있다.
KT는 AutoModelRouter를 ‘Token Factory(토큰 팩토리)’의 모델 라우팅 기능에 적용하고 있다. Token Factory를 통해 다양한 AI 모델과 토큰 사용 환경을 통합 관리하고, AutoModelRouter가 사용자의 요청에 맞는 모델을 선택하는 구조다.
KT는 향후 새로운 AI 모델을 손쉽게 추가할 수 있는 멀티모델 운영 환경을 구축하고 AutoModelRouter의 성능을 지속적으로 고도화할 계획이다. 이를 통해 기업 고객이 업무별 요구 수준과 비용에 맞춰 AI를 활용할 수 있도록 지원한다는 방침이다.
김준석 KT Agentic AI Lab장 상무는 “AI 시대에는 가장 뛰어난 단일 모델을 확보하는 것뿐 아니라 상황에 맞는 최적의 모델을 얼마나 지능적으로 활용하느냐가 중요하다”며 “AutoModelRouter는 이러한 AI 오케스트레이션 역량을 구현한 기술”이라고 말했다.
업계 관계자는 “기업용 AI 시장에서는 모델 자체의 성능 경쟁과 함께 여러 모델을 얼마나 효율적으로 조합하고 운영하느냐가 새로운 경쟁 요소로 부상하고 있다”며 “특히 생성형 AI 사용량이 늘어날수록 품질 저하 없이 토큰 비용을 관리할 수 있는 라우팅 기술의 중요성이 커질 가능성이 있다”고 말했다.
