LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 손잡고 생성형 AI 서비스의 운영 효율을 높이는 기술 개발에 속도를 낸다. 온디바이스 AI에서 검증한 모델 경량화 기술을 서버 GPU 환경으로 확대해 AI 인프라 비용 절감과 처리 성능 향상을 동시에 추진한다.
양사는 AI가 질문과 답변을 처리할 때 사용하는 데이터 단위인 ‘토큰’을 효율적으로 처리하는 최적화 기술을 공동 연구하고 있다. 같은 GPU 자원에서 더 많은 요청을 처리할 수 있도록 모델의 연산 구조와 처리 방식을 개선하는 것이 핵심이다.
현재 진행 중인 GPU 기반 연구에서는 의미 있는 결과도 확보했다. AI 모델의 답변 생성 과정에서 발생하는 연산을 실제 서비스 환경에 맞게 최적화해 동일한 GPU에서 처리할 수 있는 토큰량을 기존보다 최대 4배 높였다.
LG유플러스는 실제 AI 서비스 운영 경험을 기반으로 기술 검증과 서비스 적용을 맡고, 옵트에이아이는 AI 모델을 경량화하고 구동 속도를 높이는 연구개발을 담당한다. 양사는 이를 통해 GPU와 전력 사용량을 줄이는 동시에 응답 속도와 서비스 품질을 높인다는 목표다.
두 회사의 협력은 이번이 처음은 아니다. 스마트폰 등 기기 자체에서 AI를 구동하는 온디바이스 AI 분야에서도 공동 연구를 진행했다. LG유플러스는 엑사원(EXAONE) 기반 소형언어모델(sLM)에 경량화 기술을 적용해 스마트폰 NPU에서 구동할 수 있도록 했으며, 기존 CPU 방식과 유사한 성능을 유지하면서 전력 소모를 78%, 모델 크기를 82% 줄였다.
양사는 지난 1일 ‘Efficient AI 테크 세미나’를 공동 개최하고 AI 운영 효율화를 위한 기술 동향과 산업 적용 사례도 공유했다. 퓨리오사AI, 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등 산·학·연 관계자들이 참여해 AI 모델 최적화와 AI 반도체, 서비스 적용 기술 등을 논의했다.
업계에서는 생성형 AI 서비스가 확대되면서 AI 모델 자체의 성능뿐 아니라 이를 뒷받침하는 GPU와 전력 등 인프라 효율성이 사업 경쟁력을 좌우하는 요소로 부상하고 있다는 분석이 나온다. 특히 대규모 AI 서비스를 운영하는 기업 입장에서는 동일한 인프라에서 처리량을 얼마나 끌어올리느냐가 비용 구조와 직결되는 만큼 모델 최적화 기술의 중요성이 커지고 있다.
LG유플러스와 옵트에이아이는 이번 협력을 계기로 연구 범위를 서버 GPU 환경까지 확대한다. 향후 확보한 기술을 LG유플러스의 AI 서비스와 대규모 AI 인프라에 단계적으로 적용해 운영 효율을 높일 계획이다.
이상엽 LG유플러스 CTO는 “AI 경쟁력은 성능뿐 아니라 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있는지가 중요하다”며 “다양한 파트너와 협력을 확대해 토큰 최적화 기술을 실제 서비스에 적용할 수 있는 성과로 발전시키겠다”고 말했다.
이재호 옵트에이아이 대표는 “생성형 AI 확산으로 운영 효율성 확보의 중요성이 커지고 있다”며 “실제 서비스 환경에서 검증할 수 있는 AI 최적화 기술을 LG유플러스와 함께 고도화하겠다”고 말했다.
