데일리 TOP10
KT, AI 모델 골라주는 '오토모델라우터' 글로벌 벤치마크 2위
뉴스보이
2026.09.27. 14:14
뉴스보이
2026.09.27. 14:14
비용과 품질 최적화 기술로 토큰 팩토리 탑재 및 기업 AX 지원
1
KT가 자체 개발한 인공지능 모델 라우팅 기술 ‘오토모델라우터’가 글로벌 벤치마크 ‘라우터 아레나’에서 종합 2위를 기록함.
2
이번 평가는 약 8,400개 질의를 바탕으로 진행됐으며, 응답 정확도와 비용 효율을 함께 측정한 부문에서 우수한 평가를 받음.
3
오토모델라우터는 요청의 난이도를 분석해 간단한 작업은 비용 효율적인 모델로, 복잡한 추론은 고성능 모델로 자동 연결함.
4
KT는 해당 기술을 다중 AI 운영 플랫폼인 ‘토큰 팩토리’에 탑재해 서비스 품질을 유지하면서 토큰 사용 비용을 최적화할 계획임.
5
이어 다양한 모델을 유연하게 추가하는 다중 운영 환경을 고도화해 기업 고객의 인공지능 전환 도입을 적극적으로 지원할 방침임.
AI 비용 줄이고 성능 높이는 모델 라우팅의 원리와 KT의 상용화 전략
기업들은 왜 AI 모델 라우팅 기술을 도입할까
글로벌 벤치마크 2위에 오른 KT 기술의 성과
토큰 팩토리로 구현하는 기업용 맞춤 플랫폼
기업들은 왜 AI 모델 라우팅 기술을 도입할까
•
기업이 모든 인공지능 업무에 값비싼 고성능 모델을 일률적으로 쓰면 막대한 이용 비용이 발생합니다. 이에 따라 단순 작업은 가벼운 소형 모델에 맡기고 복잡한 추론만 고성능 모델로 연결하는 라우팅 기술이 주목받고 있습니다.
•
실제 기업용 생성형 인공지능 작업의 약 70퍼센트에서 80퍼센트는 단순 질의나 서식 변환처럼 가벼운 소형 언어 모델로 충분히 처리할 수 있습니다. 지능형 라우팅 기술을 도입하면 고성능 단일 모델 수준의 응답 품질을 유지하면서도 추론 비용을 40퍼센트에서 최대 85퍼센트 이상 절감할 수 있습니다.
글로벌 벤치마크 2위에 오른 KT 기술의 성과
•
KT가 자체 개발한 오토모델라우터는 글로벌 전문 벤치마크인 라우터 아레나 평가에서 종합 2위에 올랐습니다. 미국 라이스대학교 연구진이 구축한 이 평가는 약 8,400개의 질의를 바탕으로 응답 정확도와 비용 효율성을 종합 측정했습니다.
•
KT 기술은 공개 리더보드에 'KT 모델라우터'라는 이름으로 등재되어 종합 76.3점을 획득했습니다. 이는 1위를 차지한 Paix2의 77.6점에 이은 성과로, 1천 개 질의당 0.27달러의 비용과 78.1퍼센트의 정확도를 기록했습니다.
•
해당 리더보드에는 학계 연구뿐만 아니라 마이크로소프트의 애저 모델 라우터 같은 글로벌 상용 기술도 함께 경쟁하고 있습니다. KT는 무조건 저렴하거나 뛰어난 모델만 고르지 않고 기업의 목표 품질과 예산을 함께 맞추는 정책을 적용해 높은 평가를 받았습니다.
토큰 팩토리로 구현하는 기업용 맞춤 플랫폼
•
KT는 검증된 라우팅 기술을 기업용 플랫폼인 토큰 팩토리에 탑재해 본격적인 상용 서비스를 제공할 계획입니다. 토큰 팩토리는 여러 상용 모델과 오픈소스 인공지능을 통합 연결해 고객의 요청을 최적의 모델로 분배하는 기업용 플랫폼입니다.
•
오토모델라우터는 이 플랫폼 안에서 서비스 품질을 안정적으로 지키면서 토큰 사용량과 과금 비용을 실시간으로 줄여줍니다. KT는 산업별 규제와 보안 요건을 반영한 맞춤형 다중 모델 운영 환경을 구축해 기업 고객의 인공지능 전환을 적극 지원할 방침입니다.
기업들은 왜 AI 모델 라우팅 기술을 도입할까
•
기업이 모든 인공지능 업무에 값비싼 고성능 모델을 일률적으로 쓰면 막대한 이용 비용이 발생합니다. 이에 따라 단순 작업은 가벼운 소형 모델에 맡기고 복잡한 추론만 고성능 모델로 연결하는 라우팅 기술이 주목받고 있습니다.
•
실제 기업용 생성형 인공지능 작업의 약 70퍼센트에서 80퍼센트는 단순 질의나 서식 변환처럼 가벼운 소형 언어 모델로 충분히 처리할 수 있습니다. 지능형 라우팅 기술을 도입하면 고성능 단일 모델 수준의 응답 품질을 유지하면서도 추론 비용을 40퍼센트에서 최대 85퍼센트 이상 절감할 수 있습니다.
글로벌 벤치마크 2위에 오른 KT 기술의 성과
•
KT가 자체 개발한 오토모델라우터는 글로벌 전문 벤치마크인 라우터 아레나 평가에서 종합 2위에 올랐습니다. 미국 라이스대학교 연구진이 구축한 이 평가는 약 8,400개의 질의를 바탕으로 응답 정확도와 비용 효율성을 종합 측정했습니다.
•
KT 기술은 공개 리더보드에 'KT 모델라우터'라는 이름으로 등재되어 종합 76.3점을 획득했습니다. 이는 1위를 차지한 Paix2의 77.6점에 이은 성과로, 1천 개 질의당 0.27달러의 비용과 78.1퍼센트의 정확도를 기록했습니다.
•
해당 리더보드에는 학계 연구뿐만 아니라 마이크로소프트의 애저 모델 라우터 같은 글로벌 상용 기술도 함께 경쟁하고 있습니다. KT는 무조건 저렴하거나 뛰어난 모델만 고르지 않고 기업의 목표 품질과 예산을 함께 맞추는 정책을 적용해 높은 평가를 받았습니다.
토큰 팩토리로 구현하는 기업용 맞춤 플랫폼
•
KT는 검증된 라우팅 기술을 기업용 플랫폼인 토큰 팩토리에 탑재해 본격적인 상용 서비스를 제공할 계획입니다. 토큰 팩토리는 여러 상용 모델과 오픈소스 인공지능을 통합 연결해 고객의 요청을 최적의 모델로 분배하는 기업용 플랫폼입니다.
•
오토모델라우터는 이 플랫폼 안에서 서비스 품질을 안정적으로 지키면서 토큰 사용량과 과금 비용을 실시간으로 줄여줍니다. KT는 산업별 규제와 보안 요건을 반영한 맞춤형 다중 모델 운영 환경을 구축해 기업 고객의 인공지능 전환을 적극 지원할 방침입니다.
#KT
#오토모델라우터
#토큰 팩토리
#라우터 아레나
#인공지능
이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다. AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
• 이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다.
• AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
