데일리 TOP10
KT 자체 개발 AI 라우팅 '오토모델라우터', 글로벌 벤치마크 2위
뉴스보이
2026.09.27. 14:14
뉴스보이
2026.09.27. 14:14
업무 난이도별 최적 모델 자동 연결과 토큰 팩토리 적용
1
KT가 자체 개발한 AI 모델 라우팅 기술 '오토모델라우터'가 글로벌 벤치마크 '라우터 아레나' 종합 2위를 기록함.
2
이번 평가는 약 8400개 질의로 정확도와 비용 효율성을 종합 측정했으며, KT 기술은 'KT 모델라우터'로 등재됨.
3
해당 기술은 질의의 업무 유형과 난이도를 분석해 목표 품질을 충족하면서 비용을 최적화하는 모델을 자동 연결함.
4
이에 따라 간단한 작업에는 저비용 모델을, 전문 분석과 고난도 추론에는 고성능 모델을 유연하게 배정함.
5
KT는 이 기술을 통합 AI 운영 환경 '토큰 팩토리'에 적용해 기업 고객의 서비스 경쟁력을 뒷받침할 계획임.
AI 모델 라우팅 기술의 역할과 KT 토큰 팩토리 적용 배경
글로벌 벤치마크 평가와 리더보드 순위
기업 환경에서 모델 라우팅이 주목받는 이유
통합 AI 운영 환경 토큰 팩토리와의 연계
글로벌 벤치마크 평가와 리더보드 순위
•
KT가 자체 개발한 오토모델라우터는 미국 라이스대학교 연구진이 개발한 전문 평가 플랫폼인 라우터 아레나에서 종합 2위에 올랐습니다. 라우터 아레나는 머신러닝 분야 국제학회인 ICLR 2026의 정식 논문으로 채택될 만큼 공신력을 인정받는 벤치마크입니다.
•
이번 평가는 약 8400개의 질의를 통해 응답 정확도와 비용 효율성을 종합 측정한 결과로, KT 기술은 76.3점을 얻어 선두권에 올랐습니다. 해당 공개 리더보드에는 학계의 최신 연구 모델뿐만 아니라 마이크로소프트의 상용 기술인 애저 모델 라우터도 함께 등재되어 경쟁하고 있습니다.
기업 환경에서 모델 라우팅이 주목받는 이유
•
기업이 마주하는 일상 질의는 단순 요약이나 데이터 분류 같은 작업이 많아 고성능 단일 모델만 상시 호출할 필요가 없기 때문입니다. 실제로 업무 현장에서 발생하는 AI 호출의 70% 이상은 소형 언어 모델로도 충분히 처리할 수 있습니다.
•
오토모델라우터는 질의의 난이도와 지식 분야를 분석해 목표 품질을 충족하는 최적의 모델을 자동 배정합니다. 간단한 정보 확인에는 저비용 모델을 연결하고, 고난도 추론이나 전문 분석에는 고성능 모델을 연결하는 방식입니다.
•
이러한 라우팅 체계를 적용하면 단일 플래그십 모델을 계속 호출할 때보다 추론 비용을 50%에서 최대 70%까지 절감할 수 있습니다. 또한 작업 규모에 맞게 모델이 분기되면서 응답 지연 시간을 줄이고 서비스 운영 안정성도 함께 높일 수 있습니다.
통합 AI 운영 환경 토큰 팩토리와의 연계
•
오토모델라우터는 KT가 구축 중인 통합 AI 운영 플랫폼인 토큰 팩토리의 핵심 오케스트레이션 엔진으로 탑재됩니다. 토큰 팩토리는 AI 데이터센터 인프라를 기반으로 다양한 모델의 토큰 생성과 중개 및 과금 정산을 한 번에 처리하는 환경입니다.
•
해당 기술은 KT 자체 모델인 믿음 K뿐 아니라 업스테이지 솔라와 솔트룩스 루시아 등 국내외 모델 풀을 유연하게 연결합니다. KT는 이를 바탕으로 산업별 규제와 소버린 요건을 반영한 맞춤형 기업 플랫폼 구축 사업을 단계적으로 확장할 계획입니다.
글로벌 벤치마크 평가와 리더보드 순위
•
KT가 자체 개발한 오토모델라우터는 미국 라이스대학교 연구진이 개발한 전문 평가 플랫폼인 라우터 아레나에서 종합 2위에 올랐습니다. 라우터 아레나는 머신러닝 분야 국제학회인 ICLR 2026의 정식 논문으로 채택될 만큼 공신력을 인정받는 벤치마크입니다.
•
이번 평가는 약 8400개의 질의를 통해 응답 정확도와 비용 효율성을 종합 측정한 결과로, KT 기술은 76.3점을 얻어 선두권에 올랐습니다. 해당 공개 리더보드에는 학계의 최신 연구 모델뿐만 아니라 마이크로소프트의 상용 기술인 애저 모델 라우터도 함께 등재되어 경쟁하고 있습니다.
기업 환경에서 모델 라우팅이 주목받는 이유
•
기업이 마주하는 일상 질의는 단순 요약이나 데이터 분류 같은 작업이 많아 고성능 단일 모델만 상시 호출할 필요가 없기 때문입니다. 실제로 업무 현장에서 발생하는 AI 호출의 70% 이상은 소형 언어 모델로도 충분히 처리할 수 있습니다.
•
오토모델라우터는 질의의 난이도와 지식 분야를 분석해 목표 품질을 충족하는 최적의 모델을 자동 배정합니다. 간단한 정보 확인에는 저비용 모델을 연결하고, 고난도 추론이나 전문 분석에는 고성능 모델을 연결하는 방식입니다.
•
이러한 라우팅 체계를 적용하면 단일 플래그십 모델을 계속 호출할 때보다 추론 비용을 50%에서 최대 70%까지 절감할 수 있습니다. 또한 작업 규모에 맞게 모델이 분기되면서 응답 지연 시간을 줄이고 서비스 운영 안정성도 함께 높일 수 있습니다.
통합 AI 운영 환경 토큰 팩토리와의 연계
•
오토모델라우터는 KT가 구축 중인 통합 AI 운영 플랫폼인 토큰 팩토리의 핵심 오케스트레이션 엔진으로 탑재됩니다. 토큰 팩토리는 AI 데이터센터 인프라를 기반으로 다양한 모델의 토큰 생성과 중개 및 과금 정산을 한 번에 처리하는 환경입니다.
•
해당 기술은 KT 자체 모델인 믿음 K뿐 아니라 업스테이지 솔라와 솔트룩스 루시아 등 국내외 모델 풀을 유연하게 연결합니다. KT는 이를 바탕으로 산업별 규제와 소버린 요건을 반영한 맞춤형 기업 플랫폼 구축 사업을 단계적으로 확장할 계획입니다.
#KT
#오토모델라우터
#라우터 아레나
#토큰 팩토리
#인공지능
