데일리 TOP10
LG유플러스, AI 토큰 비용 최대 90% 절감…내년 B2B 시장 본격 진출
뉴스보이
2026.11.15. 09:00
뉴스보이
2026.11.15. 09:00
초경량 온디바이스 모델과 다중 칩 인프라 기반의 토큰 효율화 전략
1
LG유플러스가 AI 에이전트 운영 비용을 최대 90%까지 줄이는 토큰 최적화 기술을 공개함.
2
모델 라우팅 기술 등을 적용해 일반 질의 비용 25%와 코딩 에이전트 비용 30%를 절감함.
3
온디바이스 AI 모델을 약 800MB로 줄이고 추측 디코딩을 도입해 생성 속도를 2배 높임.
4
여기에 엔비디아와 AMD GPU, 퓨리오사AI NPU를 결합한 칩 믹스로 연산 효율을 극대화함.
5
회사는 파트너 제휴와 자체 인프라 구축을 병행해 내년부터 B2B 토큰 사업을 본격화할 계획임.
AI 비용 장벽을 낮추는 토큰 최적화와 통신사의 새로운 인프라 경쟁
토큰 비용을 90%까지 줄인 기술적 비결은 무엇인가
통신사들은 왜 AI 토큰 사업에 뛰어들고 있는가
대규모 상용화와 기술 검증의 향후 일정은 어떻게 되는가
토큰 비용을 90%까지 줄인 기술적 비결은 무엇인가
•
LG유플러스는 똑똑한 질문 분배와 모델 경량화, 그리고 다양한 반도체를 결합해 운영 비용을 크게 낮췄습니다. 작업 난이도에 맞춰 인공지능 모델을 다르게 연결하는 동적 라우팅 기술을 적용해 코딩 업무 비용을 최대 90% 이상 줄였습니다.
•
기기 안에서 바로 작동하는 온디바이스 모델의 용량을 약 800메가바이트 수준으로 줄이면서도 기존 클라우드 모델 성능의 95% 이상을 확보했습니다. 여기에 작은 모델이 초안을 만들고 큰 모델이 검증하는 추측 디코딩 기술을 도입해 단어 생성 속도를 2배 이상 끌어올렸습니다.
•
하드웨어 인프라에서는 연산 특성에 따라 엔비디아와 AMD의 그래픽처리장치뿐 아니라 국내 기업인 퓨리오사AI의 신경망처리장치를 함께 묶어 사용합니다. 여러 종류의 반도체를 유기적으로 조합하는 칩 믹스 전략을 통해 동일한 장비 환경에서도 처리 효율을 최대 4배까지 개선했습니다.
통신사들은 왜 AI 토큰 사업에 뛰어들고 있는가
•
통신사들은 천문학적인 비용이 드는 자체 모델 개발 경쟁에서 벗어나 인공지능 자원을 중개하고 관리하는 인프라 사업에서 안정적인 수익을 찾고 있습니다. 과거 통신망 트래픽을 측정해 요금을 매겼던 것처럼 인공지능 사용량의 기본 단위인 토큰을 관리하는 플랫폼 시장이 열렸기 때문입니다.
•
기업 고객에게는 여러 인공지능 모델을 단일 창구로 연결해주고 질문 압축이나 부서별 예산 관리 기능을 묶어 사용량에 따라 과금하는 서비스가 제공됩니다. 이에 맞춰 SK텔레콤은 토큰 게이트웨이를, KT는 토큰팩토리를 선보였으며 LG유플러스도 제휴와 자체 인프라를 병행해 시장 공략에 뛰어들었습니다.
대규모 상용화와 기술 검증의 향후 일정은 어떻게 되는가
•
LG유플러스는 정부 주도의 대규모 프로젝트를 통해 서빙 기술을 먼저 검증한 뒤 내년부터 기업용 시장에 본격 진출합니다. 과학기술정보통신부가 추진하는 모두의 AI 사업에서 카카오와 함께 참여해 연말 정식 서비스를 목표로 대규모 모델 구동과 운영을 맡고 있습니다.
•
공공 과제에서 대규모 사용자의 요청을 처리하며 다듬은 기술을 바탕으로 내년에는 기업 고객을 위한 맞춤형 토큰 사업을 개시합니다. 파트너 기업과의 제휴를 통한 공급뿐만 아니라 고객사 환경에 맞춘 자체 인프라 구축 방식을 함께 추진할 계획입니다.
•
앞으로는 새로운 인공지능 모델이 추가될 때 연산 병목을 자동으로 찾아 최적화하는 기술을 확보하는 일이 주요 과제로 꼽힙니다. 또한 퓨리오사AI의 국산 반도체를 비롯한 다중 칩 인프라가 대규모 실제 환경에서 장시간 안정성을 입증할 수 있을지가 성공의 열쇠입니다.
토큰 비용을 90%까지 줄인 기술적 비결은 무엇인가
•
LG유플러스는 똑똑한 질문 분배와 모델 경량화, 그리고 다양한 반도체를 결합해 운영 비용을 크게 낮췄습니다. 작업 난이도에 맞춰 인공지능 모델을 다르게 연결하는 동적 라우팅 기술을 적용해 코딩 업무 비용을 최대 90% 이상 줄였습니다.
•
기기 안에서 바로 작동하는 온디바이스 모델의 용량을 약 800메가바이트 수준으로 줄이면서도 기존 클라우드 모델 성능의 95% 이상을 확보했습니다. 여기에 작은 모델이 초안을 만들고 큰 모델이 검증하는 추측 디코딩 기술을 도입해 단어 생성 속도를 2배 이상 끌어올렸습니다.
•
하드웨어 인프라에서는 연산 특성에 따라 엔비디아와 AMD의 그래픽처리장치뿐 아니라 국내 기업인 퓨리오사AI의 신경망처리장치를 함께 묶어 사용합니다. 여러 종류의 반도체를 유기적으로 조합하는 칩 믹스 전략을 통해 동일한 장비 환경에서도 처리 효율을 최대 4배까지 개선했습니다.
통신사들은 왜 AI 토큰 사업에 뛰어들고 있는가
•
통신사들은 천문학적인 비용이 드는 자체 모델 개발 경쟁에서 벗어나 인공지능 자원을 중개하고 관리하는 인프라 사업에서 안정적인 수익을 찾고 있습니다. 과거 통신망 트래픽을 측정해 요금을 매겼던 것처럼 인공지능 사용량의 기본 단위인 토큰을 관리하는 플랫폼 시장이 열렸기 때문입니다.
•
기업 고객에게는 여러 인공지능 모델을 단일 창구로 연결해주고 질문 압축이나 부서별 예산 관리 기능을 묶어 사용량에 따라 과금하는 서비스가 제공됩니다. 이에 맞춰 SK텔레콤은 토큰 게이트웨이를, KT는 토큰팩토리를 선보였으며 LG유플러스도 제휴와 자체 인프라를 병행해 시장 공략에 뛰어들었습니다.
대규모 상용화와 기술 검증의 향후 일정은 어떻게 되는가
•
LG유플러스는 정부 주도의 대규모 프로젝트를 통해 서빙 기술을 먼저 검증한 뒤 내년부터 기업용 시장에 본격 진출합니다. 과학기술정보통신부가 추진하는 모두의 AI 사업에서 카카오와 함께 참여해 연말 정식 서비스를 목표로 대규모 모델 구동과 운영을 맡고 있습니다.
•
공공 과제에서 대규모 사용자의 요청을 처리하며 다듬은 기술을 바탕으로 내년에는 기업 고객을 위한 맞춤형 토큰 사업을 개시합니다. 파트너 기업과의 제휴를 통한 공급뿐만 아니라 고객사 환경에 맞춘 자체 인프라 구축 방식을 함께 추진할 계획입니다.
•
앞으로는 새로운 인공지능 모델이 추가될 때 연산 병목을 자동으로 찾아 최적화하는 기술을 확보하는 일이 주요 과제로 꼽힙니다. 또한 퓨리오사AI의 국산 반도체를 비롯한 다중 칩 인프라가 대규모 실제 환경에서 장시간 안정성을 입증할 수 있을지가 성공의 열쇠입니다.
#LG유플러스
#퓨리오사AI
#엔비디아
#AMD
#AI 에이전트
