데일리 TOP10
LG유플러스·옵트에이아이, AI '토큰 최적화' 협력…GPU 처리량 최대 4배 높인다
뉴스보이
2026.10.02. 09:00
뉴스보이
2026.10.02. 09:00
온디바이스 경량화 성과 바탕 서버 인프라 최적화 공동 연구 확대
1
LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 AI 운영 효율 향상을 위한 토큰 최적화 공동 연구를 추진함.
2
양사는 AI 연산 과정을 개선해 동일한 GPU 자원에서 토큰 처리량을 기존 대비 최대 4배까지 늘리는 성과를 거둠.
3
앞서 엑사원 기반 소형언어모델 경량화로 전력 소모 78%와 크기 82%를 절감한 데 이어 연구 범위를 서버로 확대함.
4
이에 따라 LGU+는 서비스 검증과 적용을 맡고 옵트에이아이는 모델 경량화 및 최적화 연구개발을 전담함.
5
향후 확보된 최적화 기술을 자체 AI 서비스와 대규모 AI 인프라 운영 환경에 순차적으로 적용할 방침임.
AI 운영 비용 줄이는 토큰 최적화 기술과 인프라 적용 계획
AI 서비스에서 토큰 처리량 최적화가 필요한 이유
온디바이스 경량화에서 서버 GPU 4배 처리량 달성까지
자체 AI 에이전트와 대규모 인프라 적용 계획
AI 서비스에서 토큰 처리량 최적화가 필요한 이유
•
생성형 AI가 답변을 만들어내는 과정은 GPU 연산 속도보다 메모리 대역폭의 한계로 인해 처리 지연이 발생하기 쉽습니다. 이러한 메모리 병목 현상은 서비스 이용자가 늘어날수록 인프라 확장 부담을 키우는 주요 원인이 됩니다.
•
토큰 처리량을 최적화하면 추가 장비를 늘리지 않고도 동일한 GPU 자원에서 단위 시간당 처리 가능한 데이터양을 크게 늘릴 수 있습니다. 그 결과 대규모 AI 서비스를 운영할 때 발생하는 인프라 구축 비용과 단위 토큰당 전력 소모를 효과적으로 줄일 수 있습니다.
온디바이스 경량화에서 서버 GPU 4배 처리량 달성까지
•
LG유플러스는 엑사원 기반 소형언어모델에 경량화 기술을 먼저 적용해 스마트폰 신경망처리장치에서 구동하는 성과를 거두었습니다. 이 과정에서 기존 방식과 동일한 성능을 유지하면서도 전력 소모를 78% 줄이고 모델 크기를 82% 감소시켰습니다.
•
옵트에이아이는 연산 요청 할당과 하드웨어 맞춤형 연산 그래프 재구성 등 AI 모델의 연산 전주기를 최적화하는 기술을 개발했습니다. 양사는 이러한 기술을 서버 환경에 맞게 개선하여 동일한 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배까지 향상시켰습니다.
자체 AI 에이전트와 대규모 인프라 적용 계획
•
LG유플러스는 실제 서비스 운영 경험을 바탕으로 기술 검증과 현장 적용을 맡고 옵트에이아이는 모델 경량화 연구개발을 분담합니다. 양사는 긴밀한 협력을 통해 연구개발 성과를 실제 상용화 서비스 인프라에 빠르게 연결할 계획입니다.
•
확보된 토큰 최적화 기술은 통화 AI 에이전트인 익시오와 대규모 상담을 처리하는 AI 컨택센터 솔루션에 우선적으로 적용됩니다. 향후 대규모 AI 인프라 전반에 기술을 순차적으로 도입하여 응답 속도를 높이고 운영 효율을 극대화할 방침입니다.
AI 서비스에서 토큰 처리량 최적화가 필요한 이유
•
생성형 AI가 답변을 만들어내는 과정은 GPU 연산 속도보다 메모리 대역폭의 한계로 인해 처리 지연이 발생하기 쉽습니다. 이러한 메모리 병목 현상은 서비스 이용자가 늘어날수록 인프라 확장 부담을 키우는 주요 원인이 됩니다.
•
토큰 처리량을 최적화하면 추가 장비를 늘리지 않고도 동일한 GPU 자원에서 단위 시간당 처리 가능한 데이터양을 크게 늘릴 수 있습니다. 그 결과 대규모 AI 서비스를 운영할 때 발생하는 인프라 구축 비용과 단위 토큰당 전력 소모를 효과적으로 줄일 수 있습니다.
온디바이스 경량화에서 서버 GPU 4배 처리량 달성까지
•
LG유플러스는 엑사원 기반 소형언어모델에 경량화 기술을 먼저 적용해 스마트폰 신경망처리장치에서 구동하는 성과를 거두었습니다. 이 과정에서 기존 방식과 동일한 성능을 유지하면서도 전력 소모를 78% 줄이고 모델 크기를 82% 감소시켰습니다.
•
옵트에이아이는 연산 요청 할당과 하드웨어 맞춤형 연산 그래프 재구성 등 AI 모델의 연산 전주기를 최적화하는 기술을 개발했습니다. 양사는 이러한 기술을 서버 환경에 맞게 개선하여 동일한 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배까지 향상시켰습니다.
자체 AI 에이전트와 대규모 인프라 적용 계획
•
LG유플러스는 실제 서비스 운영 경험을 바탕으로 기술 검증과 현장 적용을 맡고 옵트에이아이는 모델 경량화 연구개발을 분담합니다. 양사는 긴밀한 협력을 통해 연구개발 성과를 실제 상용화 서비스 인프라에 빠르게 연결할 계획입니다.
•
확보된 토큰 최적화 기술은 통화 AI 에이전트인 익시오와 대규모 상담을 처리하는 AI 컨택센터 솔루션에 우선적으로 적용됩니다. 향후 대규모 AI 인프라 전반에 기술을 순차적으로 도입하여 응답 속도를 높이고 운영 효율을 극대화할 방침입니다.
#LG유플러스
#옵트에이아이
#엑사원
#인공지능
#GPU
이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다. AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
• 이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다.
• AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
