데일리 TOP10
LGU+·옵트에이아이, AI 토큰 처리량 최대 4배 높이는 최적화 기술 개발
뉴스보이
2026.10.02. 09:00
뉴스보이
2026.10.02. 09:00
온디바이스에 이은 서버 GPU 연구 확대와 인프라 운영 비용 절감
1
LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 손잡고 AI 운영 효율을 높이는 토큰 최적화 기술 공동 연구를 추진함.
2
토큰 최적화는 AI 모델 크기를 줄이고 연산 구조를 효율화해 동일한 자원으로 더 많은 이용자 요청을 처리하는 기술임.
3
양사는 답변 생성 연산 과정을 개선해 동일한 GPU 자원 내 토큰 처리량을 기존 대비 최대 4배까지 향상시키는 성과를 거둠.
4
앞선 온디바이스 AI 협력에서는 엑사원 기반 경량화로 전력 소모 78%와 모델 크기 82%를 줄이며 기술력을 입증함.
5
LG유플러스는 이번에 확보한 최적화 기술을 자체 AI 서비스와 대규모 AI 인프라 운영 환경에 단계적으로 적용할 계획임.
AI 운영 비용을 낮추는 토큰 최적화 기술과 서비스 적용 계획
AI 서비스 운영에서 토큰 최적화가 주목받는 이유
온디바이스 성과를 서버 GPU로 확대한 기술 원리
자체 AI 모델과 대규모 인프라로 이어지는 적용 계획
AI 서비스 운영에서 토큰 최적화가 주목받는 이유
•
생성형 인공지능 시장이 모델 학습에서 상용 서비스 추론 단계로 전환되면서 이용자 요청에 비례해 늘어나는 인프라 운영비 부담이 커지고 있습니다. 특히 데이터센터 전력과 냉각 비용이 전체 전력의 최대 40%를 차지해 하드웨어 내 토큰 처리 효율을 높이는 기술이 핵심 경쟁력으로 꼽힙니다.
•
토큰 최적화는 인공지능 모델의 크기를 줄이거나 연산 구조를 개선해 동일한 자원으로 더 많은 요청을 처리하도록 돕는 기술입니다. 기업들은 이러한 최적화를 통해 데이터센터 총소유비용을 낮추고 대규모 서비스 운영의 효율성을 안정적으로 확보할 수 있습니다.
온디바이스 성과를 서버 GPU로 확대한 기술 원리
•
LG유플러스와 옵트에이아이는 연산 과정 개선을 통해 서버 그래픽처리장치(GPU) 환경에서 토큰 처리량을 기존 대비 최대 4배 높였습니다. 양사는 답변을 생성하는 연산 흐름을 서비스 환경에 맞게 최적화하여 같은 하드웨어 자원에서 처리 효율을 극대화했습니다.
•
이번 성과는 앞선 협력에서 엑사원 기반 경량화로 성능을 유지하며 전력 소모를 78% 줄이고 모델 크기를 82% 축소했던 검증 실적을 기반으로 합니다. 옵트에이아이는 가지치기와 양자화 등 모델 경량화 연구개발을 전담하고 LG유플러스는 실제 서비스 환경에서의 기술 검증과 적용을 분담했습니다.
자체 AI 모델과 대규모 인프라로 이어지는 적용 계획
•
LG유플러스는 확보한 토큰 최적화 기술을 자체 특화 소형언어모델 익시젠과 인공지능 통화 에이전트 익시오 등 통합 브랜드 서비스 전반에 단계적으로 적용할 계획입니다. 이를 통해 서비스 응답 속도를 개선하고 대규모 이용자 환경에서도 안정적인 품질을 유지할 방침입니다.
•
또한 연간 수백만 건의 상담을 처리하는 고객센터 인공지능 컨택센터(AICC)와 인공지능 데이터센터(AIDC) 등 대규모 서버 인프라로 적용 범위를 확대합니다. 양사는 산학연 전문가들과의 기술 교류를 이어가며 산업 현장에서 검증 가능한 인공지능 최적화 기술을 지속해서 고도화할 예정입니다.
AI 서비스 운영에서 토큰 최적화가 주목받는 이유
•
생성형 인공지능 시장이 모델 학습에서 상용 서비스 추론 단계로 전환되면서 이용자 요청에 비례해 늘어나는 인프라 운영비 부담이 커지고 있습니다. 특히 데이터센터 전력과 냉각 비용이 전체 전력의 최대 40%를 차지해 하드웨어 내 토큰 처리 효율을 높이는 기술이 핵심 경쟁력으로 꼽힙니다.
•
토큰 최적화는 인공지능 모델의 크기를 줄이거나 연산 구조를 개선해 동일한 자원으로 더 많은 요청을 처리하도록 돕는 기술입니다. 기업들은 이러한 최적화를 통해 데이터센터 총소유비용을 낮추고 대규모 서비스 운영의 효율성을 안정적으로 확보할 수 있습니다.
온디바이스 성과를 서버 GPU로 확대한 기술 원리
•
LG유플러스와 옵트에이아이는 연산 과정 개선을 통해 서버 그래픽처리장치(GPU) 환경에서 토큰 처리량을 기존 대비 최대 4배 높였습니다. 양사는 답변을 생성하는 연산 흐름을 서비스 환경에 맞게 최적화하여 같은 하드웨어 자원에서 처리 효율을 극대화했습니다.
•
이번 성과는 앞선 협력에서 엑사원 기반 경량화로 성능을 유지하며 전력 소모를 78% 줄이고 모델 크기를 82% 축소했던 검증 실적을 기반으로 합니다. 옵트에이아이는 가지치기와 양자화 등 모델 경량화 연구개발을 전담하고 LG유플러스는 실제 서비스 환경에서의 기술 검증과 적용을 분담했습니다.
자체 AI 모델과 대규모 인프라로 이어지는 적용 계획
•
LG유플러스는 확보한 토큰 최적화 기술을 자체 특화 소형언어모델 익시젠과 인공지능 통화 에이전트 익시오 등 통합 브랜드 서비스 전반에 단계적으로 적용할 계획입니다. 이를 통해 서비스 응답 속도를 개선하고 대규모 이용자 환경에서도 안정적인 품질을 유지할 방침입니다.
•
또한 연간 수백만 건의 상담을 처리하는 고객센터 인공지능 컨택센터(AICC)와 인공지능 데이터센터(AIDC) 등 대규모 서버 인프라로 적용 범위를 확대합니다. 양사는 산학연 전문가들과의 기술 교류를 이어가며 산업 현장에서 검증 가능한 인공지능 최적화 기술을 지속해서 고도화할 예정입니다.
#LG유플러스
#옵트에이아이
#엑사원
#온디바이스 AI
#토큰 최적화
이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다. AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
• 이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다.
• AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
