데일리 TOP10#LG유플러스#옵트에이아이#엑사원#인공지능#GPULG유플러스·옵트에이아이, AI '토큰 최적화' 협력…GPU 처리량 최대 4배 높인다뉴스보이2026.10.02. 09:00뉴스보이2026.10.02. 09:00온디바이스 경량화 성과 바탕 서버 인프라 최적화 공동 연구 확대1LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 AI 운영 효율 향상을 위한 토큰 최적화 공동 연구를 추진함.2양사는 AI 연산 과정을 개선해 동일한 GPU 자원에서 토큰 처리량을 기존 대비 최대 4배까지 늘리는 성과를 거둠.3앞서 엑사원 기반 소형언어모델 경량화로 전력 소모 78%와 크기 82%를 절감한 데 이어 연구 범위를 서버로 확대함.4이에 따라 LGU+는 서비스 검증과 적용을 맡고 옵트에이아이는 모델 경량화 및 최적화 연구개발을 전담함.5향후 확보된 최적화 기술을 자체 AI 서비스와 대규모 AI 인프라 운영 환경에 순차적으로 적용할 방침임.AI 운영 비용 줄이는 토큰 최적화 기술과 인프라 적용 계획AI 서비스에서 토큰 처리량 최적화가 필요한 이유온디바이스 경량화에서 서버 GPU 4배 처리량 달성까지자체 AI 에이전트와 대규모 인프라 적용 계획AI 서비스에서 토큰 처리량 최적화가 필요한 이유•생성형 AI가 답변을 만들어내는 과정은 GPU 연산 속도보다 메모리 대역폭의 한계로 인해 처리 지연이 발생하기 쉽습니다. 이러한 메모리 병목 현상은 서비스 이용자가 늘어날수록 인프라 확장 부담을 키우는 주요 원인이 됩니다.•토큰 처리량을 최적화하면 추가 장비를 늘리지 않고도 동일한 GPU 자원에서 단위 시간당 처리 가능한 데이터양을 크게 늘릴 수 있습니다. 그 결과 대규모 AI 서비스를 운영할 때 발생하는 인프라 구축 비용과 단위 토큰당 전력 소모를 효과적으로 줄일 수 있습니다.온디바이스 경량화에서 서버 GPU 4배 처리량 달성까지•LG유플러스는 엑사원 기반 소형언어모델에 경량화 기술을 먼저 적용해 스마트폰 신경망처리장치에서 구동하는 성과를 거두었습니다. 이 과정에서 기존 방식과 동일한 성능을 유지하면서도 전력 소모를 78% 줄이고 모델 크기를 82% 감소시켰습니다.•옵트에이아이는 연산 요청 할당과 하드웨어 맞춤형 연산 그래프 재구성 등 AI 모델의 연산 전주기를 최적화하는 기술을 개발했습니다. 양사는 이러한 기술을 서버 환경에 맞게 개선하여 동일한 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배까지 향상시켰습니다.자체 AI 에이전트와 대규모 인프라 적용 계획•LG유플러스는 실제 서비스 운영 경험을 바탕으로 기술 검증과 현장 적용을 맡고 옵트에이아이는 모델 경량화 연구개발을 분담합니다. 양사는 긴밀한 협력을 통해 연구개발 성과를 실제 상용화 서비스 인프라에 빠르게 연결할 계획입니다.•확보된 토큰 최적화 기술은 통화 AI 에이전트인 익시오와 대규모 상담을 처리하는 AI 컨택센터 솔루션에 우선적으로 적용됩니다. 향후 대규모 AI 인프라 전반에 기술을 순차적으로 도입하여 응답 속도를 높이고 운영 효율을 극대화할 방침입니다.AI 서비스에서 토큰 처리량 최적화가 필요한 이유•생성형 AI가 답변을 만들어내는 과정은 GPU 연산 속도보다 메모리 대역폭의 한계로 인해 처리 지연이 발생하기 쉽습니다. 이러한 메모리 병목 현상은 서비스 이용자가 늘어날수록 인프라 확장 부담을 키우는 주요 원인이 됩니다.•토큰 처리량을 최적화하면 추가 장비를 늘리지 않고도 동일한 GPU 자원에서 단위 시간당 처리 가능한 데이터양을 크게 늘릴 수 있습니다. 그 결과 대규모 AI 서비스를 운영할 때 발생하는 인프라 구축 비용과 단위 토큰당 전력 소모를 효과적으로 줄일 수 있습니다.온디바이스 경량화에서 서버 GPU 4배 처리량 달성까지•LG유플러스는 엑사원 기반 소형언어모델에 경량화 기술을 먼저 적용해 스마트폰 신경망처리장치에서 구동하는 성과를 거두었습니다. 이 과정에서 기존 방식과 동일한 성능을 유지하면서도 전력 소모를 78% 줄이고 모델 크기를 82% 감소시켰습니다.•옵트에이아이는 연산 요청 할당과 하드웨어 맞춤형 연산 그래프 재구성 등 AI 모델의 연산 전주기를 최적화하는 기술을 개발했습니다. 양사는 이러한 기술을 서버 환경에 맞게 개선하여 동일한 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배까지 향상시켰습니다.자체 AI 에이전트와 대규모 인프라 적용 계획•LG유플러스는 실제 서비스 운영 경험을 바탕으로 기술 검증과 현장 적용을 맡고 옵트에이아이는 모델 경량화 연구개발을 분담합니다. 양사는 긴밀한 협력을 통해 연구개발 성과를 실제 상용화 서비스 인프라에 빠르게 연결할 계획입니다.•확보된 토큰 최적화 기술은 통화 AI 에이전트인 익시오와 대규모 상담을 처리하는 AI 컨택센터 솔루션에 우선적으로 적용됩니다. 향후 대규모 AI 인프라 전반에 기술을 순차적으로 도입하여 응답 속도를 높이고 운영 효율을 극대화할 방침입니다.더보기#LG유플러스#옵트에이아이#엑사원#인공지능#GPU