IT/과학
디노티시아, AI 병목 'KV 캐시' 20배 압축 기술 'STAR-KV' 공개
뉴스보이
2026.07.02. 09:49
뉴스보이
2026.07.02. 09:49
간단 요약
간단 요약
이 기술은 LLM의 임시 기억 공간인 KV캐시를 최대 20배 압축합니다.
어텐션 연산 속도 최대 6.9배, 전체 생성 처리량 3.1배 향상됩니다.
이 기사는 5개 언론사의 보도를 교차 검증하여 작성되었습니다.
이 기사는 5개 언론사의 보도를 교차 검증하여 작성되었습니다.
국내 AI 스타트업 디노티시아가 인공지능(AI)의 메모리 병목 현상을 줄이는 KV캐시 압축 기술 'STAR KV' 논문과 소스 코드를 공개했습니다.
이 기술은 대규모언어모델(LLM)의 임시 기억 공간인 KV캐시를 최대 20배까지 압축하며, 어텐션 연산 속도를 최대 6.9배, 전체 생성 처리량을 최대 3.1배 향상시키는 것으로 나타났습니다. 또한 정확도 측면에서도 기존 방식보다 높은 수준을 보였습니다.
STAR KV는 저랭크 압축과 혼합정밀도 양자화 기법을 결합한 새로운 접근 방식을 제시하며, UC샌디에이고 VVIP랩과 디노티시아 연구진의 공동 연구로 글로벌 머신러닝 학회 ICML 2026에 스포트라이트 논문으로 채택되었습니다.
디노티시아 정무경 대표는 STAR KV가 AI 핵심 병목인 KV캐시 용량 및 어텐션 처리 속도 문제를 실질적으로 해결하는 기술이라고 설명했습니다. 디노티시아는 오픈소스화를 통해 AI 추론 생태계에 기여할 계획입니다.
이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다. AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
• 이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다.
• AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
