IT/과학
노타, 문샷AI '키미 K3.1 프로' 최적화…GPU 도입 비용 20% 절감
뉴스보이
2026.11.10. 10:34
뉴스보이
2026.11.10. 10:34
간단 요약
간단 요약
2조 8000억 개 매개변수를 가진 모델을 최적화해 고가의 GPU 사양을 낮췄습니다.
전문가 모듈을 37% 제거하고도 원본 모델의 성능을 99% 이상 유지하는 데 성공했습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
AI 최적화 기술 기업 노타가 중국 문샷AI의 초거대언어모델(LLM) '키미 K3.1 프로'를 최적화하는 데 성공했습니다. 이번 기술 적용으로 기존에 엔비디아 B300 GPU 8장이 필요했던 모델을 B200 GPU 8장으로도 구동할 수 있게 됐습니다.
키미 K3.1 프로는 총 2조 8000억 개의 매개변수를 갖춘 오픈웨이트 모델입니다. 노타는 모델 내부의 전문가 모듈을 선별적으로 제거하는 프루닝 기술을 적용해 모듈 수를 최대 37% 줄였습니다. 그럼에도 고난도 과학 추론 능력 평가인 'GPQA 다이아몬드'에서 원본 모델 점수의 99% 이상을 유지하며 성능을 입증했습니다.
비용 절감 효과도 뚜렷합니다. 노타의 자체 견적 비교에 따르면 B300 대신 B200 GPU를 활용할 경우 초기 구매비용을 최대 20% 줄일 수 있습니다. 클라우드 환경에서도 B200 GPU 임대료가 최대 22% 낮아 운영 효율성이 크게 개선될 전망입니다.
채명수 노타 대표는 AI 산업의 경쟁력은 고성능 GPU 확보뿐 아니라 보유한 컴퓨팅 자원에서 얼마나 높은 효율을 구현하느냐에 달려 있다고 강조했습니다.
노타는 답변 생성 속도를 높이는 추측 디코딩 기술을 지원하며 기술 적용 범위를 넓히고 있습니다. 앞서 키미 K3 모델을 경량화해 필요한 GPU 수를 8장에서 4장으로 줄인 바 있는 노타의 최적화 모델은 글로벌 AI 플랫폼 허깅페이스에서 확인할 수 있습니다.
