사회
"비싼 엔비디아 장비 없어도 빠르게"…고려대, AI 비용 절감 및 고성능 확보 신기술 개발
뉴스보이
2026.07.13. 15:12
뉴스보이
2026.07.13. 15:12
간단 요약
간단 요약
GPU 활용 효율을 높이는 스케줄링 기술로 LLM 서비스 비용을 낮춥니다.
기존 대비 답변 속도 35% 향상 및 사용자 대기 시간 32% 단축했습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
고려대학교 안정섭 전기전자공학부 교수 연구팀이 대규모언어모델(LLM) 서비스의 운영 비용을 낮추고 처리 성능을 높이는 혁신적인 기술을 개발했습니다.
연구팀은 GPU(그래픽처리장치) 활용 효율을 높이고 병목 현상을 줄이는 스케줄링(작업 분배) 기술을 제시했습니다. 이 연구 성과는 이달 13일부터 15일까지 미국 시애틀에서 열리는 컴퓨터 시스템 분야 국제 학술대회인 OSDI 2026에 채택되었습니다.
챗GPT와 같은 LLM은 크기가 커서 여러 대의 GPU에 작업을 나눠 처리하는 병렬화가 필수적입니다. 현재 업계 표준인 텐서 병렬화는 고가의 고속 연결망이 필요하지만, 연구팀은 일반 GPU 서버만으로도 더 높은 처리 성능을 달성했습니다.
연구팀은 실제 사용자 요청 환경에서 높은 성능을 구현하는 두 가지 핵심 스케줄링 기술을 고안했습니다. 이 기술은 응답 속도 목표를 실시간으로 감시하며 입력 문장을 최적의 크기로 나누고, 단계별 부하를 점검하여 작업이 특정 GPU에 몰리거나 유휴 시간이 발생하지 않도록 분배합니다.
개발된 기술을 LLM 추론 엔진인 SGLang에 구현하여 평가한 결과, 기존 파이프라인 병렬화 방식 대비 답변 속도가 35% 빨라졌으며, 사용자 대기 시간도 32% 단축되었습니다.
이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다. AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
• 이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다.
• AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
