경제
BC카드, AI 모델 69% 경량화 성공…처리 속도 3배 높였다
뉴스보이
2026.08.19. 14:51
뉴스보이
2026.08.19. 14:51
간단 요약
간단 요약
4비트 양자화 기술을 적용해 모델 용량을 69% 줄이고 처리 속도를 3배 향상시켰습니다.
성능은 원본 대비 98.7%를 유지하며 지난 7월부터 사내 AI 플랫폼에 도입을 완료했습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
BC카드가 AI 모델의 운영 효율을 극대화하는 기술을 개발했습니다. 4비트 양자화 기술을 적용해 310억 개의 파라미터를 가진 모델 용량을 기존 62.5GB에서 19.5GB로 69% 줄이는 데 성공했습니다. 이 과정에서 동일 GPU 환경 기준 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 3배 가까이 증가했고, 평균 응답 완료 시간도 24초에서 9초로 크게 단축됐습니다.
기술적 성과와 함께 객관적인 성능 검증도 마쳤습니다. BC카드는 경량화 모델이 원본 대비 98.7% 수준의 성능을 유지했다고 밝혔습니다. 최근 과학기술정보통신부가 주관하는 'K AI 리더보드' 대형 모델 부문에서 종합 10위, 한국어 지식 평가 항목인 'KMMLU Pro'에서는 7위를 기록하며 기술력을 입증했습니다.
실제 업무 현장에도 기술 도입이 완료됐습니다. 지난 7월부터 사내 금융 특화 생성형 AI 플랫폼인 'BCGPT'와 'MOAI'에 경량화 모델을 적용해 GPU 효율을 높였습니다. 또한, AI 경량화 과정에서 나타나는 한국어 성능 저하를 최소화하기 위한 기술 2건에 대해 현재 특허 출원 절차를 진행 중입니다.
오성수 BC카드 상무는 "성능 유지와 비용 절감을 동시에 달성하는 것이 실제 업무 활용의 핵심"이라며 "이번 기술을 외부에도 공개해 효율적인 AI 활용 환경을 만드는 데 기여하겠다"고 밝혔습니다. 이번 기술은 고성능 서버뿐 아니라 일반 PC급 GPU로도 운영이 가능해, 자체 인프라 처리를 선호하는 금융권의 보안 환경은 물론 중소기업의 AI 도입 문턱을 낮추는 데도 기여할 것으로 기대됩니다.
이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다. AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
• 이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다.
• AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
