노타와 두베가 보안이 중요한 금융권 폐쇄망 환경을 고려해 온프레미스 방식의 AI 코딩 에이전트를 공급합니다.
이번 협력을 통해 동일 GPU 환경에서 처리량은 최대 95% 늘리고 답변 대기시간은 절반 이하로 단축했습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
이 기사는 3개 언론사의 보도를 교차 검증하여 작성되었습니다.
AI 모델 최적화 기업 노타가 금융 IT 및 시스템통합(SI) 개발 전문기업 두베와 손잡고 금융권 특화 AI 코딩 에이전트 사업을 본격화합니다. 양사는 최근 최적화된 대규모언어모델(LLM)과 서버 공급 계약을 체결하고 납품을 완료했습니다.
금융권은 보안 규제로 인해 외부 클라우드 사용이 제한되는 폐쇄망 환경이 필수적입니다. 이에 따라 이번 사업은 고객사 내부 서버에서 직접 LLM을 구동하는 온프레미스 방식을 채택했습니다. 노타의 최적화 기술을 적용한 결과, 동일한 GPU 자원 내에서 분당 처리 요청 수를 최대 95%까지 높였으며, 첫 답변 대기시간은 절반 이하로 줄이는 기술적 성과를 거뒀습니다.
채명수 노타 대표는 "기업용 AI 에이전트 시장이 커질수록 제한된 GPU 자원에서 얼마나 많은 요청을 안정적으로 처리하는지가 도입 비용과 운영 효율을 결정하는 핵심"이라고 강조했습니다.
노타는 이번 금융권 사업을 발판 삼아 클라우드 사용이 어려운 타 산업군으로도 AI 추론 및 서빙 최적화 사업을 확장할 계획입니다. 한편 노타는 최근 하이퍼엑셀의 LLM 추론 전용 반도체인 '베르다 LPU'에 최적화 기술을 공급하는 후속 계약을 체결하며 기술적 입지를 넓히고 있습니다.