IT/과학
오케스트로, "GPU 확보보다 활용" AI 추론 운영 플랫폼 '콘체르토 AI' 공개
뉴스보이
2026.05.29. 10:53
뉴스보이
2026.05.29. 10:53
간단 요약
간단 요약
질문 분석·답변 생성 작업을 분리하여 AI 추론 병목 현상을 줄이고, 2.2배 빠른 토큰 출력 속도를 제공합니다.
엔비디아 GPU 외 국산 NPU까지 지원하며, LLMOps 전 과정을 단일 플랫폼에서 통합 관리합니다.
이 기사는 5개 언론사의 보도를 교차 검증하여 작성되었습니다.
이 기사는 5개 언론사의 보도를 교차 검증하여 작성되었습니다.
오케스트로는 기업 인공지능(AI) 서비스의 추론 병목을 줄이는 AI 추론 운영 플랫폼 '콘체르토 AI'를 29일 공개했습니다.
콘체르토 AI는 분산 서빙 기반의 추론 최적화 기술을 핵심으로 합니다. 이는 질문 분석과 답변 생성 작업을 분리하여 각 작업에 맞는 자원을 배치함으로써 병목 현상을 줄입니다. 오케스트로 자체 벤치마크 테스트 결과, 고부하 환경에서 토큰 출력 속도를 기존 방식 대비 2.2배 높게 유지했습니다.
이 플랫폼은 AI 모델 배포부터 추론 요청 처리, 자원 배분, 성능 모니터링까지 LLMOps에 필요한 기능을 단일 플랫폼에서 제공합니다. 또한, 엔비디아 GPU 외에 리벨리온, 퓨리오사AI 등 국산 NPU 환경까지 지원하는 국내 유일의 이기종 AI 가속기 지원 구조를 갖추고 있습니다.
김범재 오케스트로 대표는 기업 AI 인프라의 과제가 보유 자원을 효율적으로 운영하는 것으로 변화하고 있다고 밝혔습니다. 콘체르토 AI를 통해 기업의 AI 인프라 활용 효율을 높이고 프라이빗 AI 환경에서 안정적인 서비스 운영을 지원할 계획입니다.
이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다. AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
• 이 콘텐츠는 뉴스보이의 AI 저널리즘 엔진으로 생성 되었으며, 중립성과 사실성을 준수합니다.
• AI가 작성한 초안을 바탕으로 뉴스보이 에디터들이 최종검수하였습니다. (오류신고 : support@curved-road.com)
