카카오, 자체개발 LLM 오케스트레이션 능력 평가 벤치마크 'ICLR 2026' 논문채택. 카카오 제공 카카오는 자체 개발한 인공지능(AI) 모델의 오케스트레이션 능력을 평가하는 새로운 지표인 '오케스트레이션 벤치마크'가 세계 3대 AI 학회로 꼽히는 ICLR 2026에 논문으로 채택됐다고 3일 밝혔다.
오케스트레이션 능력이란 인공지능이 복합적인 사용자 요구를 이해한 뒤, 여러 작업을 순차적으로 계획하고 적절한 도구를 활용해 끝까지 수행하는 역량을 의미한다.
이번 논문은 약 1만 9천건에 달하는 제출 논문 가운데 상위 28%만 통과하는 엄격한 심사를 거쳐 채택됐다. 카카오는 이를 통해 글로벌 AI 연구 커뮤니티에서 기술적 완성도와 연구 성과를 동시에 인정받았다는 평가를 받는다.
카카오는 최근 대형언어모델(LLM)이 단순한 질의응답을 넘어, 사용자의 목적을 이해하고 여러 작업을 스스로 계획·실행하는 '에이전틱 AI'로 진화하고 있다는 점에 주목했다.
이에 기존 벤치마크가 단일 과제 수행 능력이나 개별 성능 수치에 머물러 있다는 한계를 지적하고, 실제 서비스 환경에서 AI가 얼마나 복잡한 요청을 안정적으로 처리할 수 있는지를 평가하는 데 초점을 맞췄다.
새롭게 제시한 오케스트레이션 벤치마크는 AI가 복합적인 요청을 해석한 뒤 상황에 맞는 도구를 선택·호출하고, 여러 작업의 순서와 관계를 조율하는 능력을 종합적으로 평가하는 것이 특징이다. 단일 답변의 정확도보다, 여러 단계를 거치는 서비스 흐름을 얼마나 안정적으로 완수하는지를 중점적으로 살핀다.
이 벤치마크는 여행, 쇼핑, 금융, 일정 관리 등 17개 서비스 도메인을 기반으로 설계됐으며, 100여 개의 가상 도구를 활용해 다양한 시나리오를 구성했다. 실제 서비스에서 나타날 수 있는 대화 흐름을 반영해 실용성을 높였다.
평가 데이터는 AI 어노테이터(데이터 학습·검증 전문가)가 직접 구축·검증했으며, 한국어와 영어 두 가지 언어를 지원한다. 특히 한국어 데이터는 문화적 맥락과 표현 특성을 반영해 국내 서비스 환경에서도 평가 신뢰도를 높였다는 설명이다.
카카오는 이번 연구 성과를 글로벌 AI 생태계와 공유하기 위해 논문과 관련 자료를 오픈소스 플랫폼 깃허브(GitHub)에 공개했다. 이를 통해 전 세계 연구자와 개발자들은 에이전틱 AI가 실제 서비스 환경에서 얼마나 안정적으로 작동하는지를 검증하는 핵심 도구로 해당 벤치마크를 활용할 수 있게 된다.
카카오 관계자는 "이번 연구는 AI가 스스로 판단하고 작업을 수행하는 에이전틱 AI로 진화하는 흐름 속에서 의미 있는 성과"라며 "앞으로도 에이전트 간 협업과 오케스트레이션 역량을 강화하는 연구를 이어가며, 카카오의 에이전틱 AI 전략에 부합하는 기술 고도화를 추진하겠다"고 말했다.