“AI 에이전트 오케스트레이션” CIO의 다음 핵심 과제

가까운 미래, 에이전트 기반 AI 환경에서는 기업이 수십, 어쩌면 수백 개의 AI 에이전트를 운영하게 될 것이며, CIO는 이들을 조율하고 연결해 직원들이 상호 연결된 다양한 비즈니스 프로세스를 원활히 수행할 수 있도록 해야 할 것이다.

예를 들어 신규 직원을 온보딩하는 과정을 생각해 보자. 머지않아 HR 담당자는 챗봇에게 신규 직원의 온보딩을 요청할 것이다. 챗봇은 여러 에이전트를 조율해 해당 직원을 급여 시스템에 등록하고 건강 보험 옵션을 안내하며, 이메일 및 화상회의 서비스를 설정할 것이다. 에이전트의 추가적인 협업을 통해 해당 직원에게 교육 과정을 제공하고 건물 출입증을 발급하며, 노트북을 배송하거나 좌석을 배정하는 작업까지도 최소한의 사람 개입으로 처리할 수 있다.

이런 AI 오케스트레이션 통합의 비전은 이미 일부 기업에서 현실화되고 있으며, 기업이 향후 수년간 여러 개의 LLM과 수십 개의 AI 에이전트를 도입하면서 AI 통합 및 오케스트레이션 도구의 대규모 채택이 가속화될 가능성이 크다.

가트너는 최근 보고서에서, 2028년까지 다중 LLM 애플리케이션 및 AI 에이전트를 구축하는 기업의 70%가 연결성과 데이터 접근을 최적화하고 조율하기 위해 통합 플랫폼을 사용할 것이라고 예측했다. 2024년에는 이와 유사한 기업 중 5% 미만만이 AI 통합 플랫폼을 활용하고 있었다.

일부 AI 전문가는 여러 AI 에이전트를 하나로 묶어 광범위하고 자율적인 워크플로우를 구축하는 오케스트레이션 기능이야말로 에이전트가 진정한 에이전트가 되는 지점이라고 본다.

데이터와 의사결정권자를 연결하는 기술

가트너의 수석 디렉터 겸 애널리스트인 앤드류 험프리스는 AI 에이전트와 LLM이 진정한 잠재력을 발휘하기 위해서는 반드시 연결되어야 하며, 이를 위해 AI 통합 및 오케스트레이션 도구가 대부분의 기업에 필수적이라고 말한다. 최근 등장한 여러 에이전트 프로토콜이 이런 광범위한 통합을 위한 첫 걸음을 내디뎠다고 평가했다.

험프리스는 “AI는 의사결정을 내리기 위해 반드시 데이터에 접근할 수 있어야 하며, 동시에 어떤 식으로든 행동을 실행할 수 있는 능력을 가져야 한다. 데이터에 접근할 수 없고, 결정을 내릴 수 없는 에이전트는 쓸모가 없다”라고 덧붙였다.

이어, 에이전트 통합과 오케스트레이션은 다가올 에이전트 기반 AI 시대에 대해 CIO가 마주하게 될 다양한 과제에 대응하는 데 도움이 될 것이라며, “AI 개발자나 에이전트가 다양한 시스템에 쉽게 연결하고 데이터를 얻을 수 있도록 하려면 어떻게 해야 할 것인가? 자사 IT 아키텍처 내에서 실제로 어떤 일이 벌어지고 있는지 어떻게 관찰할 것인가?”라고 반문했다.

데이터 준비도 솔루션 전문업체 레드포인트 글로벌(Redpoint Global)의 제품 관리 부사장 베스 스카뇰리는 CIO의 AI 전략이 점점 더 복잡해짐에 따라 에이전트 오케스트레이션 플랫폼의 필요성이 분명하게 드러나고 있다고 지적했다.

스카뇰리는 “대부분 기업은 이제 단일 AI 모델을 실험하는 데 그치지 않고, 여러 LLM, 기존 레거시 시스템, 그리고 새로운 AI 에이전트를 동시에 활용하고 있다. 오케스트레이션이 없다면 이 생태계는 곧 단절되고 중복되며, 비효율적으로 전락할 수밖에 없다”라고 강조했다.

또한, 오케스트레이션 계층이 여러 AI 도구가 데이터에 액세스하고 이동하며 활용하는 방식을 관리하게 될 것이라고 전망했다. 스카뇰리는 “이는 단순히 결과물을 내는 수준을 넘어서, 거버넌스와 신뢰에 대한 기업 기준을 유지하기 위한 역할도 포함된다. AI 오케스트레이션은 데이터 전략과 AI 실행을 잇는 핵심 연결고리로 빠르게 자리잡고 있다”라고 덧붙였다.

에이전트 오케스트레이션 시장 형성 본격화

오케스트레이션 도구를 도입하려는 CIO는 상호운용성을 주의 깊게 살펴야 한다. 스카뇰리는 “유연하고 AI에 종속되지 않는 오케스트레이션 계층에서 진정한 가치가 발현될 것”이라며, “어떤 LLM이나 에이전트 위에서도 작동할 수 있고, 작업에 적합한 모델을 연결하면서도 보안, 버전 관리, 데이터 계보(data lineage)를 백엔드에서 관리할 수 있는 도구가 IT 리더에게 가장 현명한 선택이 될 것”이라고 말했다.

가트너의 험프리스는 현재 AI 통합 및 오케스트레이션 플랫폼을 위한 새로운 시장이 빠르게 성장하고 있으며, 다수의 전문 업체가 이미 즉시 활용할 수 있는 솔루션을 제공하고 있다고 말한다. 또, 이 시장이 더욱 수익성 있는 분야로 떠오르면서, 규모가 큰 IT 및 AI 기업도 진입할 것으로 내다본다.

험프리스는 일부 기업이 자체적으로 오케스트레이션 도구를 구축할 수도 있겠지만, 과거의 통합 경험,특히 API 호출을 조율했던 경험에서 얻은 교훈을 언급했다. 험프리스는 “아마 기존의 API 통합은 이미 구현했을 것이다. 그렇다면 그것을 바탕으로 조정하면 된다. 모든 것을 처음부터 새로 만드는 게 아니라, 기존에 배운 것을 AI에 맞게 약간 수정하면 된다.‘AI니까 전부 새로 짜야지’라고 생각하지 말라”고 조언했다.

성과를 내는 IBM의 에이전트 오케스트레이션 실험

IBM은 현재 자체적으로 에이전트 통합에 착수한 기업 중 하나다. IBM watsonx 오케스트레이트 에이전트 도메인(watsonx Orchestrate Agent Domains) 부사장 수잔 리빙스턴에 따르면, IBM은 8년 전부터 에이전트와 유사한 도구를 실험하기 시작했으며, 현재는 IBM의 영업 부서와 IT 부서를 포함한 여러 워크플로우에 에이전트가 배치되어 있다. 초기 테스트 사례는 HR이었으며, 지금은 다양한 HR 기능이 에이전트에 의해 운영되고 있다.

리빙스턴은 “HR에는 정말 많은 프로세스가 있고, 직원이 HR 시스템을 어떻게 다뤄야 할지 이해하기 어렵다. 직원은 한 번에 하나의 앱만 사용한다. 그런데 이런 엔터프라이즈 HR 시스템을 써본 적이 있다면, 원하는 작업을 하려면 따로 사용 지침을 찾아야 한다는 걸 알 것이다. 게다가 그 지침은 매달 바뀌곤 한다”라고 배경을 설명했다.

현재 IBM 직원은 AI 에이전트와 상호작용해 급여 인상 요청을 생성하고 부서 간 직원 전환을 처리하며, 직무 기술서를 작성하는 등 다양한 HR 업무를 수행할 수 있다. 리빙스턴은, 이런 복수의 HR 도구를 조율해 직원 온보딩과 같은 다단계 워크플로우를 수행하려면 AI 오케스트레이션 계층이 필수적이라고 강조한다.

그러나 대부분 기업은 솔루션 업체가 지원하는 범용 도구를 활용하는 것이 시작하기에 더 쉬운 방법일지도 모른다. 리빙스턴은 “처음부터 뭔가를 직접 개발하지 않아도 된다는 점에서 아주 좋은 출발점이 된다. 도입을 시험해보고 어떤 느낌인지 파악할 수 있다. 나중에 더 큰 프로젝트로 이어질 수도 있지만, 시작 단계에서는 충분히 유용하다”라고 조언했다.

또한 CIO가 에이전트 오케스트레이션을 적용할 때, 직원들의 고충이 많은 지점, 예를 들어 연차 신청과 같은 업무부터 시작하는 것이 좋다고 제안했다. 리빙스턴은 “모두가 연차 신청을 해야 하고, 아무도 그걸 좋아하지 않는다. 왜냐하면 너무 번거롭기 때문이죠. 하지만 시작하기엔 좋은 과제이고, 바로 가시적인 가치를 얻을 수 있다”라고 덧붙였다.

리빙스턴은 마지막으로, 미래는 ‘에이전트가 모든 곳에 존재하는’ 시대가 될 것이라고 전망했다. 리빙스턴은 “끝없이 확장되는 에이전트의 영역이라고 할 수 있다. 기업이 새로운 프로세스를 도입하거나 기존 프로세스를 단순화해 나가면서, 이는 그 자체로 선순환 구조를 만들어 낸다”라며, “기업이 직원들에게 500개의 서로 다른 시스템을 일일이 가르칠 필요가 없다. 대신, 이들 시스템을 효과적으로 활용하도록 돕는 에이전트를 통해 가치를 전달할 수 있다는 생각으로 접근해야 한다”라고 강조했다.
dl-ciokorea@foundryco.com