칼럼 | 이제는 실전··· 에이전틱 AI 전략 다시 짜는 기업들

서비스나우(ServiceNow)가 전 세계 4,500명 이상의 민간 및 공공 부문 리더를 대상으로 실시한 2번째 연례 ‘AI 성숙도 지수(AI Maturity Index)’에 따르면, 올해 평균 AI 성숙도는 지난해 44점에서 35점(100점 기준)으로 하락한 것으로 나타났다. 50점 이상을 지목한 리더는 1% 미만에 불과했다. 하지만 이런 결과가 AI 산업과 도입 측면에서는 역설적으로 긍정적인 신호일 수 있다. 그 이유를 살펴보고 CIO들이 어떤 방식으로 대응하고 있는지 소개한다.

앞서 ‘에이전틱 AI를 도입하는 CIO를 위한 4가지 조언’ 기사에서 필자는, 시장에 과도한 기대감이 팽배한 가운데 CIO들 사이에서는 에이전틱 AI 전략을 재정비할 시점이 다가온다는 인식이 확산되고 있다고 언급했다. 서비스나우 보고서는 이런 전략 재정비가 실제로 진행 중임을 보여주는 근거일 수 있다. 기업들이 에이전틱 AI 도입 과정에서 ‘무엇을 모르는지’를 비로소 인식하기 시작했다는 의미이기 때문이다. 생성형 AI가 독립적인 형태나 별도로 추가하는 방식으로 구현 가능했던 것과 달리 에이전틱 AI로 최대한의 효과를 내기 위해서는 훨씬 더 깊이 있는 통합이 필요하다.

이제 CIO들은 사용자 인터페이스를 단순히 구현하고 AI 챗봇에게 질문을 던지는 수준을 넘어서, CRM, 공급망, ERP, 인사, 재무 등 기업 프로세스의 핵심 부분에 AI를 통합하기 위해 에이전틱 AI를 활용하려는 움직임을 보이고 있다. 여기에 기술 발전 속도, 사일로화된 기존 시스템과 애플리케이션, 그리고 수백 가지의 신규 에이전틱 AI 활용 사례까지 더해지면서, CIO들은 AI 통합, 오케스트레이션, 거버넌스 수준을 한층 끌어올려야 하는 과제에 직면하고 있다. 필요한 곳에서는 사람의 개입을 유지하면서, 파일럿 단계를 넘어 실제 활용 가능한 수준으로 이를 구현할 전략이 요구되고 있다.

필자는 여러 IT 리더들과의 대화를 통해 트렌드 변화와 기업들이 에이전틱 AI를 어떻게 도입하고 있는지 살펴봤다. CIO들은 에이전틱 AI를 조직 전반에 확산시키기 위해 다음 4가지 접근법을 취하고 있었다.

1. 예외 처리 및 관리 역량 확보

에이전틱 AI가 기업의 핵심 프로세스에 적용되면서, 기존의 소프트웨어나 RPA와 같은 자동화 기술이 잘 해결하지 못했던 비즈니스 예외 상황 처리 및 관리 역량이 필수 요소로 떠오르고 있다.

PwC 미국법인의 최고 AI 책임자(CAIO) 댄 프리스트는 “아직 초기 단계지만 AI 에이전트의 영향력은 실질적이며 빠르게 확산되고 있다. 특히 예외 처리가 수작업 중심이었던 공급망과 재무 운영 부문에서 높은 가능성을 보이고 있다”라고 설명했다. 그는 “AI 에이전트는 유사한 예외 상황이 어떻게 해결됐는지를 실시간으로 반영하는 역량을 갖추고 있기에 복잡한 예외 처리에 매우 효과적이다”라고 말했다.

PwC의 최근 AI 에이전트 설문조사에 따르면, 기업 임원의 83%는 AI 에이전트가 비즈니스 문제 해결 속도와 효율성을 높이는 데 기여하고 있다고 응답했다. 예를 들어 공급망 분야에서는 AI 에이전트가 실시간 재고 수준을 모니터링하고 이상 징후를 탐지하며, 자동으로 재주문을 실행해 지연을 줄이고 사람 중심의 병목 현상을 해소하고 있는 것으로 나타났다.

2. 다중 에이전트 추구

EDB의 최근 조사와 연구에 따르면, ‘에이전트’ 경제에 대비하는 글로벌 선도 기업들 중 성공적인 조직은 10개 이상의 에이전틱 AI와 비즈니스 특화형 생성형 AI 애플리케이션을 동시에 도입하고 있는 것으로 나타났다.

EDB 및 EDB 포스트그레스 AI의 최고 제품 책임자(CPO) 낸시 헨슬리에 따르면 이 조직들은 기존 고객 지원 범위를 넘어 공급망, 마케팅 콘텐츠 제작, 업무 자동화, 디지털 트윈 등 다양한 영역에 에이전틱 AI를 확장 적용하고 있다. 헨슬리는 “기업들이 각 비즈니스 애플리케이션에 ROI의 한계가 있다는 점을 인식했기 때문에 가능한 많은 영역에 적용하려는 전략을 취하고 있다”라고 설명했다.

프리스트는 에이전트를 도입하는 과정에서 책임 있는 AI 구현에 강한 의지를 보이는 고객들이 늘고 있다고 덧붙였다. 그는 “고객들은 AI의 혜택을 기대하면서도 이를 책임감 있게 달성하는 것이 중요하다는 점을 알고 있다. AI 에이전트를 활용해 직원 역량을 강화하고 있으며, 이를 위해 명확한 안전 장치를 마련하고 팀이 에이전트와 협력할 수 있도록 준비하며, 사람과 AI가 함께 일하며 성장하는 고성과 팀 문화를 구축하고 있다. 궁극적으로는 사람과 AI가 각자의 강점을 살리며 함께 진화하는 파트너십을 구축하는 것이 핵심”이라고 말했다.

3. 아키텍처 재설계

CIO들은 기존 애플리케이션 벤더가 제공하는 AI 에이전트와 외부 전문 벤더의 AI 에이전트를 결합해 기업 아키텍처를 재구성하고 있다. 프리스트는 “많은 고객이 우선은 기존 ERP나 CRM 벤더가 제공하는 AI 에이전트에서 시작한다. 이들 솔루션은 기본적으로 시스템에 통합되어 있고 구현이 비교적 용이하기 때문”이라고 설명했다. 그는 이어 “보다 복잡하거나 전문적인 워크플로우를 처리할 수 있는 외부 벤더의 목적 기반, 작업 특화형 에이전트에 대한 수요도 증가하고 있다. 다중 에이전트 솔루션이 인기를 얻으면서, 여러 에이전트 플랫폼 간의 연계를 조율하는 오케스트레이션 플랫폼의 중요성도 높아지고 있다”라고 분석했다.

또한 주권 기반(sovereign) 데이터 및 AI 플랫폼, 그리고 AI, 데이터, 워크플로우 통합 플랫폼에 대한 관심도 커지고 있다. 헨슬리는 “EDB 연구에서 최상위 성과를 내는 조직의 성공을 가장 잘 예측해 준 요소가 ‘자체 주권 기반 데이터 및 AI 플랫폼을 보유하고 있다’는 항목이었다. 이는 기업이 미래를 앞당겨 실현하는 데 있어 보안과 확장성을 동시에 확보하는 기반을 제공하고 있다”라고 설명했다.

4. 혁신에 다시 집중

에이전틱 AI를 성공적으로 활용하는 기업들은 단순 효율성 개선을 넘어서는 것이 중요하다고 보고 있다. 이들은 기술의 가능성을 이미 확인했고, 이제는 전사적으로 확장하려는 목표를 갖고 있다. 기업들은 어떤 효과를 기대할 수 있는지, 어느 영역에 변화를 줄지 전략적으로 고민하며 이사회 수준에 공유될 만한 측정 가능한 목표를 설정하고 있다.

프리스트는 “시간, 비용, 작업 단계를 줄이는 것도 중요하지만, 많은 리더가 혁신에 다시 초점을 맞추고 있다. 즉, 자신들만의 차별화 요소를 AI와 결합해 어떻게 시장에서 새로운 경쟁력을 만들 수 있을지를 고민하고 있다. AI를 통한 효율성 개선으로 얻는 ROI는 이제 기업들이 기본적으로 달성해야 할 새 기준이 되고 있다”라고 설명했다.

전략 재정비가 AI 성숙도를 높이는 방식

물론 앞서 소개한 전략들은 에이전틱 AI 도입할 때 CIO와 CAIO들이 취하는 유일한 방법은 아니다. 하지만 기업이 어디에 집중해야 할지를 보여주는 유용한 실마리가 될 수 있다. 기업은 예외 상황을 어떻게 처리하고 관리할지, 핵심 워크플로우를 어떻게 연결할지, 책임 있는 AI 안전 장치와 사람 개입이 포함된 다중 에이전트 전략을 어떻게 조율할지 등을 고민해야 한다. 또한 AI, 데이터, 워크플로우를 주권 기반 플랫폼에 결합하는 새로운 아키텍처도 고려해야 한다. 여기에 기업의 차별화 요소를 AI와 결합해 시장에서 새로운 경쟁력을 창출하는 전략도 세울 필요가 있다.

이 같은 접근에 시간과 자원을 투자하는 전략 재정비 과정은 결국 조직의 AI 성숙도를 끌어올리는 원동력이 될 가능성이 높다.
dl-ciokorea@foundryco.com