“2026년은 에이전틱 AI 성장의 해” 조건은 CIO의 올바른 전략 수립

지난 한 해 기업 시장에서 AI 에이전트는 ‘대세’로 떠올랐지만, 현실은 과열된 기대와 실패한 실험이 뒤섞인 모습이다. 하지만 전문가들은 CIO가 신뢰성과 거버넌스, 성과라는 기본기를 얼마나 탄탄히 갖추느냐에 따라 2026년 에이전틱 AI의 확산 속도도 달라질 것으로 전망한다.

가트너는 비용 증가, 불명확한 비즈니스 가치, 미흡한 리스크 통제 등을 이유로 2027년까지 에이전틱 AI 프로젝트의 40%가 취소될 것이라고 내다봤다. 실제 도입 성과를 두고도 지표는 엇갈린다. 회계·컨설팅업체 PwC의 5월 설문에서는 응답 기업의 79%가 어떤 형태로든 에이전트를 도입했다고 답했지만, 기업용 검색 솔루션 업체 루시드웍스(Lucidworks)는 이커머스 사이트 1,100곳을 분석한 결과 복수의 에이전틱 솔루션을 운영하는 곳이 6%에 그쳤다고 밝혔다.

AI 의사결정 및 워크플로우 자동화 솔루션 업체 페가(Pega)의 CTO 돈 슈어먼은 2026년에 에이전틱 AI 도입이 증가하겠지만, 이 기술이 곧바로 ‘주류’가 되기는 어렵다고 본다. 에이전트를 구동하는 LLM의 환각 문제가 남아 있다는 이유다. 슈어먼은 “2026년은 성공한 접근법과 실패한 접근법이 본격적으로 갈리기 시작하는 해가 될 것”이라며, “에이전트가 모든 것을 완전히 대체하는 단계는 더 장기적인 변화가 될 것”이라고 설명했다.

과도한 기대 탓에 ‘전망은 흐림’

많은 조직이 에이전틱 AI와 관련해 직면하게 될 과제는 여러 문제에 대응하는 추론 기능을 기대하며 LLM을 배치했다는 것이다. 슈어먼은 이 때문에 결과물에 대한 기대치가 부풀려졌다며, “LLM은 추론 기계가 아니라 텍스트 예측 기계”라고 지적했다.

슈어먼은 당장 성과를 내기 위해 ‘추론이 필요 없는’ 예측 가능한 워크플로우부터 공략하는 전략이 유효하다고 본다. 다만 에이전틱 AI가 진짜 성과를 내려면, 설계 단계에서부터 에이전트 업무에 추론 요소를 녹여야 한다고 강조했다. 또한, “에이전트가 하는 일을 비즈니스 프로세스와 워크플로우에 단단히 고정해야 한다. 기업이 원하는 것은 매번 일관되게 실행되고, 예측 가능성과 일관성, 감사 가능성이 높은 ‘결정론적 워크플로우’인 경우가 대부분”이라고 설명했다.

‘수천 개의 에이전트를 무작정 배치해 알아서 굴린다’는 상상은 신화에 가깝다는 주장도 내놨다. 슈어먼은 “에이전트를 마구 배포하는 대신, 에이전트를 활용해 우리가 필요한 워크플로우를 정의하고 설계해 과거보다 훨씬 빠르고 완성도 높게 만드는 방향이 현실적”이라고 말했다.

세일즈포스의 CIO 댄 쉬밋도 2026년 에이전틱 AI의 남은 과제로 ‘로드맵 부재’를 꼽았다. 시작 방법, 확장 방식, 성공 기준을 명확히 정리하지 못한 조직이 많고, 고품질 데이터와 통합 거버넌스 모델이 없으면 에이전트가 불안정한 결과를 낼 수 있다는 설명이다. 다만 쉬밋은 “조직 전반에 완전 자율 시스템이 보편적으로 배치되지는 않을 것”이라며, “사람과 다른 에이전트 옆에서 협업하며 일상 프로세스에서 생산성과 의사결정을 보강하는 형태로 확산될 것”이라고 전망했다.

슈어먼은 여기서도 CIO가 ‘IT 배포의 기본’으로 돌아가야 한다고 강조했다. 슈어먼은 “에이전트 같은 신기술이 등장했다고 해서 워크플로우와 데이터, 성과 정의 같은 기초 작업을 건너뛸 수는 없다. 어떤 방식으로 성과를 만들어내는지 이해하고, 에이전트를 데이터에 제대로 연결해야 한다”고 조언했다.

에이전틱 AI의 무한한 가능성

IBM CIO 맷 라이트슨은 2026년에 에이전틱 AI의 ‘성공적인’ 배포가 더 늘어날 것으로 내다봤다. 다만 전제 조건은 분명하다. 에이전트를 배포할 때 목표 성과를 더 구체적으로 설정하고 데이터 보안과 통제를 강화하며, 에이전트가 다른 IT 시스템과 어떻게 상호작용하는지 이해해야 한다는 것이다.

라이트슨은 “더 많은 사용례로 에이전트를 확장해 조직에 가치를 가져오려면, 원하는 성과와 에이전트에 제공해야 할 데이터, 그리고 이를 관리·통제하는 방법을 명확히 해야 한다”라며, “조직이 그 수준까지 해내면 도입도 성공도 훨씬 늘어날 것”이라고 말했다.

배포를 가로막는 대표 요인으로는 기존 시스템 및 데이터와의 통합 난이도를 꼽았다. 목표 성과를 충분히 정의하지 않은 채 에이전트를 얹는 접근도 문제라고 봤다. 라이트슨은 “IT는 보통 프로세스부터 생각해 ‘무엇을 하게 만들지’를 설계해 왔지만, 에이전트 시대에는 ‘어떤 성과를 얻을지’부터 생각해야 한다”라며, “이 지점에서 준비가 부족하면 쉽게 발목이 잡힌다”라고 지적했다.

IBM은 현재 엔터프라이즈 워크플로우 AI 에이전트를 수백 개, 개인 생산성 에이전트를 수천 개 배포했다고 밝혔다. 예를 들어, IT 지원 티켓을 분류하고, 단순·저난도 지원 요청을 처리하는 업무에 에이전트를 활용하고 있다.

한편, 파일럿에서 기대만큼 성과가 나오지 않았더라도 가능성을 닫지 말라고도 조언했다. 라이트슨은 “매일, 매주 새로운 것을 배우고 있다”라며, “이렇게 배운 것을 비즈니스 성과로 바꿀 수 있는 호기심과 실행이 쌓이면, 가능성은 무한대다”라고 강조했다.

라이프사이클 관리가 과제

아사나(Asana)의 CIO 사켓 스리바스타바도 2026년 에이전트 배포가 확대될 것으로 봤다. 동시에 CIO가 풀어야 할 숙제로 ‘사람의 저항’과 ‘신뢰·신빙성’ 문제를 꼽았다.

특히 스리바스타바는 에이전트 라이프사이클 관리가 곧 핵심 이슈가 될 것으로 전망했다. 직원들이 현업에서 만들어내는 에이전트를 추적하고, 성과가 없는 에이전트를 언제 퇴역시킬지 결정하는 체계가 필요하다는 것. 스리바스타바는 “곧 직원 수보다 에이전트 수가 많은 환경을 맞이할 것”이라며, 효과 측정과 모니터링의 중요성을 강조했다.

신뢰는 구조와 맥락에서 나온다는 점도 짚었다. 스리바스타바는 “신뢰는 권한과 가시성, 의사결정이 어떻게 이뤄지는지, 워크플로우가 어떻게 진행되는지에서 나온다”라며, “AI에 대한 과열된 기대 속에서 명확성 없이 이것저것 시도했던 ‘파일럿 모드’가 있었고, 그 과정에서 ‘데이터가 맞는지, 프로세스가 맞는지’ 같은 기본 질문이 뒤로 밀린 경우가 있다”라고 진단했다.

“나쁜 프로세스를 자동화해봐야 소용없다”는 과거 자동화 시대의 교훈도 다시 꺼냈다. 스리바스타바는 “결함 있는 워크플로우에 에이전트를 적용하는 사례도 있다. 프로세스를 더 깊이 들여다보고 재구상한 뒤 AI를 적용하는 흐름이 새해에 본격화될 것”이라고 내다봤다.

하지만, 실험 자체를 멈춰서는 안된다. 스리바스타바는 “천 개의 꽃을 피우듯 무작정 확장하는 접근은 최선이 아닐 수 있다”면서도 “실험이 꽃필 수 있는 환경을 만들되, 동시에 AI가 그 문제를 풀 준비가 됐다는 더 높은 확신을 확보해야 한다”고 말했다. 이어 “올바른 문제를 올바른 방식으로 풀고, 성과를 측정한 뒤 다음 문제로 넘어가야 한다”라고 덧붙였다.
dl-ciokorea@foundryco.com