기대와 현실 사이, 2026년 에이전틱 AI는 어디까지 왔나

에이전틱 AI(Agentic AI)는 지금 ‘모든 것, 모든 곳, 동시에’의 순간을 맞고 있는 듯 보인다. 하지만 과연 그럴까.

소셜미디어의 흐름과 벤더의 공식 발표, 과장된 표현이 난무하는 사고 리더십 영역을 주시하는 IT 실무자라면, 머지않아 전 세계 기업이 AI 에이전트를 중심으로 운영될 것이라고 생각해도 무리는 아니다. 코드 생성부터 콘텐츠 제작까지 다양한 작업을 자동화할 수 있는 소프트웨어인 AI 에이전트가 기업 운영의 핵심이 될 것처럼 비치기 때문이다.

에이전트형 인력(agentic workforce)의 시대가 도래했다는 선언과 함께 IT 지원 업무의 90%를 에이전트가 수행한다는 주장도 나온다. 에이전트 기반 제품으로 수익을 창출하는 진취적인 개발자 사례도 공유된다. 반면, 업계가 과도한 기대를 부추기고 있을 뿐 실제 현장은 그와 거리가 멀다고 지적하는 목소리도 적지 않다.

기술 분야에서 흔히 그렇듯, 현실은 보다 복합적이다. 다만 데이터는 일정 부분 방향을 보여준다. 맥킨지가 조사한 결과에 따르면, 전체 응답 기업의 39%가 AI 에이전트를 실험하고 있다고 답했지만, 단일 비즈니스 기능 내에서라도 AI 에이전트를 본격적으로 확장한 기업은 23%에 그쳤다.

AI 에이전트란 무엇인가

먼저 한 걸음 물러서서 살펴볼 필요가 있다. AI 에이전트란 정확히 무엇이며, 왜 IT 리더들은 이에 주목하고 있는가.

AI 에이전트는 대규모 언어 모델(LLM)과 기타 데이터 소스에서 얻은 맥락 이해와 데이터를 활용해 시스템 환경을 인지하고, 그 과정에서 학습하며, 목표를 달성하기 위해 문제를 추론해 나간다.

에이전트는 다른 에이전트는 물론 다양한 애플리케이션과도 함께 작동한다. 여왕벌을 만족시키기 위해 분주히 움직이는 일벌처럼, 주어진 일을 수행하며 효율적으로 목표를 달성하는 것이 궁극적인 목적이다.

사용자가 맥락을 제공하며 LLM을 원하는 결과로 유도하는 방식과 달리, 에이전트는 사전에 설계된 문제 해결 로직과 학습 데이터에 기반해 스스로 목표 달성 방법을 찾아낸다.

세일즈포스, 워크데이, 마이크로소프트 등은 이미 고객 서비스와 기타 기업 업무용 애플리케이션에 에이전트를 내장하고 있는 대표적인 벤더로 꼽힌다.

서두르면서도 속도를 늦추는 이유

그러나 여러 플랫폼에 걸쳐 작동하는 다중 에이전트 시스템의 도입은 상대적으로 더딘 흐름을 보이고 있다. 에이전트를 중심으로 기업 운영을 시도했다가 실패한 사례, 또는 에이전트가 치명적인 기술적 오류를 일으킨 사례가 잇따르면서 확산에 부정적인 영향을 미쳤기 때문이다.

IDC에서 AI 부문 수석 리서치 디렉터를 맡고 있는 낸시 고링은 다중 에이전트 시스템은 구축과 운영 모두에서 기술적 난도가 높고, 벤더 역시 에이전트가 생성하고 소비하는 데이터를 어떻게 수익화할지 정리되지 않은 상황에서 상호운용성을 쉽게 허용하지 않는다고 설명했다.

고링은 “이는 기술적인 문제이자 경쟁 구도의 문제”라며, 벤더들이 고객을 자사 생태계 안에 묶어두려는 의도가 강하다고 분석했다. 예를 들어 한 벤더의 고객 서비스 플랫폼 API는 다른 벤더의 이커머스 소프트웨어 API와 연동되지 않는 경우가 많다는 것이다.

센게이지의 CIO 켄 그레이디 역시 벤더들이 경쟁 우위를 확보하고 데이터 보호 장벽을 유지하기 위해 서로 엇갈린 방향으로 움직이고 있다는 점에 동의했다. 그는 이러한 구조가 에이전트에서 실질적인 가치를 얻은 기업이 아직 극히 제한적인 주요 원인이라고 설명했다.

개발자도 피할 수 없는 에이전트 도입의 현실적인 장벽

위험과 리스크라는 두 가지 그림자는 소프트웨어 개발 영역에도 짙게 드리워져 있다.

복셀의 CTO 브라이언 오설리번은 규모와 관계없이 많은 조직이 코드 자동화를 위해 에이전트를 성공적으로 배치했지만, 데이터 유출 위험, 벤더 종속적인 폐쇄 구조, 빠르게 누적되는 시스템 취약성이 에이전트의 전망을 약화시키고 있다고 지적했다. 그는 이러한 문제가 결국 “많은 비용만 들고 실질적인 역할은 하지 못하는 신뢰하기 어려운 시스템”으로 이어질 수 있다고 표현했다.

에이전트 기능의 일부만 부정확해도 전체 프로세스가 무너질 수 있다. 오설리번은 이 점이 IT 부서가 에이전트 도입의 선두에 서 있는 반면, 다른 사업 부서는 참여를 주저하는 이유를 설명해 준다고 분석했다. 그 결과, 가치가 큰 다른 영역으로 에이전트가 깊숙이 확산되는 사례는 여전히 제한적인 수준에 머물러 있다.

또 다른 문제는 메모리에 있다. 정확히 말하면 에이전트의 메모리 부족이다. 자율적인 운영이라는 약속을 실현하려면, 에이전트는 수행한 작업에서 학습하기 위해 장기·중기·단기 메모리에 접근할 수 있어야 한다. 이러한 기능이 없다면 에이전트는 본질적으로 수명이 짧은 LLM 채팅 세션과 크게 다르지 않다.

기대가 남아 있는 이유

그럼에도 불구하고 AI 산업이 이러한 과제를 해결하게 될 것이라는 기대는 여전히 크다. 업계 전반의 집단적 비즈니스 요구가 결국 해법을 만들어낼 것이라는 인식 때문이다. 이 단계에 이르면 에이전트는 개별 업무를 넘어 전체 워크플로와 프로세스, 나아가 기업 운영 전반까지 자동화할 수 있을 것이라는 전망도 나온다.

IT 리더는 인력을 보다 전략적인 업무로 재배치하거나 새로운 혁신 동력을 발굴할 수 있다. 인간이 잠든 동안에도 거의 손실 없이 기업이 24시간 돌아가는 세상을 상상하는 기술 낙관론자들이 그리는 이상적인 미래다.

IDC에 따르면, 2026년에는 글로벌 2000대 기업 전체 직무 가운데 최대 40%가 AI 에이전트와 함께 일하는 형태가 될 것으로 예상된다. 이는 많은 기업의 업무 흐름을 근본적으로 재정의할 것이라는 분석이다.

센게이지의 CIO 켄 그레이디는 벤더들이 결국 자신과 고객 모두에게 가장 적합한 전진 경로를 찾아낼 것이라고 내다봤다. 그는 보다 효율적인 비즈니스 프로세스를 구축하려는 조직을 중심으로 에이전트 도입이 확대될 것으로 전망했다.

예를 들어 현재 2% 수준에 머물러 있는 비즈니스 활용 사례가 기술과 프로토콜이 성숙함에 따라 20% 수준까지 성장할 수 있다는 설명이다. 그는 성공적인 파일럿 프로젝트를 실제 운영 환경으로 전환하려는 기업도 점차 늘어날 것이라고 언급했다.

그렇다면 이러한 전환을 앞두고 IT 리더는 무엇을 준비해야 할까.

에이전트는 아직 새롭게 부상한 기술 범주인 만큼, 이를 위한 확정된 도입 지침은 존재하지 않는다. 최소한 에이전트에 특화된 명확한 플레이북은 아직 마련되지 않았다.

그럼에도 IDC의 낸시 고링은 IT 리더가 우선 실행할 파일럿을 식별하고 테스트에 나서야 한다고 조언했다. 실험을 통해 신뢰와 이해도를 쌓아가는 동시에, 확장에 앞서 통제와 가시성을 확보할 수 있는 체계를 마련해야 한다는 설명이다.

기업은 핵심 추상화 계층과 기본 오케스트레이션을 구축하고, 테스트와 학습을 반복하면서 거버넌스와 모니터링 기능을 점진적으로 통합해야 한다. 특히 수십 개 이상의 에이전트로 확장하는 단계에서는 이러한 준비가 더욱 중요해진다.

실제 사용 패턴에 기반해 아키텍처를 지속적으로 다듬는 작업 역시 핵심 과제로 꼽힌다. 그리고 언제나 그렇듯, 빠르게 실패하고 그 과정에서 학습하는 문화가 에이전트 시대를 준비하는 데 중요한 요소로 작용한다.
dl-ciokorea@foundryco.com