‘AI 에이전트 확산이 낳을 복잡성 문제’··· CIO들은 해법 모색 중

AI 에이전트가 기업 워크플로우의 상당 부분을 차지하게 된다면, IT 리더들은 복잡성이라는 난제에 직면할 가능성이 높다. IDC의 리서치 부사장 데이브 맥카시는 “클라우드 상의 AI 에이전트를 어떻게 관리할 지에 대한 우려가 있다”라고 말했다. 그는 AI 에이전트의 가용성이 확대됨에 따라 CIO가 자산 관리, 보안 및 버전 관리에 어려움을 겪을 것이라고 지적했다.

그에 따르면 주요 하이퍼 스케일러와 클라우드 관리 업계가 이미 이러한 문제를 인식하고 있으며 이에 대한 해결책을 모색하고 있다. 맥카시는 12월 발표된 구글 에이전트스페이스(Google Agentspace)를 한 예로 언급하며, 이 도구가 다각적인 관리 요구를 충족하기 위한 것이라고 소개했다. 이 밖에도 에이전트옵스(AgentOps), 원리치.ai(OneReach.ai), 피들러(Fiddler), 아리즈(Arize), 페조(Pezzo), 헬리콘(Helicone), 에이스택(AimStack) 등의 기업이 AI 에이전트 관리 시장에 뛰어든 상태다.

가트너의 AI 수석 애널리스트 톰 코스하우는 “새롭게 떠오르는 분야다. 내가 대기업 의사결정자라면 모든 에이전트를 하나로 관리하려 하지 않고 특정 벤더에 종속되지도 않겠다. 하지만 30개의 플랫폼을 도입하지도 않겠다. 필요한 것은 성능 문제가 있거나 보안 문제가 있을 때 알림을 제공하는, 모든 AI 에이전트에 대한 단일 시야다”라고 말했다.

에이전트 AI 시장은 아직 초기 단계지만, AI 에이전트의 잠재력에 대해 낙관적인 CIO들은 AI 에이전트 워크플로우를 실시간으로 관리하고 모니터링할 필요성을 인식하고 있다. TIAA의 최고 운영, 정보, 디지털 책임자 사스트리 더바술라는 “기존의 클라우드 AI 관리 도구는 이 작업을 수행하기에 충분하지 않기에 에이전트 AI 관리가 현실적으로 중요한 과제로 부상했다”라고 말했다.

에이전트 AI 시스템는 고유의 자율적 성격과 복잡한 의사결정 과정을 특징으로 한다. 그리고 이로 인해 더 정교한 모니터링, 보안, 거버넌스 메커니즘이 필요하다. 반면 오늘날의 클라우드 도구와 자동화 기능은 동적인 에이전트형 AI 의사결정을 처리하기에 충분하지 않다.

더바술라는 또 에이전트 AI의 실시간 워크로드가 클라우드 네트워크 지연으로 인해 지연될 수도 있다는 점을 언급했다. 그는 “비즈니스 요구를 제대로 지원하기 위해서는 동적 워크로드를 처리하고, 투명성을 보장하며, 멀티 클라우드 환경 전반에 걸쳐 유지하도록 하는 고급 AI 전용 관리 도구에 투자해야 한다. 이 접근 방식이 위험을 완화하고 책임 있는 배포를 보장하면서 에이전트 AI의 이점을 극대화하는 데 도움이 될 것”이라고 말했다.

AI 에이전트가 늘어날수록 복잡성이 급증한다. 여러 에이전트를 가로질러 서로 다른 데이터 입력이 발생할 수 있으며, 에이전트가 변화하고 진화하는 워크플로우에 관여할 수도 있다. 또 이러한 AI 에이전트들이 의사 결정을 ‘학습’하고 조정하기도 한다. 가트너의 코스하우는 “에이전트가 AI를 활용해 적응성을 지닌다면, 적응한 후에도 여전히 원하는 신뢰 수준에 있는지 확인하는 방법이 필요하다”라고 말했다.

에이전트 AI는 지속적인 변화를 의미

자율적 의사 결정의 역동적인 특성은 엄격한 안전 장치와 거버넌스가 마련되어야 한다는 것을 의미한다고 페이저듀티의 에릭 존슨 CIO는 강조했다.

그는 “AI 에이전트가 효율성을 크게 향상시킬 수 있지만, AI 감독 및 책임과 관련된 복잡성을 야기할 것이다. 조직이 에이전트 활동을 모니터링하는 등 명확한 프레임워크를 구축하는 것이 중요하다. 그래야 AI 에이전트가 클라우드 운영을 위험에 빠뜨리는 것을 방지할 수 있다”라고 말했다.

그는 이어 “인간이 참여하는 검증과 명확한 거버넌스 구조를 통해 신뢰를 구축하는 것이 에이전트 중심의 의사결정을 보다 안전하게 이끌어 주는 엄격한 프로토콜을 확립하는 데 필수적이다”라고 덧붙였다.

클라우데라의 최고전략책임자 아브하스 리키는 최근 링크드인에서 AI 에이전트 관리와 관련된 비용 문제를 언급했다. 그는 “LLM 호출에 연간 100만 달러 이상을 지출하는 조직도 있다. 개발자들은 비용이 너무 많이 들지 않으면서도 여러 단계로 이루어진 에이전트 워크플로를 구축하기를 원한다. 에이전트의 효율적 운영은 매우 중요하다. 에이전트 모니터링을 위한 파이썬 SDK, LLM 비용 추적, 벤치마킹, API 콜에 대한 가시성 확보, 실시간 비용 관리, 운영 중인 에이전트의 신뢰성 점수 등을 생각해볼 수 있다”라고 말했다.

AI 에이전트의 수와 다양성이 빠르게 증가함에 따라, 각종 관리 측면의 요구 사항도 증가하고 있다. 신원 플랫폼 스티치(Stytch)의 리드 맥긴리 셈플 CEO는 ‘에이전트 경험’이라는 표현을 사용했다. 과거에는 인간과 개발자가 소프트웨어와 상호 작용하는 방식을 결정하는 것이 UX(사용자 경험)와 DX(개발자 경험)였다면, 이제는 ‘에이전트 경험’이 기업의 핵심 우선순위로 부상하고 있다는 설명이다. 여러 코파일럿에서부터 코딩 도구, 자율 어시스턴트에 이르기까지 다양한 AI 에이전트가 CIO의 모니터링 필요성을 더하고 있다고 그는 전했다.

맥긴리-셈플은 “기존의 사용자 인증 방식에서는 신원이 개인과 연결되어 있다. 반면, AI 에이전트는 사용자를 대신하여 행동하기 때문에 신뢰, 권한, 보안 경계에 대한 새로운 질문이 제기된다. 애플리케이션이 에이전트 워크플로를 수용하도록 진화하지 않으면 기업은 가치 있는 자동화를 차단하거나 무단 액세스를 허용할 위험에 빠진다. AI 에이전트를 위한 명확하고 표준화된 인증 흐름을 구축하는 기업이 자동화의 새로운 시대를 선도할 것”이라고 말했다.

시장 상황

관건 중 하나는 모니터링 범위다. 구글의 에이전트스페이스, 마이크로소프트 애저 AI 서비스, xAI, 또는 오픈AI의 관리 플랫폼이 모든 에이전트를 지원할 수 있을지는 알 수 없는 상황이다. 에이전트옵스와 원리치.ai 등의 스타트업들이 등장할 수 있는 배경이다.

하이브리드 클라우드 스토리지 회사인 나수니(Nasuni)의 AI 및 데이터 전략 부문 최고 혁신 책임자인 짐 리들은 대규모 하이퍼 스케일러들이 모든 에이전트에 대한 관리 서비스를 제공할 수 있을 지 의심스럽다고 진단했다. 그는 “가장 큰 문제는 각 공급업체가 에이전트 아키텍처, 상태 관리 및 통신 프로토콜에 대해 근본적으로 다른 접근 방식을 취한다는 점이다. 공급업체들이 자신들의 프레임워크와 에이전트를 밀어붙이고 있다”라고 말했다.

그는 이어 “이로 인해 기업들은 기술 부채와 유지 관리 비용의 증가와 같은 문제를 겪을 가능성이 크다. 모든 에이전트를 통합하는 단일 프레임워크가 등장하지 않을 것으로 보이며, 이로 인해 복잡성 문제가 점점 더 불거질 것”이라고 말했다.

현재 주력 서비스의 일부로 에이전트 AI 서비스를 출시하는 몇몇 벤더의 경우 에이전트 관리를 위한 플랫폼 기반 접근 방식을 내세우고 있다. 서비스나우의 최고고객책임자이자 엔터프라이즈 AI 고문인 크리스 베디는 다음과 같이 말했다.

“에이전트 AI를 대규모로 관리하기란 다차원적인 도전 과제다. 그렇다고 이를 세분화하면 거버넌스, 운영, 윤리, 통합이라는 도전 과제가 한꺼번에 발생한다. 에이전트 AI를 관리하려면 AI 에이전트, 데이터, 워크플로우를 단일 데이터 모델로 통합할 수 있는 플랫폼이 필요하다. 이러한 플랫폼이 AI를 기업의 모든 구석구석에 도입하고 이러한 모든 과제를 해결할 수 있다.”

뉴타닉스의 엔지니어링 담당 부사장인 데보지요티 두타 최고 경영진 전체의 노력이 필요하다고 강조했다. 그는 “다중 에이전트로 전환하는 현실이 펼쳐지고 있다. 현재 각 AI 에이전트는 맞춤형 방식으로 구축되고 운영되고 있으며, 향후 운영상의 골칫거리가 될 것”이라고 말했다.

그는 이어 “CIO가 이러한 에이전트를 운영하기 위한 도구와 인프라를 준비해야 한다. CDO는 데이터의 적절한 거버넌스를 보장해야 한다. CLO는 AI의 규정 준수 및 거버넌스를 보장해야 할 것이며, CISO는 기업을 보호하기 위한 조치를 마련해야 한다. CAIO는 다른 CXO와 함께 협력하여 이 에이전트 물결이 AI 투자의 실제 비즈니스 수익을 창출하는 동시에 기업을 보호하고 비용을 억제할 수 있도록 해야 한다”라고 말했다.

에이전트 AI은 아직 초기 단계의 기술이지만, 가트너의 코스호우는 이미 이 복잡한 문제에 대해 우려하는 CIO들이 있다고 전했다. “보안, 규제, 거버넌스, 정확성, 성능 문제 등 해결해야 할 문제가 있다. 많은 CIO가 AI 에이전트 배포에 대해 매우 신중하게 검토하고 있다”라고 말했다.
[email protected]