“조직의 문제는 그대로” 멀티 에이전트 협업이 동작하지 않는 이유

진정한 의미의 멀티 에이전트 협업은 아직 제대로 작동하지 않는다는 지적이 나왔다. 일부 AI 업계 옹호론자들은 수십 개의 에이전트가 거의 인간 개입 없이 함께 움직이며 복잡한 문제를 해결하는 미래를 제시하고 있다. 하지만 현재까지는 이런 시나리오가 환상에 가깝다는 평가다.

멀티 에이전트 AI에 관한 새로운 연구 결과에 따르면, AI 에이전트는 각각 분리된 작업을 순차적으로 처리할 때는 효과적이지만, 여러 에이전트를 한데 묶어 복잡한 과제를 수행하도록 하면 대부분의 경우 실패했다.

멀티 에이전트의 미래를 지지하는 진영은 자율형 에이전틱 AI가 현재 인간 직원이 맡는 복잡한 업무를 대체하면서, 큰 폭의 효율 향상과 비용 절감이 가능하다고 본다. 하지만 실제로 여러 에이전트를 하나의 워크플로우에 투입한 조직들 가운데 상당수는 각 에이전트를 특정 업무 전용 사일로로 분리해 운용한다. 한 에이전트가 작업을 넘기면 오케스트레이션 계층이 이를 정리하고, 이후 다른 에이전트가 이어받는 방식이다.

에이전트 조직에도 나타나는 인간 조직의 문제

진정한 멀티 에이전트 협업이 어려운 이유는 에이전트 역시 인간 조직과 비슷한 구조적 문제를 겪기 때문이다. 에이전트가 다른 에이전트의 지시를 무시하고, 이미 끝난 일을 다시 하고 적절히 위임하지 못하고, 계획만 세우다 멈춰서는 경우가 반복된다.

제러미 맥엔타이어는 “AI 시스템은 인간에게만 있는 원인이 모두 제거됐는데도, 인간 조직이 실패하는 것과 똑같은 구조적 이유로 실패한다. 경력 보상도, 자아도, 정치도, 피로도, 문화 규범도, 지위 경쟁도 없었다. 에이전트는 프롬프트를 실행하는 언어 모델이었지만, 기능 장애는 결국 발생했다”라고 설명했다. 맥엔타이어는 고급 휴양 주택 임대 서비스 기업 원더(Wander)의 엔지니어링 책임자다.

복잡성이 높으면 실패 가능성도 크다

투입되는 에이전트 수가 많아지고 조직 구조가 복잡해 질수록 과업을 제대로 수행하지 못할 가능성도 커진다. 맥엔타이어는 네 가지 조직 구조를 기준으로 에이전트 출력을 시험했다. 단일 에이전트가 결과물을 만드는 방식은 28번 시도 중 28번 모두 성공했다. 반면 한 에이전트가 다른 에이전트에 업무를 배분하는 계층형 구조에서는 36%가 올바른 결과를 내지 못했다.

자기 조직화된 군집으로 작동하는 에이전트로 이루어진 스티그머지(Stigmergy) 접근은 68%가 실패했다. 11단계 게이트 파이프라인(Gated Pipeline), 이른바 ‘오그 스웜(org swarm)’은 단 한 번도 만족할 만한 결과를 만들지 못했다. 실제로 이 게이트 파이프라인은 구현 코드 한 줄도 작성하지 못한 채, 다섯 개 계획 단계에 프로젝트 예산 전체를 소진했다.

맥엔타이어는 “이들 실험은 해당 구조가 원래 막아야 한다고 여겨지는 방식으로 오히려 실패했다”라며, “파이프라인은 제자리만 맴돌았고 계층 구조는 위임에 실패했으며, 스티그머지 시스템은 조정에 실패했다. 그런데 조정은 바로 스티그머지의 핵심 목적이다. 유일하게 안정적이고 일관되게 성공한 것은 단일 에이전트뿐이었다”라고 밝혔다.

연구 결과에 따르면, 인간이 하던 업무를 AI 에이전트로 바꾼다고 해서 오래된 조직 문제까지 사라지지는 않는 것으로 보인다. 맥엔타이어는 “검토 과정의 소모전, 선호 기반 게이트키핑, 거버넌스 충돌, 조정 실패에 따른 예산 고갈 등 인간 조직의 실패 패턴이 멀티 에이전트 AI 시스템에서도 동일한 수학적 서명으로 나타난다”라며, “기반은 달라져도, 대규모 조정의 물리학은 그대로 남아 있다”라고 짚었다.

맥엔타이어의 주장만 튀는 것은 아니다. 여러 AI 전문가가 비슷한 현상을 목격했다고 전했다. 사이버보안 기업 크라우드스트라이크(CrowdStrike)의 수석 엔지니어 딥타마이 사냘은 이전 직장에서 AI 에이전트 플랫폼을 구축하던 당시, 에이전트 간 협업에서 유사한 문제를 경험했다고 밝혔다. 사냘은 단일 에이전트가 범위가 명확한 개별 작업을 수행할 때는 신뢰성이 높지만, 멀티 에이전트 협업은 자주 실패한다고 진단했다.

사냘은 “복잡성이 높아질수록 실패율이 빠르게 올라간다는 점은 이번 연구와 정확히 맞아떨어진다”라며, “에이전트 간 조정 비용, 컨텍스트 전달, 오류 전파는 대규모 인간 조직의 기능 장애를 그대로 닮아 있다”라고 말했다.

다만 진정한 의미의 협업은 아니더라도, 에이전트를 체인처럼 연결하는 방식은 효과를 낼 수 있다고 봤다. 이는 다른 AI 전문가의 연구와도 맞닿아 있다.

사냘은 “위협 탐지, 알림 보강, 자동 격리 같은 작업은 개별 기능이 명확한 모듈로 나눈 뒤, 오케스트레이션 계층으로 연결할 때 가장 잘 작동한다”라며, “겉으로 보기에는 멀티 에이전트 협력처럼 보이지만, 구조적으로는 결정론적 핸드오프와 인간의 검토 지점을 포함한 순차적 전문화에 가깝다”라고 설명했다.

이어 “수십 개의 에이전트가 인간 개입 없이 자율적으로 협업하는 그림은 아직 현실이 아니다”라며, “현재 AI 에이전트의 진짜 가치는 반복적이고 잘 정의된 작업을 대규모로 자동화해, 인간 분석가를 빠른 데이터 처리와 일관된 출력으로 보강하는 데 있다. 집단지성이 자생적으로 출현하는 데 있는 것은 아니다”라고 덧붙였다.

“정보 손실은 핸드오프 지점마다 생긴다”

시스코에서 멀티 에이전트 조정과 에이전틱 시스템 설계를 맡고 있는 수석 엔지니어 겸 플랫폼 아키텍트 닉 케일도 인간 조직의 커뮤니케이션 문제가 멀티 에이전트 환경으로 그대로 옮겨간다고 진단했다.

케일은 “시스템 간 핸드오프가 일어나는 모든 지점은 의미가 손실되고 컨텍스트가 압축되며, 가정이 끼어드는 지점”이라며, “인간은 조직 안에서 누군가 자리로 가서 ‘잠깐, 그게 정확히 무슨 뜻인가?’라고 물으며 문제를 푼다. 에이전트에게는 그런 대화가 없다”라고 지적했다.

이어 에이전트를 도입하는 IT 리더라면, 범위가 분명한 작업에 집중하는 단일 에이전트부터 우선 검토해야 한다고 지적했다. 이런 방식이 “놀랄 만큼 높은 신뢰성”을 만들어낸다는 설명이다. 케일은 “여러 에이전트가 자율적으로 함께 일한다는 마케팅 메시지는 정보이론 자체를 거스르는 환상을 파는 것”이라며, “에이전트끼리 협업하게 두는 것이 아니라 명세에 맞춰 결과를 내게 하고 얇은 오케스트레이션 계층이 이를 조립하도록 해야 한다”라고 말했다.

AI 기반 앱 개발 기업 엠프롬프트에이(Empromptu.ai)의 CEO 셰이니아 레빈도 멀티 에이전트 시스템은 단일의 고도로 구조화된 에이전트가 전문 업무를 수행하는 방식, 혹은 여러 에이전트가 엄격한 경계와 공유 컨텍스트 모델, 평가 통제 아래 움직이는 방식에서 출발해야 한다고 조언했다.

레빈은 “수십 개의 에이전트가 감독이나 경계 없이 자발적으로 협업할 수 있다는 발상은 인간에게 그렇게 하라고 기대하는 것만큼이나 비현실적”이라며, “AI 에이전트의 가치는 분명하지만, 그것이 자율 군집 행동에 있는 것은 아니다. 핵심은 통제된 전문화에 있다”라고 강조했다.

해법은 체인형 오케스트레이션

일부 AI 도입 기업은 에이전트 사이에 오케스트레이션 도구를 두고 체인 형태로 연결하는 방식에서 성과를 내고 있다고 말한다.

워크포스 오케스트레이션 기업 어심블(Asymbl)은 150개가 넘는 에이전트를 운용하고 있지만, 상호작용 방식은 매우 엄격하게 통제하고 있다. 어심블의 최고 디지털 노동·기술 책임자인 시바나스 데비나라야난은 “150개가 넘는 디지털 워커가 서로 상호작용하고 업무를 넘기며, 우리가 설계한 결과를 함께 만들어내고 있다”라며, “이들이 서로, 그리고 인간 동료와 조정할 수 있는 것은 우리 주변에 오케스트레이션 계층을 구축했기 때문”이라고 말했다.

데비나라야난은 “두 AI 에이전트가 상호작용하기 전에 어떤 데이터가 어떤 형식으로, 어떤 조건에서 전달되는지, 언제 왜 인간의 검토가 개입하는지까지 모두 매핑해 둔다”라고 설명했다.

에이전트를 통제하는 오케스트레이션 모델과, 배포 이전에 각 에이전트 역할을 명확히 정의하는 작업이 핵심이라고도 강조했다. 데비나라야난은 “우리는 개별 작업 전용 AI 에이전트도 두고, 다른 에이전트가 무엇을 하는지 추적할 수 있도록 공유 메모리와 공유 작업 목록을 가진 에이전트도 운용한다”라며, “두 경우 모두 핵심은 배포 전 역할의 명확성이다. 이 디지털 워커가 무엇을 책임지고 일은 어디서 들어오며, 어디로 넘어가고 언제 인간이 판단해야 하는지를 분명히 해야 한다”라고 강조했다.

데비나라야난은 맥엔타이어의 연구가 멀티 에이전트 시스템의 실패를 기술 문제가 아니라 조직 설계와 오케스트레이션 문제로 봐야 한다는 어심블의 경험을 뒷받침한다고 평가했다. 데비나라야난은 “연구는 에이전트가 함께 일할 때 인간과 같은 조정 실패를 겪는다는 점을 보여줬다. 에이전트는 인간의 추론을 모델링한 만큼, 조직 설계가 약하면 인간 조직의 실패 방식까지 물려받는다”라고 분석했다.

또한, “수십 개의 에이전트가 인간 개입 없이 함께 움직인다는 비전은 잘못된 방향”이라며, “올바른 사고모델은 하이브리드 워크포스다. 역할이 분명한 디지털 워커, 감독과 판단을 맡는 인간 노동자, 그리고 이 둘을 연결하는 오케스트레이션 계층이 함께 가야 한다”라고 덧붙였다.
dl-ciokorea@foundryco.com