La verdadera colaboración entre múltiples agentes de IA no funciona

Algunos defensores de la IA promueven una visión en la que docenas de agentes trabajan juntos para resolver problemas complejos con poca o ninguna intervención humana. Hasta ahora, ese escenario es un mito. Los agentes de IA pueden ser eficaces cuando trabajan de forma individual en tareas separadas, pero cuando se agrupan para completar tareas complejas, fracasan la mayoría de las veces, según un nuevo estudio de investigación, llamado ‘The Organizational Physics of Multi-Agent AI: Substrate-Independent Dysfunction in Autonomous Software Engineering Swarms’.

Los defensores imaginan un futuro multiagente que conducirá a enormes mejoras de eficiencia y a importantes ahorros de costes, gracias a que la IA autónoma basada en agentes se encargará de muchas de las tareas complejas que actualmente realizan los empleados humanos. Pero la mayoría de las organizaciones que implementan múltiples agentes para un único flujo de trabajo, en realidad los separan en silos de agentes individuales asignados a tareas específicas, pasando su trabajo a una capa de orquestación antes de que otro agente se haga cargo.

La verdadera colaboración entre múltiples agentes no funciona porque los agentes adolecen de los mismos problemas organizativos que los humanos, afirma el investigador de sistemas organizativos y autor del citado estudio, Jeremy McEntire. Los agentes ignoran las instrucciones de otros agentes, rehacen el trabajo que otros ya han hecho, no delegan y se quedan atascados en la parálisis de la planificación, afirma.

“Los sistemas de IA fracasan por las mismas razones estructurales que las organizaciones humanas, a pesar de la eliminación de todos los factores causales específicos de los humanos”, escribe McEntire. “Sin incentivos profesionales. Sin ego. Sin política. Sin fatiga. Sin normas culturales. Sin competencia por el estatus. Los agentes eran modelos de lenguaje que ejecutaban indicaciones. La disfunción surgió de todos modos”.

La complejidad falla

Quizás no sea sorprendente que, cuantos más agentes se añadan a la mezcla y cuanto más compleja sea la estructura organizativa de los agentes, más a menudo fracasan en el cumplimiento de las tareas asignadas, afirma McEntire, que también es jefe de ingeniería del servicio de alquiler de vacaciones de lujo Wander.

McEntire probó los resultados de los agentes basándose en cuatro estructuras organizativas. Al utilizar un único agente para producir el resultado, los agentes tuvieron éxito en 28 de 28 intentos. Varios agentes en una organización jerárquica, en la que un agente asignaba tareas a los demás, no lograron el resultado correcto en el 36% de los casos.

Un enfoque de emergencia de estigmergia, con agentes trabajando en un enjambre autoorganizado, falló el 68% de las veces, y un proceso por etapas de 11 fases, o enjambre organizativo, nunca produjo un buen resultado. De hecho, el proceso por etapas consumió todo el presupuesto del proyecto en cinco fases de planificación sin producir una sola línea de código de implementación.

“Todos y cada uno de los experimentos que realicé fracasaron de forma contraintuitiva, exactamente de la manera en que, en teoría, se supone que están diseñados para no hacerlo”, afirma McEntire. “El proceso se movía en círculos. La jerarquía no logró delegar. El sistema estigmérgico no logró coordinarse, que es precisamente el objetivo de la estigmergia. El único que tuvo éxito de forma fiable y consistente fue el agente único”.

Los problemas organizativos de grandes datos no desaparecen cuando los humanos pasan a ser agentes de IA, afirma McEntire. “Los mismos patrones de fracaso que caracterizan a las organizaciones humanas —revisiones interminables, control de acceso basado en preferencias, conflictos de gobernanza, agotamiento del presupuesto por fallos de coordinación— surgen en los sistemas de IA multiagente con firmas matemáticas idénticas”, escribe en su artículo. “El sustrato cambia; la física de la coordinación a gran escala permanece constante”.

Resultados replicados

Aunque podría ser tentador descartar a McEntire como una voz solitaria que clama en el desierto, varios expertos en IA afirman que observan resultados similares. Mientras desarrollaba una plataforma de agentes de IA en un trabajo anterior, Diptamay Sanyal observó problemas similares con los agentes que trabajaban juntos. Los agentes individuales que trabajan en tareas discretas y bien delimitadas son fiables, pero la colaboración entre múltiples agentes a menudo fracasa, afirma Sanyal, ahora ingeniero principal en el proveedor de ciberseguridad CrowdStrike. “Los ratios de error aumentan rápidamente a medida que crece la complejidad, tal y como reveló el estudio”, añade. “La sobrecarga de coordinación, el intercambio de contexto y la propagación de errores entre agentes reflejan la disfunción organizativa humana a gran escala”.

Sin embargo, el encadenamiento de agentes, que no es una verdadera colaboración, puede funcionar, señala, lo que coincide con las observaciones de otros expertos en IA. “La detección de amenazas, el enriquecimiento de alertas y la contención automatizada funcionan mejor como módulos discretos y bien delimitados encadenados a través de capas de orquestación”, afirma. “Desde fuera parece una cooperación entre múltiples agentes, pero desde el punto de vista arquitectónico se trata de una especialización secuencial con traspasos determinísticos y puntos de control humanos integrados”.

La visión de docenas de agentes colaborando de forma autónoma sin intervención humana aún no es una realidad, añade. “El verdadero valor de los agentes de IA hoy en día es automatizar tareas repetitivas y bien definidas a gran escala, complementando a los analistas humanos con un procesamiento rápido de datos y resultados consistentes. No es inteligencia colectiva emergente”, añade.

Los mismos problemas de siempre

El artículo de McEntire muestra cómo los problemas comunes de la comunicación humana se trasladan a entornos multiagente, afirma Nik Kale, ingeniero principal y arquitecto de plataformas que trabaja en la coordinación multiagente y el diseño de sistemas de agentes en Cisco. “Cada traspaso entre sistemas es un punto en el que se pierde el significado, se comprime el contexto y se hacen suposiciones”, afirma. “Los humanos lidian con esto en las organizaciones acercándose al escritorio de alguien y diciendo: ‘Espera, ¿qué querías decir realmente con eso?’. Los agentes no tienen conversaciones en los pasillos”.

Los responsables de TI que implementan agentes deberían centrarse en agentes individuales dedicados a tareas bien delimitadas, lo que genera resultados “sorprendentemente fiables”, añade Kale. “El argumento de venta de ‘docenas de agentes trabajando juntos de forma autónoma’ vende una fantasía que viola la teoría de la información”, dice. “No se deja que los agentes colaboren. Se deja que los agentes cumplan con unas especificaciones y se deja que una capa de orquestación ligera ensamble los resultados”.

Los sistemas multiagente deberían partir de un único agente altamente estructurado que trabaje en una tarea especializada, o de múltiples agentes que operen dentro de límites estrictos, modelos de contexto compartidos y controles de evaluación, añade Shanea Leven, directora ejecutiva de Empromptu.ai, proveedor de creación de aplicaciones basadas en IA. “La idea de que docenas de agentes puedan colaborar espontáneamente sin supervisión ni límites es tan descabellada como si lo hicieran los humanos”, señala. “El valor de los agentes de IA es real, pero no reside en el comportamiento autónomo de enjambre. Reside en la especialización controlada”.

Orquestación de resultados

Algunos usuarios de IA informan de que han tenido éxito al encadenar agentes entre sí utilizando una herramienta de orquestación. El proveedor de orquestación de personal Asymbl ha desplegado más de 150 agentes, pero sus interacciones entre sí están muy controladas, afirma Shivanath Devinarayanan, director de mano de obra digital y tecnología de la empresa. “Nuestros más de 150 trabajadores digitales interactúan, se pasan el trabajo y entregan colectivamente los resultados que hemos diseñado para ellos, y se coordinan entre sí y con sus compañeros humanos porque hemos construido una capa de orquestación a su alrededor. Antes de que dos agentes de IA interactúen, hemos planificado el traspaso: qué datos se transmiten entre ellos, en qué formato, en qué condiciones, qué desencadena una revisión humana y por qué”, relata.

Un modelo de orquestación que controle a los agentes y defina el papel de cada uno antes de su implementación son piezas clave del rompecabezas, añade. “Contamos con agentes de IA específicos para tareas discretas y agentes con memoria compartida y listas de tareas compartidas para realizar un seguimiento de lo que hacen los demás agentes”, explica Devinarayanan. “La clave en ambos casos: la claridad de las funciones antes de la implementación. ¿De qué es responsable este trabajador digital?, ¿de dónde proviene el trabajo?, ¿adónde va?, y ¿cuándo debe intervenir un humano?”.

El estudio de McEntire confirma lo que Asymbl ha observado: que el fracaso de los sistemas multiagente es un problema de organización y coordinación, no tecnológico, añade. “El estudio desvela que los agentes adolecen de los mismos fallos de coordinación que los humanos cuando trabajan juntos”, reflexiona Devinarayanan. “Los agentes se basan en el razonamiento humano. Heredan los modos de fallo organizativo humanos cuando el diseño organizativo es débil”.

Los proveedores o defensores de la IA que abogan por docenas de agentes trabajando juntos sin intervención humana están promoviendo una visión errónea, añade. “El modelo mental adecuado es una plantilla híbrida: trabajadores digitales con funciones claras, trabajadores humanos encargados de la supervisión y la toma de decisiones, y una capa de coordinación que conecte a ambos”, concluye.