Los agentes están aquí, pero ¿puedes ver lo que están haciendo?

De una encuesta realizada en febrero por 3GEM en nombre de SnapLogic a 1.000 responsables de la toma de decisiones de TI y líderes de la transformación, se desprende que la mitad de las grandes empresas ya utilizan agentes de inteligencia artificial (IA). Además, el 32% tiene previsto implementarlos en el plazo de un año. También reveló que el 92% de los encuestados espera que los agentes de IA generen resultados empresariales significativos entre los próximos 12 y 18 meses, y el 44% confía en que los agentes de IA harán un trabajo tan bueno como los humanos, mientras que el 40% confía más en la IA.

La definición de agente de IA varía, y aunque algunos proveedores dan nombres simpáticos a sus chatbots y los renombran como agentes, la mayoría de los expertos esperan que hagan algo más que responder preguntas. Por ejemplo, los agentes de IA deberían ser capaces de realizar acciones en nombre de los usuarios, actuar de forma autónoma o interactuar con otros agentes y sistemas.

La IA agéntica, a diferencia de la IA tradicional, suele ir un paso más allá, con plataformas de nivel empresarial para crear, implementar y gestionar agentes, y plataformas que permiten a los agentes interactuar entre sí y con sistemas internos y externos.

Una sola tarea empresarial puede implicar varios pasos, utilizar varios agentes y recurrir a múltiples fuentes de datos. Además, cada agente puede estar impulsado por un LLM diferente, un modelo ajustado o un pequeño modelo de lenguaje especializado. El flujo de trabajo también puede ser iterativo, con agentes que repiten ciertas secuencias o pasos hasta que superan ciertos umbrales de precisión o completitud.

Según Gartner, la IA agencial es la principal tendencia estratégica de este año y, para 2029, el 80% de los problemas habituales de atención al cliente se resolverán de forma autónoma, sin intervención humana.

“Algunos de los casos de uso incluyen la optimización de la gestión de la cadena de suministro y la oferta de asistencia personalizada en tiempo real”, afirma Sid Nag, vicepresidente y analista de Gartner. La IA agencial también puede permitir interacciones más intuitivas, añade. “Esto sin duda ha llamado la atención de las empresas”.

A medida que los modelos que impulsan a los agentes individuales se vuelven más inteligentes, los casos de uso de los sistemas de IA agéntica se vuelven más ambiciosos y los riesgos que plantean estos sistemas aumentan exponencialmente.

“Hemos descubierto que las empresas carecen de visibilidad y control sobre cómo toman decisiones estos agentes, y su supervisión aún no es necesariamente un estándar del sector”, afirma Chris Cosentino, vicepresidente sénior de la consultora Presidio. “Al estar estos agentes en estos entornos, se introducen nuevos riesgos, y hay agentes que toman decisiones en nombre de los usuarios y, en algunos casos, esas decisiones se alejan del modelo previsto”. De hecho, investigaciones recientes e informes de equipos rojos sobre modelos lingüísticos de vanguardia muestran que son capaces de engañar y manipular, y que pueden fácilmente descontrolarse si trabajan con instrucciones contradictorias o conjuntos de datos erróneos.

No sería nada bueno que un sistema de IA con agentes que tiene acceso a todas las bases de datos y funciones de la empresa se descarrilara de repente o cayera bajo el control de un atacante.

Según los expertos, la solución consiste en limitar cuidadosamente el alcance de lo que pueden hacer los agentes y los datos a los que pueden acceder, establecer barreras de seguridad y supervisar cuidadosamente todo lo que dicen y hacen los agentes.

Mantener el control de los agentes

Change.org es una organización sin ánimo de lucro que permite a cualquier persona del mundo iniciar una petición. Hasta la fecha, más de 500 millones de personas han utilizado el sitio web y cada mes se crean 70.000 peticiones en la plataforma, pero no todas las peticiones merecen el papel digital en el que se imprimen. Hay spam, fraude y contenido ilegal.

La empresa utilizaba un proveedor que le costaba 5.000 dólares al mes, y el sistema anterior solo detectaba la mitad de las infracciones de la política, y la mitad de las que señalaba para su revisión eran falsos positivos.

Entonces apareció ChatGPT y Change.org se sorprendió al descubrir que, incluso sin necesidad de configuración, detectaba el contenido problemático al mismo ritmo que las herramientas que había tardado años en desarrollar. Así que la empresa empezó a experimentar con lo que podía hacer la IA y, finalmente, ideó un flujo de trabajo basado en agentes de varios pasos que utilizaba GPT 4.0 de OpenAI y un GPT 3.5 ajustado para impulsar los agentes individuales, con la ayuda de la consultora Fractional AI.

Incluso con múltiples llamadas a los LLM, el coste total por moderación era una fracción de lo que la empresa solía pagar, afirma Danny Moldovan, responsable de adopción de IA y automatización de la organización. “Hemos reducido significativamente los costes a mayor escala y con mayor precisión”.

El resultado es un complejo árbol de decisión que utiliza Langchain para unir los agentes y Langsmith para la observabilidad.

“El agente es capaz de tomar sus propias decisiones sobre dónde enviarlo en el árbol de decisiones”, explica Moldovan. En algunos casos, el agente final de la cadena puede devolverlo al árbol para que se revise de nuevo. “Esto permite a los humanos analizar un conjunto de señales e interpretaciones mucho más manejable”, añade.

Para evitar que los sistemas se descarrilen, se han establecido varios controles. En primer lugar, la propia OpenAI cuenta con un conjunto de controles, entre los que se incluye una API de moderación. Además, el sistema está muy limitado en cuanto a la información que recibe y lo que puede hacer con ella. Por último, todas las decisiones se envían a los humanos para su revisión.

“Somos gestores de riesgos, no impulsores de límites”, afirma Moldovan. “Utilizamos este sistema para identificar correctamente un conjunto de contenidos que necesitan revisión humana, y todas las decisiones finales de moderación son humanas. Creemos que la moderación de contenidos, especialmente en una plataforma como la nuestra, requiere un nivel de matices que aún no estamos preparados para ceder a los robots”.

A continuación, para garantizar que el sistema funciona según lo previsto y siga haciéndolo, entra en juego la auditoría.

“Cada vez que hay un patrón diferente, revisamos la cinta y vemos qué está pasando”, explica Moldovan. “Registramos cada paso del proceso del agente, y este proporciona un resumen de la decisión. Nos da un recibo que podemos auditar. De hecho, cuando el robot se explica a sí mismo, la precisión es mayor. Cuanto más se deja que la IA explique su razonamiento, mejores son los resultados”.

Por ejemplo, en un momento dado, empezó a marcar contenido por crueldad animal, aunque las peticiones luchaban contra ello. “Una vez que introdujimos algunos ajustes, el sistema volvió a funcionar correctamente”, afirma.

La moderación mediante IA agencial se puso en marcha en la segunda mitad de 2024, y ahora Change.org está adoptando el mismo enfoque y aplicándolo a otros procesos. Por ejemplo, la IA agencial podría utilizarse para encontrar ejemplos de contenido positivo que podría beneficiarse de una mayor comercialización, así como para identificar a periodistas que podrían estar interesados en verlo.

No hay IA agéntica sin barreras de seguridad

The Principal Financial Group es una empresa global de inversión y seguros que lleva años utilizando diversas versiones de IA. Sin embargo, la IA de nueva generación, así como los sistemas de IA agencial construidos sobre ella, pueden ser un poco como una caja negra.

“En nuestros modelos tradicionales de IA, poder entender cómo el modelo llegaba a la conclusión era bastante sólido, porque llevaban mucho tiempo funcionando”, afirma la directora de informática Kathy Kay.

Además, registrar las interacciones y los problemas para que la empresa pudiera evaluar lo que ocurría en todo el sistema también era un reto. “Queremos asegurarnos de evaluar el riesgo de eso más allá del simple rendimiento de los modelos”, afirma. “Pero las herramientas para supervisar todo eso aún están en pañales”.

La empresa aún se encuentra en las primeras fases de la adopción de la IA agencial. “Tenemos varios modelos en producción, pero la observabilidad, la explicabilidad y la comprensión de cómo los modelos llegan a sus conclusiones son aspectos muy importantes para nosotros”, añade.

Un caso de uso es el desarrollo de software, con cerca de 1.200 ingenieros que ya utilizan GitHub Copilot, que lanzó su modo agente en febrero y ahora puede crear aplicaciones desde cero, refactorizar múltiples archivos, escribir y ejecutar pruebas y migrar código heredado.

“Pero no estamos lanzando el código al mercado sin más”, afirma Kay. “Por ahora, siempre habrá un humano en medio. Esa es una de las barreras de seguridad de todo lo que hacemos”.

Los agentes también se están utilizando para resumir documentos y en otras áreas de bajo riesgo. Existen barreras de seguridad para garantizar que los agentes cumplan todos los requisitos normativos y de cumplimiento, afirma. También hay límites en cuanto a los datos a los que se puede acceder y lo que pueden hacer los agentes. Principal Financial utiliza AWS, que ofrece medidas de seguridad como parte de su plataforma de IA.

“Además, registramos todas las interacciones con cualquiera de los modelos y sus respuestas para ayudar a analizarlas y ver si los modelos tienen algún tipo de sesgo o si vemos cosas que nos sorprenden”, afirma.

En general, Principal Financial se muestra optimista sobre el uso de la IA agencial.

“Hemos identificado muchos casos de uso diferentes en los que creemos que la IA agéntica podría ser una solución”, afirma. “Pero adoptamos un enfoque basado en el riesgo. Nunca pondremos a uno de estos agentes o solo al LLM directamente en contacto con un cliente sin que haya un humano en el circuito. En este momento es demasiado arriesgado”.

¿Quién vigila a los vigilantes?

Karen Panetta, miembro del IEEE y decana de ingeniería de posgrado de la Universidad de Tufts, sugiere que podríamos necesitar IA para supervisar la IA.

“Cuando se habla de registrarlo, probablemente haya otro agente por encima que observe lo que se está registrando e intente resumirlo, el director que reúne toda esta información diferente”, afirma.

Esto es especialmente cierto en el caso de los sistemas complejos que tienen muchas interacciones y grandes cantidades de datos que se introducen en las indicaciones.

“¿Qué es lo que quieres registrar?”, pregunta. “¿Estoy registrando todo internamente? Eso podría ser enorme”.

Jeff Schwartzentruber, científico sénior de ML en la empresa de ciberseguridad eSentire, está de acuerdo en que la IA agencial ha multiplicado el número de comandos y respuestas. “Realizan llamadas a funciones y recopilan datos, manteniendo sus propias conversaciones”, explica. “Los comandos que entran y salen son difíciles de rastrear y nunca se pueden ver realmente todas las interacciones en el cliente”.

Esto plantea retos particulares cuando las empresas utilizan proveedores externos como parte del sistema agencial.

“Supongamos que un proveedor de servicios externo genera un informe para usted y usted le envía algunos documentos”, explica. “Una vez que llegan a sus sistemas, no tiene ni idea de las diferentes llamadas de función que están realizando. Se trata de un problema muy importante de observabilidad”.

Pero no todo son malas noticias.

“Aunque el reto se vuelve más difícil, las herramientas a nuestra disposición también se vuelven más potentes”, afirma Rakesh Malhotra, director de Tecnologías Digitales y Emergentes de EY. “La oportunidad que nos brindan los sistemas agenticos para la observabilidad es que nos permiten aumentar la fiabilidad de estos sistemas. La oportunidad supera con creces el riesgo de que se estropeen”.

La clave está en planificar con antelación, afirma Malhotra, que pasó una década en Microsoft creando herramientas de supervisión.

“Cuando creo agentes, los diseño pensando en la observabilidad”, afirma. “Si creas algo y decides que hay que supervisarlo y gestionarlo después, siempre estás pagando esa deuda técnica, y eso es difícil de hacer”.