Por qué el CIO no puede ignorar la gobernanza de la IA

Los CIO que se apresuran a desplegar agentes de IA sin visibilidad real sobre sus procesos de toma de decisiones están coqueteando con el desastre. Según expertos en IA consultados, desplegar agentes sin procesos y herramientas de observabilidad crea una bomba de relojería con un potencial de consecuencias negativas muy graves.

Muchas empresas están desplegando agentes de IA y esperan que aumenten la productividad con poca intervención humana, observa T.J. Marlin, CEO de la firma de seguridad de IA Guardrail Technologies. Ese es un enfoque equivocado, afirma. En su lugar, los equipos de TI necesitan vigilar de cerca a los agentes y ajustar políticas y prácticas a lo largo de todo el proceso agentivo. “No se trata solo de configurarlo y olvidarse”, dice. “Las organizaciones que hacen eso van a salir en las noticias porque les habrá ocurrido algo terrible”.

Muchas organizaciones están desplegando agentes rápidamente por miedo a quedarse atrás, sin entender los matices de la tecnología, señala Marlin. Algunos responsables de TI parecen comparar los agentes con la automatización robótica de procesos (RPA), cuando los resultados de RPA son mucho más deterministas, añade.

“Hay escasez de talento y de conocimiento y las personas están construyendo a gran velocidad sin comprobar si es correcto y si funciona como se espera”, afirma. “Todos esos son rasgos característicos de los peores desastres que he visto a lo largo de mi carrera”.

Un informe reciente del proveedor de gobernanza de agentes TrueFoundry pone cifras a los temores sobre agentes sin regulación. Una encuesta a más de 200 responsables de IA empresarial concluyó que el 54% de las organizaciones representadas no puede rastrear completamente lo que hacen sus agentes y el 56% no tiene un control centralizado de agentes ni una capa de gobernanza.

Aunque TrueFoundry tiene interés en impulsar la gobernanza de agentes, muchos otros expertos en IA ven los mismos problemas.

Gobernar a ciegas

Las dificultades con la gobernanza y la observabilidad son grandes obstáculos para el despliegue de agentes productivos, y muchas organizaciones están desplegando agentes sin crear una lista centralizada de los mismos, afirma Mahesh Kumar Goyal, experto sénior en datos e IA en Google. “La mayoría de las empresas no tienen ningún inventario de los agentes que ya están en producción: intentan gobernar lo que no pueden ver”, recalca.

Además, las herramientas tradicionales de seguridad SIEM y EDR se diseñaron para detectar anomalías humanas, no agentes descontrolados, apunta. “Un agente ejecutando código perfectamente 10.000 veces seguidas parece normal incluso si ha sido comprometido”, dice. Ejecutar agentes totalmente autónomos no es una buena idea, añade, y las organizaciones deben pensar en permisos de herramientas con privilegios mínimos, capas de aplicación de políticas que intermedien cada prompt y llamada a herramientas, y trazabilidad de extremo a extremo que una prompts, llamadas a herramientas y acciones posteriores en un único rastro auditable.

“El sistema financiero no funciona sobre la base de la confianza; funciona sobre la auditabilidad, la conciliación y los mecanismos de corte”, afirma Goyal. “Los agentes madurarán de la misma forma. La autonomía por niveles es la respuesta realista: libertad total en tareas de bajo riesgo, intervención humana en las que tienen consecuencias”.

Parte del problema es que los agentes han trastocado los modelos utilizados para determinar si el software tradicional funcionaba correctamente, añade Adel El Hallak, vicepresidente de software de IA en Nvidia. Con el software tradicional, los profesionales de QA y seguridad podían revisar el código para depurar problemas, pero los agentes toman decisiones en el entorno de ejecución de un modelo de IA.

La fuente de verdad para los agentes reside en las trazas, los registros del flujo de ejecución, no en el código, añade. Recopilar trazas —en esencia, registros detallados— es un punto de partida hacia la gobernanza de agentes, pero las organizaciones necesitan poder actuar sobre esa información, dice. “Para confiar en algo, tiene que ser transparente, y la observabilidad es fundamental para la transparencia”, añade El Hallak. “Pero observar no es suficiente. Necesitamos ser capaces de tomar esas señales y convertirlas en algo accionable”.

La gobernanza de agentes va más allá de la observabilidad y permite a las organizaciones probar y ajustar de forma continua los agentes, señala. Las herramientas existen, con empresas como Nvidia desarrollando sus propios marcos internos de gobernanza y varios otros proveedores ofreciendo herramientas de observabilidad y gobernanza de agentes. “No basta con disponer de los datos de comportamiento, con capturar los datos de retroalimentación”, dice. “El sistema debería permitirme anotar, cambiar, ampliar o crear datos de retroalimentación adicionales, y luego puedo utilizar esos datos para mejorar mi agente en su conjunto”.

El cuello de botella de la gobernanza

Al mismo tiempo, muchas empresas que avanzan hacia la gobernanza de agentes han descubierto que puede convertirse en un gran cuello de botella si se hace mal, afirma Nirmal Ganesh, director sénior de gestión de producto para automatización de flujos de trabajo con agentes en el proveedor de almacenamiento en la nube Box. “No creo que hayamos superado todavía la parte difícil en el despliegue de agentes en la empresa”, dice. “La mayoría de las compañías aún no son buenas en esto, y muchas menos han conseguido hacerlo a escala con gobernanza y observabilidad de agentes”.

Ganesh identifica varios problemas, incluidos agentes que operan sin modelos claros de permisos. “Si un agente puede ver más que una persona o acceder a más de lo que permiten los permisos de un usuario sobre contenidos o datos, eso es un incidente esperando a ocurrir”, afirma.

Sin embargo, algunos modelos iniciales de gobernanza de agentes no escalan. Algunos equipos de TI han optado por que los humanos deban aprobar cada salida del agente porque es la opción más segura, indica. “En realidad, esto supone reconstruir procesos manuales con más puntos de control o de recomendación”, dice Ganesh. “A gran escala, la gobernanza se convierte en tu cuello de botella para escalar y deja de ser tu red de seguridad”.

Las organizaciones necesitan procesos de observabilidad y gobernanza que sean a la vez escalables y completos, añade. El retorno de la inversión de los agentes procederá de controles sólidos, modelos de permisos claros y una participación humana bien definida, afirma. “Toda automatización madura necesita observabilidad continua: los flujos de trabajo cambian, las políticas cambian, las decisiones cambian, aparecen nuevos casos de uso”, agrega. “La intervención humana siempre será necesaria para lo que cambia con el tiempo, pero necesitamos menos intervención en los caminos conocidos y más foco en la gestión de excepciones y el ajuste fino de la gobernanza”.

Observar el resultado no es suficiente

La gobernanza no puede centrarse únicamente en el resultado del agente, añade Marcelo Lorenzetti, fundador y CAIO del proveedor de IA para servicios legales SavvyLex. “El mayor reto no es simplemente si un agente produce una buena respuesta”, afirma. “Es si la organización puede demostrar a qué accedió el agente, qué instrucciones siguió, qué herramientas invocó, qué decisiones tomó, dónde intervino un humano y si se mantuvo dentro de los límites autorizados”.

Sin un nivel completo de visibilidad en tiempo de ejecución, las empresas se quedan con capturas de pantalla, registros y explicaciones a posteriori que pueden no cumplir los requisitos legales, de cumplimiento o de seguridad, afirma.

Los agentes deberían verificarse de forma continua en lugar de confiar plenamente en ellos, añade, con la gobernanza incorporada en la propia arquitectura del agente. Recomienda incluir acceso basado en roles, ejecución sujeta a políticas, umbrales de aprobación humana, procedencia de fuentes y herramientas, registros de actividad inmutables, puntuación de confianza, gestión de excepciones y rutas claras de escalado cuando un agente alcanza el límite de su autoridad.

“La observabilidad no debería limitarse a si el modelo respondió”, afirma Lorenzetti. “Debería mostrar todo el recorrido de la decisión desde la entrada hasta la acción”. Los agentes de IA han cambiado el modelo de gobernanza necesario, añade.

“El problema fundamental es que muchas empresas están pasando de una IA que responde preguntas a una IA que actúa, pero sus modelos de gobernanza siguen diseñados para herramientas pasivas, no para flujos de trabajo autónomos”, concluye.