¿Quién debería gestionar los agentes de IA?

A medida que los agentes de IA se expanden y pasan de la fase piloto a la producción, urge centrar la atención más allá de las plataformas de creación de agentes de IA y dirigirla hacia las plataformas de orquestación y gobernanza de IA. Con una mayor autonomía por parte de estas herramientas, ahora surgen muchas preguntas sobre qué grupos dentro de la empresa, como las áreas de TI y RR. HH., deberían gestionar los agentes y cómo deberían tratarlos.

Los agentes de IA se están integrando cada vez más en los procesos empresariales y existe un debate creciente sobre si pueden empezar a socavar el modelo SaaS, que lleva mucho tiempo en funcionamiento. Las organizaciones están pasando de proyectos piloto independientes de agentes individuales a implementaciones multiagente en el mundo real, implementando cientos o incluso miles de agentes de IA dentro de sus procesos empresariales.

Según la última encuesta trimestral de KPMG sobre IA, la mayoría de las organizaciones han superado la fase de experimentación con agentes de IA, y el 33% de ellas ha implementado al menos algunos agentes, lo que supone triplicar la cifra tras dos trimestres consecutivos con un 11%. Todo ello plantea preguntas sobre cómo supervisarlos como software, pero también como empleados similares a los humanos que trabajan de forma autónoma para alcanzar los objetivos asignados.

Por ejemplo, desde el punto de vista de los recursos humanos, ¿es apropiado considerar a los agentes como trabajadores similares a los humanos y debería ser el departamento de recursos humanos, y no el de TI, el que finalmente los gestione, contrate y despida? ¿Cómo gestionarán los agentes la superposición de funciones y responsabilidades y, si se les evalúa y se les remunera en función de su rendimiento y sus resultados, cómo se atribuirán el mérito? ¿Serán desarrollados mediante ingeniería rápida por parte de los proveedores para atribuirse más mérito del que merecen? ¿Y qué hay de las consecuencias no deseadas si los agentes se rebelan, como el reciente ejemplo de un agente que borró toda la base de datos de una empresa?

Desde el punto de vista de TI, ¿cómo evolucionará la orquestación desde la coordinación de pasos simples a complejos y, en última instancia, a la orquestación autónoma, formando sus propias asociaciones y alianzas externas? Muchos proveedores, como Microsoft, ya están dando grandes pasos al admitir múltiples patrones de orquestación de IA. También existe un índice de confianza anual para la IA y ahora calificaciones para empresas de IA específicas, pero ¿se necesita también una puntuación de confianza o de riesgo para cada agente individual? ¿Cómo se considera que un agente está cualificado para una tarea y cuándo necesitamos o no la intervención de un humano?

Para los CIO y CAIO que buscan abordar estas y muchas otras preguntas, no solo para mantenerse al día, sino para adelantarse a la forma de gestionar los agentes de IA, aquí hay cuatro recomendaciones.

Explorar la convergencia de las plataformas de orquestación y gobernanza de la IA

Las soluciones actuales para gestionar los agentes de IA residen tanto en plataformas nativas de IA como en plataformas tradicionales. Las plataformas de orquestación y gobernanza de la IA se están uniendo cada vez más a medida que las organizaciones buscan cómo gestionarla técnicamente, así como ética, legal y operativamente.

AI Control Tower de ServiceNow, por ejemplo, ayuda a las organizaciones a gestionar cualquier IA de principio a fin y proporciona acceso basado en roles para el CAIO, el CIO, el CTO y los responsables de riesgos y seguridad. Se trata de un paso útil para reunir a todas las partes interesadas relevantes de toda la empresa y proporcionar a cada rol sus propios informes y paneles de control para ofrecer información sobre el comportamiento de los agentes.

Dada la rápida evolución del campo de la orquestación y la gobernanza, es importante que los CIO y los CAIO presten mucha atención y exploren continuamente las plataformas, cómo están convergiendo y qué tiene sentido para su organización.

Ampliar el alcance del centro de excelencia de IA

Si ya cuenta con un centro de excelencia de IA centrado en la IA tradicional, el aprendizaje automático y la IA generativa, hay que ampliar su alcance para incluir la IA agentiva, si aún no lo ha hecho.

Además, si cuenta con una organización interna de servicios empresariales globales, este podría ser el lugar ideal para albergar su centro de excelencia, ya que los primeros suelen dar soporte tanto a RR. HH. como a TI, así como a otras funciones como finanzas, cadena de suministro y otras.

El enfoque debe centrarse en la coordinación tanto de los seres humanos como de la IA. Según Ian Barkin, codirector ejecutivo y cofundador de la consultora multiagente magentIQ, el antídoto no es más IA, sino la coordinación. “La IA por sí sola carece del criterio, el contexto y la conciencia de gobernanza necesarios para funcionar de forma segura a escala empresarial”, afirma. “La supervisión humana no es opcional, es esencial, por lo que el futuro del trabajo no será solo IA, sino un híbrido de IA y personas en el que la IA y los agentes humanos colaborarán de forma dinámica, con líneas claras de responsabilidad y escalamiento”.

Incorporar los recursos humanos en todos los aspectos de la gestión de la fuerza laboral de agentes

La encuesta Pulse de KPMG afirma que casi nueve de cada diez líderes piensan que los agentes obligarán a las organizaciones a redefinir los parámetros de rendimiento y les impulsarán a mejorar las habilidades de los empleados que actualmente ocupan puestos que pueden quedar desplazados.

“Si gestionas los agentes de IA como gestionas el desarrollo de software, ya vas con retraso”, afirma Kathleen Walch, directora de compromiso y comunidad de IA en PMI. “Los líderes con visión de futuro tratan a los agentes de IA como talento digital dinámico, lo que significa que necesitarán incorporación, evaluaciones de rendimiento y límites éticos y de confianza. RR. HH. debe participar en la definición de las funciones y responsabilidades digitales, y los centros de excelencia deben guiar la implementación, el uso y la experimentación de los agentes. También es necesario establecer una gobernanza de la IA para capacitar a los equipos para que experimenten, aprendan de otros y amplíen la implementación de agentes de IA de forma responsable y estratégica”.

Los agentes requerirán una redefinición de las métricas de rendimiento de los empleados, pero a medida que los seres humanos y los agentes de IA trabajen de forma más colaborativa, también será necesario redefinir el rendimiento de los agentes de IA. En última instancia, los agentes pueden trabajar para la empresa y el departamento de TI para tareas relacionadas con la tecnología, al igual que los trabajadores humanos. También serán gestionados por el departamento de TI desde el punto de vista de la plataforma y la infraestructura, y por RR. HH. desde el punto de vista de las personas y los procesos.

Si aún no lo están haciendo, los líderes de TI deberían conectar al área de RR. HH. con todos los aspectos de la coordinación y la gobernanza de sus agentes de IA, incluyendo su estrategia, centro de excelencia y consejos.

Hacer de la gobernanza una carrera hacia la cima, no hacia el fondo

Los posibles problemas relacionados con la falta de gobernanza de la IA son evidentes. “Si no se gestionan, los agentes de IA crearán caos para los equipos de TI, seguridad de la información y seguridad de datos, exponiendo a las empresas a riesgos reputacionales, financieros y legales”, afirma Barkin. “Cada implementación no autorizada de un agente se convierte en una posible infracción de la política, y cada interacción no gobernada supone un riesgo de que la IA se comporte de forma impredecible, desalineada con la ética corporativa o las expectativas normativas. No se trata de una amenaza lejana, sino de un campo minado operativo que ya se está materializando en las empresas que impulsan la IA sin estrategias de gobernanza de la IA”.

Tampoco debería tratarse simplemente de una cuestión de cumplimiento. Las organizaciones deben ir más allá del cumplimiento de las normativas, como la Ley de IA de la UE, y tratar de ayudar a avanzar en el sector, no solo marcar una casilla. “El éxito no se medirá por el número de agentes que se implementen, sino por la seguridad y la eficacia con la que obtengan resultados, con el cumplimiento y el control integrados en el diseño”, añade Barkin.

La responsabilidad de la gobernanza y la seguridad de la IA, tanto ahora como en los próximos años, recae tanto en los proveedores de IA como en las empresas y los usuarios finales. Según Marcus Murph, director de consultoría tecnológica de KPMG en Estados Unidos, en estos momentos se están sentando las bases de las empresas impulsadas por agentes, y si los líderes sienten que se están quedando atrás, es porque así es. “El verdadero riesgo no es ir demasiado rápido, sino confundir la experimentación con la transformación. Los ganadores no serán los que tengan más proyectos piloto, sino los que inviertan ahora en arquitecturas de datos escalables, modelos de gobernanza de agentes y preparación de la plantilla. Porque una vez que los agentes estén en todas partes, será demasiado tarde para recuperar la confianza, la estructura o la estrategia”.

Dedicar ahora tiempo extra a la orquestación y la gobernanza de la IA y pensar en cómo los agentes de IA afectarán a sus plataformas tecnológicas, sus centros de excelencia y su enfoque de la gobernanza, permitirá a su organización escalar más rápidamente y avanzar en su madurez en materia de IA en los próximos meses y años.