7 razones por las que la analítica y el aprendizaje automático no cumplen los objetivos empresariales

El informe State of the CIO 2024 de Foundry señala que el 80% de los CIO se encargan de investigar y evaluar posibles adiciones de inteligencia artificial (IA) a su pila tecnológica, y el 74% trabaja más estrechamente con sus líderes empresariales en aplicaciones de IA. A pesar de enfrentarse a la demanda de aportar valor empresarial a partir de los datos, el aprendizaje automático (ML, por sus siglas en inglés) y las inversiones en IA, sólo el 54% de los CIO informan de aumentos en el presupuesto de TI. Las inversiones en IA fueron sólo el tercer factor impulsor, mientras que las mejoras de seguridad y el aumento de los costes de la tecnología ocuparon los primeros puestos.

Los CIO y los equipos de TI y ciencia de datos deben tener cuidado de que el entusiasmo de la IA no conduzca a una exuberancia irracional. Un estudio reciente muestra que las métricas de éxito más importantes para los proyectos analíticos incluyen el retorno de la inversión, el crecimiento de los ingresos y la mejora de la eficiencia, pero sólo el 32% de los encuestados despliega con éxito más del 60% de sus modelos de aprendizaje automático. El informe también indica que más del 50% no mide con regularidad el rendimiento de los proyectos analíticos, lo que sugiere que aún más proyectos analíticos pueden fracasar a la hora de aportar valor empresarial.

Las organizaciones no deberían esperar altas tasas de despliegue a nivel de modelo, ya que se requiere experimentación e iteración para traducir los objetivos de negocio en modelos precisos, cuadros de mando útiles y flujos de trabajo basados en IA que mejoren la productividad. Sin embargo, las organizaciones que no consiguen aportar valor empresarial a su cartera de inversiones en ciencia de datos pueden reducir el gasto, buscar métodos de implementación alternativos o quedarse rezagadas con respecto a sus competidores.

Aunque hay muchas razones técnicas y relacionadas con los datos por las que los esfuerzos analíticos fracasan o rinden por debajo de lo esperado, dos libros publicados recientemente sugieren que los problemas están más relacionados con la organización y los procesos. En Winning with Data Science, los autores Friedman y Swaminathan sugieren que los líderes empresariales deben colaborar directamente con los equipos de ciencia de datos y comprender el ciclo de vida de desarrollo del aprendizaje automático. En The AI Playbook, el autor Siegel sugiere que el despliegue del aprendizaje automático es un “arte poco común” y que los equipos de ciencia de datos deben iniciar sus esfuerzos estableciendo objetivos de despliegue y predicción.

He investigado los problemas organizativos y de procesos que conducen a un rendimiento insuficiente. Aquí sugiero lo que los equipos de ciencia de datos pueden mejorar sin olvidar que el despliegue no es el objetivo final. Para impulsar el retorno de la inversión, el crecimiento y la eficiencia, los equipos de ciencia de datos deben ir más allá del despliegue de modelos y asegurarse de que los equipos empresariales utilizan las capacidades analíticas que se les proporcionan.

Por qué fracasan muchos esfuerzos de analítica y ML

Analizaremos las siguientes razones por las que los esfuerzos de análisis de datos y aprendizaje automático pueden no aportar el valor empresarial previsto, y cómo pueden mejorar los equipos:

• La analítica no está conectada a los flujos de trabajo de los usuarios finales
• Colaboración inadecuada entre los científicos de datos y los desarrolladores
• Atención insuficiente a la gestión del cambio
• No se aprende de los experimentos
• Analítica sin automatización ni integración
• Pruebas de concepto sin resultados de producción
• Falta de liderazgo y talento

La analítica no está conectada a los flujos de trabajo de los usuarios finales

Un problema clave que escucho de los líderes de la ciencia de datos es que los equipos deben entender mejor cómo sus modelos y análisis se conectan a los flujos de trabajo del usuario final. Es más difícil conseguir la adopción del usuario final cuando un modelo predictivo no está integrado o automatizado en el sistema de registro donde las personas toman decisiones.

“Al diseñar y desarrollar soluciones de IA, hay que empezar por la experiencia del usuario y saber cómo una recomendación, predicción o automatización tendrá un impacto en el negocio”, afirma Soumendra Mohanty, director de estrategia de Tredence. “En el espacio de la analítica y la ciencia de datos, es importante entrevistar a los usuarios finales y aprender cuál es el problema en lugar de lanzarles un montón de cuadros de mando desconectados de sus sistemas de negocio”.

Solución: Incluso cuando los equipos de ciencia de datos sólo son responsables de los modelos, el proceso de desarrollo de modelos debe comenzar con una declaración de visión definida para aportar valor y cómo integrar las soluciones analíticas en el proceso empresarial existente o, en algunos casos, interrumpirlo.

Colaboración inadecuada entre los científicos de datos y los desarrolladores

Para lograr un flujo de trabajo de producción adoptado por el usuario final, los pasos posteriores a la implantación del modelo requieren la colaboración entre los científicos de datos y los desarrolladores de software para realizar integraciones, modificaciones de la aplicación y cambios en el flujo de trabajo.

“Un problema común de liderazgo en la productización de los esfuerzos de IA o ML es no tener un marco adecuado o una cadencia de interacción entre los científicos de datos y los desarrolladores de software“, dice Rita Priori, CTO de Thirona. “Cuando los modelos son lo suficientemente maduros como para ser productizados, los equipos de ciencia de datos y desarrollo de software deben reunirse temprano para alinearse en los próximos pasos y asegurarse de que los desarrolladores sean conscientes de cómo este trabajo entra en su dominio”.

Una cuestión clave es cuándo incorporar a los equipos de software para que comprendan el modelo e identifiquen los cambios necesarios en el sistema. “Incorporar a los equipos de software demasiado pronto en la fase experimental es poco práctico, y llevar las ideas demasiado lejos sin la aportación del equipo receptor puede ser ineficaz”, afirma Priori. “Comunicar expectativas claras sobre cuándo los científicos de datos y los desarrolladores deben realizar la transición del modelo es fundamental para ofrecer valor a través de los esfuerzos de productización”.

Solución: Un enfoque es crear equipos de ciencia de datos flexibles y ágiles que traigan diferentes conjuntos de habilidades durante el ciclo de vida de análisis. En el periodo inicial de planificación, estos equipos pueden incluir especialistas en Six Sigma y UX para revisar los flujos de trabajo existentes y contemplar cambios en los mismos. A medida que los modelos comienzan a mostrar resultados prometedores, el equipo puede intercambiar desarrolladores de software para planificar la implementación, incluidos los cambios en las aplicaciones y las integraciones.

Atención insuficiente a la gestión del cambio

La gestión del cambio es otra responsabilidad de los equipos multidisciplinares de ciencia de datos y desarrollo. Esperar que los usuarios finales acepten y adopten las mejoras del flujo de trabajo basadas en el aprendizaje automático sin un proceso de gestión de cambios es un error, especialmente cuando los modelos de aprendizaje automático cambian las capacidades de toma de decisiones o se suministran con automatizaciones del flujo de trabajo.

Lux Narayan, CEO y cofundador de StreamAlive, afirma que la falta de alineación entre los equipos tecnológicos y empresariales y la ausencia de compromiso por parte de los empleados desde el principio de una iniciativa crean una barrera para la adopción. “Los empleados y los equipos deben estar totalmente alineados sobre por qué los esfuerzos de innovación son importantes para que puedan entender cómo lograr sus objetivos. Los líderes de los equipos y los jefes de la organización deben garantizar una comunicación ágil, proporcionar la tecnología para la comunicación sincrónica y asincrónica, y garantizar la alineación regular entre los equipos de negocios, los equipos de TI y los líderes de análisis que realmente están profundizando en las implementaciones”.

Solución: Las mejores prácticas comienzan incluyendo a las partes interesadas y a los usuarios finales seleccionados en la redacción de la declaración de visión, revisando qué predicciones son importantes, compartiendo sus impactos en el flujo de trabajo y definiendo los criterios de éxito. Durante el proceso de ciencia de datos y desarrollo, invite a las principales partes interesadas y a los usuarios finales a las sesiones de planificación de sprints para que contribuyan a los requisitos y a las revisiones de sprints para analizar el progreso en curso.

No aprender de los experimentos

Aunque los científicos de datos comprenden la naturaleza experimental e iterativa de su trabajo, es posible que no reconozcan que la incorporación de modelos en las experiencias de los usuarios y la mejora de los flujos de trabajo también deben mejorarse a través de iteraciones de lanzamientos y captura de comentarios. Incluso cuando el equipo colectivo despliega una experiencia mínimamente viable, deben entrevistar a los usuarios finales y a las partes interesadas y aprender qué cambios y mejoras son necesarios.

“Las implementaciones de IA pueden convertirse en el gran acelerador de experiencias de usuario positivas o en la molesta característica forzada en una aplicación y sobre los usuarios”, dice Cody De Arkland, director senior de incubación de productos en LaunchDarkly. “Los líderes de producto tienen que asegurarse de que la funcionalidad de IA se implementa para alinearse con el flujo de trabajo deseado de sus usuarios finales como una experiencia aditiva’ en lugar de un detractor. El empleo de experimentos para garantizar el sentimiento positivo del usuario le ayuda a enviar las capacidades de IA rápidamente sin arriesgarse a perder clientes porque forzó una mala experiencia sin datos”.

Solución: Los equipos de ciencia de datos deben considerar algunas técnicas para resolver este problema, incluida la implementación de pruebas A/B para medir el impacto en el usuario de diferentes implementaciones y encuestar cualitativamente a los usuarios finales. Los desarrolladores y los científicos de datos también deben asegurarse de que las aplicaciones y los flujos de trabajo sean observables para capturar y revisar problemas de rendimiento, defectos de software, problemas con los modelos de aprendizaje automático o problemas de usabilidad.

Proporcionar analítica sin automatización ni integración

Poner más datos, predicciones, cuadros de mando e informes en manos de los usuarios finales puede ser valioso, pero tiene un coste potencial en productividad. Los equipos de ciencia de datos pueden crear más trabajo para los empleados cuando las herramientas de informes desplegadas están desconectadas de las plataformas utilizadas para los flujos de trabajo y la toma de decisiones. Una segunda preocupación es cuando los análisis ofrecen nuevas perspectivas, pero se necesita un trabajo manual significativo para tomar medidas al respecto. La automatización y la integración deben ser prioridades del programa de entrega de analítica.

“Las analíticas están pensadas para ser consumidas por humanos, y son la parte que no es escalable”, afirma Vanja Josifovski, CEO y cofundadora de Kumo. “La mayoría de los casos de uso empresariales clave, como la personalización y las recomendaciones, son predictivos. El camino para desbloquear el valor aquí es hacer que el aprendizaje automático sea más fácil y automatizado, y luego ampliarlo a los casos de uso de IA”.

Solución: Un enfoque para fusionar una integración sencilla entre cuadros de mando y aplicaciones es a través de la analítica incrustada, donde los visuales de una herramienta de visualización de datos o de inteligencia empresarial se integran en interfaces de usuario con JavaScript o iframes. Las API ofrecen integraciones más ricas, como señalaba Ariel Katz, CEO de Sisense, en una reciente entrada de blog sobre una nueva era de analítica incrustada. “Recurrir a las API para la analítica embebida produciría un ROI mucho mayor al permitir a los desarrolladores adaptarse rápidamente a los cambios y crear nuevo valor para sus usuarios”.

Pruebas de concepto sin resultados de producción

La gestión de productos, el design thinking y las disciplinas Six Sigma son importantes funciones de liderazgo en la supervisión de la colaboración de equipos ágiles con el negocio, la ciencia de datos y el desarrollo de software como miembros del equipo. Sin embargo, incluso con colaboración, sigue existiendo el riesgo de pasar por demasiadas pruebas de concepto (PoC) y mejorarlas iterativamente sin impulsar un flujo de trabajo con sus capacidades analíticas a la producción.

Cuando estos problemas se producen durante un período de tiempo significativo, puede ser una señal de que los PoC no están alineados con la dirección estratégica de la empresa, o tal vez, el liderazgo no ha definido sus prioridades estratégicas de análisis.

“Una de las principales razones por las que fracasan los esfuerzos de IA es la falta de dirección estratégica, y también está el purgatorio de los PoC, ya que la mayoría de los modelos nunca salen del laboratorio”, afirma Hillary Ashton, directora de producto de Teradata. “Una forma de productivizar más eficazmente las capacidades analíticas es con productos de datos reutilizables o conjuntos de datos de confianza. Usar datos en los que se puede confiar es clave para crear confianza en la IA”.

La recomendación de Ashton es clave para las organizaciones impulsadas por datos, las más exitosas se dan cuenta de que sobresalir en analítica requiere tener una estrategia de implementación que se construya sobre sí misma. Crear conjuntos de datos, modelos de aprendizaje automático y componentes de visualización reutilizables y ampliables no sólo es eficiente, sino que también ayuda a los científicos de datos a ofrecer productos analíticos fiables y coherentes y a seguir mejorándolos.

Solución: Si un equipo de científicos de datos está haciendo girar la rueda PoC sin mucho que mostrar, el liderazgo debe intervenir y proporcionar orientación sobre las prioridades y promover cambios en el flujo de trabajo cuando los modelos están listos para la producción. Paul Boynton, cofundador y director de operaciones de CsiBizInfo, afirma: “El verdadero valor viene del liderazgo que toma esos conocimientos y aplica los hallazgos para hacer mejoras concretas dentro de la organización”.

La brecha de liderazgo y talento

Las organizaciones deben lidiar con si tienen el talento y las habilidades de liderazgo para mantenerse al día con los cambios de alto ritmo en las capacidades de IA, las nuevas tecnologías y las estrategias comerciales en evolución. Uno de los problemas se produce cuando las organizaciones no se adhieren a una cultura de aprendizaje permanente, y los científicos y tecnólogos de datos no tienen suficientes oportunidades para adoptar enfoques analíticos modernizados. Otras veces, los equipos con talento están abrumados con el apoyo a las tecnologías heredadas y no pueden centrarse en las nuevas oportunidades de negocio, análisis y tecnología.

“Los esfuerzos de análisis e IA a menudo no logran ofrecer valor debido a la falta de talento tecnológico viable que pueda implementar las soluciones tecnológicas adecuadas a escala en toda una organización”, dice Krishnan Venkata, director de clientes de LatentView Analytics. “Los líderes pueden superar este reto centrando los esfuerzos de contratación en equipos de datos y analítica cualificados y talento técnico, así como externalizando el talento a través de métodos alternativos de contratación y deslocalización”.

Las carencias de habilidades tecnológicas y de ciencia de datos pueden abordarse mediante la contratación, la formación y la asociación. La otra cuestión es si el equipo tiene suficiente visión de negocio para relacionar las capacidades analíticas con las necesidades y oportunidades empresariales. Greg Cucino, de Trustwise, afirma: “Puede haber una brecha significativa entre el personal cualificado de la organización que entiende la tecnología y también sabe cómo aplicarla a los retos empresariales del mundo real“.

Existe un debate sobre si la IA, especialmente la IA generativa, es una nueva disciplina de liderazgo o si es una extensión de la ciencia de datos y las responsabilidades tecnológicas. Kjell Carlsson, jefe de estrategia y evangelización de ciencia de datos en Domino, dice: “Las empresas que están implementando con éxito proyectos de IA han creado roles de liderazgo de IA, han creado equipos multidisciplinarios de IA/ML, han construido procesos que abarcan el ciclo de vida de la IA y han invertido en plataformas integradas de IA que agilizan el desarrollo, la operacionalización y la gobernanza de los proyectos de IA”.

Solución: Aunque la IA está en boca de todos, muchas empresas han demostrado los resultados de sus inversiones en ciencia de datos. Las organizaciones deben configurar sus organizaciones para el éxito. Hay muchas consideraciones sobre datos, tecnología y gobernanza en torno a la IA y la ciencia de datos, pero los líderes deben examinar primero los problemas de las personas y los procesos cuando las inversiones en análisis no rinden lo suficiente. Las organizaciones tienen éxito definiendo las funciones de liderazgo, estableciendo prioridades, impulsando la colaboración multidisciplinar y promoviendo actividades de aprendizaje.