Entre la sostenibilidad y el riesgo: por qué los CIO se plantean modelos lingüísticos pequeños

Mientras GPT-4 supera la prueba de Turing, Microsoft impulsa su asistente de inteligencia artificial (IA) Copilot en los productos empresariales y Google anuncia la disponibilidad de la aplicación Gemini en los teléfonos móviles en Italia, los CIO estudian la tecnología de IA generativa para mantenerse al día, pero sin dejarse distraer ni por el entusiasmo tecnológico ni por las propuestas comerciales.

“La IA generativa puede aportar muchos beneficios, pero no puede adoptarse sin las consideraciones adecuadas”, afirma Massimo Carboni, CTO y responsable del departamento de infraestructuras de GARR, la red de banda ancha dedicada a la comunidad italiana de investigación y educación. “La expectación es muy fuerte, pero el riesgo de sobrestimar sus posibilidades es igualmente alto. En el mundo digital, debemos ser cada vez más prudentes, y el primer riesgo con la IA y la IA generativa es confiar demasiado”.

Por otra parte, Gartner estimó recientemente que el gasto empresarial mundial en tecnologías de IA generativa es poco importante. De un total de 5 billones de dólares de inversiones en TI previstas para este año, un 8% más que en 2023, la IA generativa no representará gran cosa. El gasto se verá impulsado, en cambio, por fuerzas más tradicionales como los servicios clásicos de TI, cuyo valor superará los 1,5 billones de dólares, lo que supone un aumento del 9,7% interanual.

En cambio, los grandes proveedores de servicios están multiplicando su gasto en tecnología para apoyar los proyectos de IA generativa y, en previsión de un próximo auge, los servidores de aplicaciones de IA representarán casi el 60% de la inversión total en servidores de hiperescalares en 2024. Sin embargo, las empresas son más prudentes. Gartner ve un ciclo de “historia, plan, ejecución” para la IA generativa, ya que se habló de ella en 2023, se planeó implementarla en 2024 y se proyectó ejecutarla en 2025.

La IA generativa bajo la lupa del CIO

Edoardo Esposito, CIO de inewa, miembro del Grupo Elevion, una ESE certificada activa en la generación de biogás y biometano y la eficiencia energética, se encuentra actualmente en la fase de planificación probando Copilot, ya que las TI de inewa están todas en sistemas Microsoft, y este producto de IA generativa se integra perfectamente con el paquete Office. Sus experimentos los lleva a cabo junto con otros directivos como el director financiero, el director jurídico y el director de relaciones institucionales y regulación.

“Estamos probando usos en finanzas, como el análisis financiero de ingresos y gastos“, dice Esposito. “Creo que ahí es donde están las mayores oportunidades. De momento no veo tan prometedor el uso en el ámbito jurídico, pero estamos intentando utilizar la IA generativa para gestionar contratos y estudiar leyes”.

Por supuesto, la IA no da asesoramiento jurídico, pero ayuda a navegar por la enorme cantidad de normas que se actualizan o cambian constantemente. “Incluso un simple resumen en viñetas de una nueva ley generado con IA para enviar a un ejecutivo para su revisión ayuda”, dice. “Al final, para nosotros como pequeña empresa, a 30 dólares al mes, es como tener una persona más en la oficina”.

Pero aunque no tiene reparos en automatizar tareas sencillas, Esposito no está convencido de que la IA generativa pueda automatizar por completo tareas complejas, entre otras preocupaciones. “Estos modelos no me parecen sostenibles. Tienen parámetros enormes y requieren mucha energía para entrenarlos“, afirma.

La insostenibilidad de la IA

Carboni también hace hincapié en lo intensiva que es la IA desde el punto de vista energético y cómo se suma a los ya elevados costes de la tecnología.

“Las TIC en el mundo representan el 9% de los costes totales de energía, o alrededor de 300.000 millones de dólares en 2023”, dice. “Esta cuota ha aumentado hasta un 60% en los últimos 10 años y está destinada a seguir creciendo”.

Luego está el problema de la formación, según Carboni. “La IA generativa está anulando el enfoque tradicional centrado en el ser humano“, afirma. “En lugar de que las personas formen a los modelos, que luego cambian la organización de la empresa, hoy son las personas las que tienen que adaptarse a los modelos que vienen del mercado. Esto representa un riesgo para mí. Cuanto más disminuyen los actores de la IA generativa, más se crea una dependencia y una pérdida de control por parte de las empresas”.

Además, añade Carboni, la IA corre el riesgo de limitar el funcionamiento de lo digital a unos pocos sujetos que determinan comportamientos y costes, porque el umbral de entrada a la IA generativa es alto y la mayoría de las empresas sólo pueden comprar servicios sin tener los conocimientos necesarios para distinguir las diferencias entre un producto y otro. Hay pocas opciones y el riesgo es la estandarización de los productos para todos. “Así que, en mi opinión, siempre es mejor seguir construyendo algo internamente”.

Empresas que compiten con las grandes tecnológicas

La competencia entre empresas es cada vez mayor y muchos, entre ellos Carboni, creen que la forma en que los grandes proveedores venden sus modelos es injusta en muchos aspectos, porque algunos actores del mercado tienen capacidades que otros no tienen.

“Empresas como Microsoft y Google tienen ecosistemas de productos, y este oligopolio que controla hasta el 80% del mercado de datos tiene una enorme ventaja sobre otras compañías”, afirma. “Las estrategias de las grandes tecnológicas también buscan incorporar startups que les permitan reforzar su dominio sobre los datos”. Así que es difícil pensar en nuevos participantes que puedan competir. Las startups que ofrecen productos alternativos existen, sin duda, y son una buena forma de desarrollar algoritmos, pero no son suficientes para tener éxito.

Para Carboni, esto no significa un fracaso de la IA generativa, sino un deseo de estudiarla a fondo y gobernarla. “Creo que la IA es muy relevante y trabajaremos en ella en GARR porque tenemos muchos datos que explotar”, añade. “La intención es derivar un modelo de IA generativa para definir mejor nuestra base de conocimientos interna. Actualmente no es pública, pero si quisiéramos exponerla, habría que desarrollarla para su lectura externa. Y para ello podríamos utilizar un pequeño modelo lingüístico (SLM, por sus siglas en inglés)“.

Los SLM: el CIO en busca de control

Los modelos lingüísticos pequeños son algoritmos de aprendizaje automático entrenados en conjuntos de datos mucho más pequeños y específicos que los LLM, los grandes modelos de aprendizaje profundo en los que se basan productos como GPT. Las pruebas iniciales demuestran que son más eficientes, menos costosos y más precisos en su tarea. De hecho, Esposito también sigue la evolución de los SLM y los considera mucho más prometedores para usos empresariales, y más sostenibles. Los grandes productos tienen una formación excelente, pero son genéricos, mientras que las empresas necesitan aplicaciones verticales.

“Utilizar grandes modelos de IA generativa a través de API para entrenar tus propios productos de IA generativa con tus propios datos requiere importantes recursos energéticos”, afirma Esposito. “Es como traer un colega digital a tu casa, pero un colega que cuesta mucho. Tienes que entrenarlo con la información específica de tu empresa y proporcionarle constantemente nuevos datos para mantenerlo actualizado. También hay que alimentarlo con mucha electricidad. Por eso no me fascinan los grandes modelos lingüísticos, pero los pequeños me parecen muy interesantes. Las empresas necesitan algo más específico y con menos riesgo de sesgos y violaciones de la privacidad”.

Por ejemplo, dice Esposito, TI puede aislar una tarea lingüística estrecha, tomar un SLM, ponerlo en su nube y darle acceso sólo a la base de datos de documentos corporativos. A partir de ahí, formula al modelo solo preguntas relacionadas con esos documentos.

“Por los primeros experimentos, parece que no solo se reduce el consumo de energía, sino también la probabilidad de alucinaciones“, afirma. “Al fin y al cabo, los modelos de IA de las empresas no tienen por qué saberlo todo, sino responder sólo a determinadas aplicaciones. Los SLM pueden seguir haciendo traducciones, realizar análisis de tendencias de mercado, automatizar el servicio de atención al cliente, gestionar tickets de TI, crear un asistente virtual empresarial y mucho más. Me parece más eficiente limitar el dominio y especializarlo, manteniéndolo bajo control de TI”.

Sopesando los negocios de IA generativa y los modelos pequeños

El control es clave. Alessandro Sperduti, director del Centro de Aumento de la Fundación Bruno Kessler (FBK), afirma que en IA corremos el riesgo de que las empresas privadas dominen. “En el pasado, los sistemas de IA más importantes del mundo se desarrollaban en las universidades, mientras que hoy no es así porque han surgido gigantes tecnológicos privados con un poder adquisitivo con el que lo público no puede competir”, afirma.

En la comunidad científica, de hecho, algunos preferirían una intervención política para que la IA volviera a estar bajo control, como ocurrió con la física de altas energías y la creación del CERN, el organismo que reúne a varios países para colaborar en la teoría y experimentación de la física de partículas. Pero otros investigadores no ven riesgos en la hegemonía de algunos actores privados, siempre y cuando los gobiernos regulen el uso de las herramientas de IA, como se ha hecho en la Unión Europea con la Ley de IA.

“La diferencia con lo ocurrido en el mundo de la física es que allí no hay grandes negocios, mientras que en la IA hay enormes beneficios”, afirma Sperduti. “Por eso empresas como Microsoft y Google compiten hoy ferozmente. Cada día leemos sobre nuevas metas alcanzadas que superan las anteriores. Las startups del sector existen, pero en comparación con otros sectores, son pocas porque las inversiones necesarias son enormes. No creo, por tanto, que puedan realmente amenazar el predominio de los actores actuales y crear una fuerte dinámica competitiva”.

En los modelos más pequeños, sin embargo, Sperduti destaca la presencia de sistemas de generación aumentada de recuperación (RAG), que utilizan LLM para responder a preguntas sobre documentos almacenados en bases de datos locales. De este modo, los documentos siguen siendo privados y no se ceden a la organización que proporciona el LLM. Los RAG dan a las empresas más control sobre los datos y cuestan menos.

“Pero tienen que gestionarse localmente”, subraya. “También se pueden utilizar localmente modelos lingüísticos de código abierto, que son más pequeños que los LLM pero tienen menor rendimiento, por lo que se pueden considerar SLM”.

En cuanto a la sostenibilidad de los costes, Sperduti afirma que los LLM son gestionados por las grandes tecnológicas como un servicio público, como si compráramos electricidad, mientras que tener un SLM significa mantener la turbina en casa para generar electricidad. “Por tanto, hay que hacer una evaluación económica”, dice. “Incluso podría ser favorable si el uso del modelo es intenso. Pero es una elección que debe hacerse tras un análisis minucioso, teniendo en cuenta el coste del modelo, su actualización, las personas que trabajan en él, etc”.

El CIO al timón: gobernanza y experiencia

Carboni también advierte de que si se opta por un SLM, la tarea de TI es mayor y la vida del CIO no se simplifica necesariamente.

“En los LLM, la mayor parte del trabajo con los datos se hace estadísticamente y luego TI entrena al modelo en temas específicos para corregir errores, dándole datos de calidad específicos”, dice. “Los SLM cuestan mucho menos y requieren menos datos, pero, precisamente por eso, el cálculo estadístico es menos eficaz y, por tanto, se necesitan datos de muy alta calidad, con un trabajo considerable de los científicos de datos. De lo contrario, con datos genéricos, el modelo corre el riesgo de producir muchos errores”.

Además, los SLM son tan prometedores e interesantes para las empresas que incluso las grandes tecnológicas los ofrecen y publicitan, como Gemma de Google y Phi-3 de Microsoft. Por eso, según Esposito, la gobernanza sigue siendo fundamental, dentro de un modelo que debe seguir siendo un sistema cerrado.

“Un SLM es más fácil de gestionar y se convierte en un activo importante para la empresa con el fin de extraer valor añadido de la IA”, afirma. “De lo contrario, con modelos grandes y sistemas abiertos, tienes que aceptar compartir información estratégica de la empresa con Google, Microsoft y OpenAI. Por eso prefiero trabajar con un integrador de sistemas que pueda desarrollar personalizaciones y ofrecer un sistema cerrado, para uso interno. No creo que sea prudente dejar que los empleados utilicen el producto de uso general introduciendo en él datos de la empresa, que también pueden ser sensibles. La gobernanza de los datos y la IA es esencial para las empresas“.

Igualmente importante es la competencia del CIO. “En mi trabajo, considero importante no solo evaluar el coste de acceso a un servicio, sino también mi capacidad para influir en un servicio”, dice Carboni. “El CIO debe construir su propio bagaje de conocimientos tecnológicos y dotarse de un equipo de personas capaces, incluida una buena parte de jóvenes, capaces de operar en contextos modernos, con tecnologías nativas de la nube. De este modo, el CIO no se limita a comprar un producto y esperar un rendimiento, sino que actúa e incide en ese producto o servicio”.

Así que el CIO sigue al timón. Sea cual sea la trayectoria de desarrollo de la IA generativa, es el responsable de TI quien debe decidir las orientaciones, las aplicaciones y los objetivos.