A medida que se escala la IA surgen retos de infraestructura

Las organizaciones que experimentan con la inteligencia artificial (IA) generativa suelen crear cuentas de nivel empresarial con servicios basados en la nube como ChatGPT de OpenAI o Claude de Anthropic, y las primeras pruebas de campo y los beneficios en productividad pueden inspirarles a buscar más oportunidades para desplegar la tecnología.

Nick Kramer, responsable de Soluciones Aplicadas de SSA & Company, una consultora global, afirma: “Las empresas utilizan la IA generativa para producir resúmenes ejecutivos o contenidos de marketing. El año que viene veremos una mayor adopción y estandarización de este tipo de casos de uso empresarial, así como la IA generativa incorporada a otras aplicaciones que utilizan las empresas. Ahí es donde se genera la mayor parte del valor”.

Photoshop, de Adobe, por ejemplo, cuenta ahora con una función de IA generativa. Google y Microsoft también están introduciendo funciones de IA generativa en sus plataformas de productividad, al igual que Salesforce y la mayoría de los demás proveedores empresariales. Puede que la nueva funcionalidad tenga un coste adicional, pero son los proveedores los que se ocupan de los posibles problemas de infraestructura.

Aunque todo el mundo puede utilizar ChatGPT, o tiene Office 365 y Salesforce, para que la IA genere un diferenciador o una ventaja competitiva, las empresas tienen que encontrar formas de ir más allá de lo que hacen los demás. Eso significa crear modelos personalizados, perfeccionar los modelos existentes o utilizar la incrustación de generación aumentada por recuperación (RAG) para dar a los sistemas de IA generativa acceso a información corporativa actualizada y precisa. Y eso significa que las empresas tienen que invertir en infraestructura para formar e implantar estos sistemas.

La empresa de pruebas de telecomunicaciones Spirent fue una de las que empezó utilizando un chatbot, concretamente la versión empresarial de ChatGPT de OpenAI, que promete proteger los datos corporativos.

“No queríamos que nuestros datos pasaran a un modelo público”, dice Matt Bostrom, vicepresidente de Tecnología y Estrategia Empresarial de Spirent. “La edición empresarial satisfacía esa necesidad, así que no tuvimos que construir nuestro propio LLM. En aquel momento, OpenAI tenía el mejor LLM, aunque ahora Claude lo está desafiando, y nosotros también lo utilizamos”.

La empresa todavía lo tiene, con más de 130 licencias disponibles para sus usuarios internos, que utilizan la interfaz de chat estándar, y no hay costes de API ni se requieren integraciones. “Sólo utilizas su aplicación y pagas por la licencia de usuario”, afirma.

Pero eso era sólo el principio. “Sabíamos que queríamos integrar la IA en nuestras aplicaciones existentes”, añade. “Salesforce y otros tienen un módulo de IA que puedes añadir, pero nosotros queríamos ser más específicos para nuestro caso de uso”. Eso implicaba que la empresa tenía que hacer un importante trabajo de infraestructura. Empezó, como la mayoría de los proyectos empresariales de IA, con los datos.

Maximizar el potencial de los datos

Según el informe Q3 State of Generative AI de Deloitte, el 75% de las organizaciones han aumentado el gasto en la gestión del ciclo de vida de los datos debido a la IA generativa.

“Cuando llegué a la empresa en noviembre pasado, pasamos por una modernización de datos con AWS”, dice Bostrom. “Pasamos a la pila tecnológica de AWS con datos estructurados y no estructurados”.

Sacar los datos de los sistemas heredados e introducirlos en una moderna casa del lago fue clave para poder construir la IA. “Si tienes problemas con los datos o con su integridad, no vas a obtener grandes resultados”, afirma. Una vez organizados los datos, trasladarlos a donde se necesitaban era otro reto.

“Teníamos herramientas de integración en nuestra empresa, pero eran herramientas anticuadas”, afirma. Conseguir el tipo de integraciones a gran escala necesarias para la IA generativa habría requerido actualizaciones significativas y costosas”.

En lugar de ello, Spirent se decidió por SnapLogic para que la capa de integración gestionara la escala necesaria para el proyecto. “Evaluamos a muchos proveedores diferentes y este era el que tenía más potencia”, afirma. “Y estaban desplegando su AI builder, lo que nos ahorraría dinero al no tener que comprar otro complemento”.

Como resultado, Spirent utiliza IA para datos de prueba dentro de sus productos para ayudar con la atención al cliente y la productividad interna, dice Bostrom. Por ejemplo, un empleado que necesite crear un nuevo discurso de ventas mientras está en, digamos, Salesforce, puede pulsar un botón y el contenido relevante del repositorio SharePoint de la empresa se recuperaría y empaquetaría.

Ese contenido relevante podría incluir miles de páginas de información, como normas de cumplimiento para países específicos. Esta información interna se complementaría con los datos almacenados en la plataforma Salesforce y se enviaría a la inteligencia artificial como parte de una consulta precisa. A continuación, la respuesta vuelve a Salesforce y el empleado puede consultarla, editarla y enviarla a través del proceso habitual de Salesforce.

“Es sólo un ejemplo”, afirma. “Ahora que la gente le ha cogido el gusto, hemos creado más. Tenemos un ciclo de enjuague y repetición”.

Trasladar los datos a un almacén moderno e implementar canalizaciones de datos modernas fue un gran paso, pero no resolvió todos los desafíos de infraestructura de IA de la empresa.

“Somos una empresa global, y hay limitaciones regionales en los LLM”, dice Bostrom. “OpenAI ha bloqueado ciertos países, y Claude se está moviendo para hacer eso también. Tenemos empleados en todo el mundo y no queremos infringir ninguna política, así que tenemos que averiguar cómo dirigir al empleado hacia un LLM aprobado para su país”.

Como remedio, existen opciones de despliegue regional, de modo que, por ejemplo, un centro de datos de AWS en Singapur podría dar soporte a usuarios en China. Pero puede que no todos los LLM estén disponibles en esa región.

También hay LLM de código abierto que una empresa puede ejecutar por su cuenta en cualquier ubicación que necesite, pero hay escasez de recursos disponibles, incluso con gigantes como Amazon. “Se están comprando y utilizando”, afirma. “Es difícil conseguir esos servidores tan potentes que se necesitan para alojar Mistral”. Así que, por el momento, Spirent se está quedando con grandes proveedores comerciales como OpenAI, y accediendo a los LLM a través de una API.

Spirent tampoco está construyendo sus propias bases de datos vectoriales. Estas son habituales para la RAG, un tipo de estrategia de IA generativa que mejora la precisión y la puntualidad y reduce las alucinaciones al tiempo que evita el problema de tener que entrenar o afinar una IA en datos sensibles o patentados.

“Ahora hay una función de arrastrar y soltar que crea automáticamente una base de datos vectorial”, dice Bostrom. “Tenemos un asistente en el que podemos meter mil archivos, así que no necesitamos comprar nuestro propio almacén de vectores”.

Con el cambio viene la elección

La decisión de Spirent de utilizar una nube pública para el almacenamiento de datos es un planteamiento popular. Según una encuesta de grandes empresas publicada este verano por Flexential, el 59% utiliza nubes públicas para almacenar los datos que necesitan para el entrenamiento y la inferencia de IA, mientras que el 60% recurre a proveedores de colocación y el 49% utiliza infraestructura in situ. Y casi todas las empresas tienen hojas de ruta de IA, con más de la mitad planeando aumentar sus inversiones en infraestructura para satisfacer la necesidad de más cargas de trabajo de IA. Pero las empresas están buscando más allá de las nubes públicas para sus necesidades de computación de IA y la opción más popular, utilizada por el 34% de las grandes empresas, son los proveedores especializados de GPU como servicio.

Por ejemplo, TaskUs, una empresa de externalización de procesos de negocio, está viendo la necesidad de invertir más en infraestructura a medida que amplía sus despliegues de IA genérica. Según Chandra Venkataramani, CIO de TaskUs, el reto no es alucinante, pero sí implica que la empresa debe tener cuidado y mantener los costes bajo control. “No queremos dejarnos llevar por la tecnología y volvernos locos con ella”, afirma. En concreto, TaskUs necesita mover más datos y ordenadores de un lado a otro.

Hay dos tipos principales de computación de IA, dice Naveen Sharma, SVP y responsable global de IA y análisis en Cognizant, y tienen retos diferentes. En el lado de la formación, la latencia es menos problemática porque estas cargas de trabajo no son sensibles al tiempo. Las empresas pueden realizar su formación o puesta a punto en ubicaciones más baratas fuera del horario laboral. “No esperamos respuestas en milisegundos, y las empresas son más indulgentes”, afirma.

El otro uso computacional principal de la IA es el de la inferencia, cuando el modelo de IA entrenado se utiliza para responder realmente a preguntas. Normalmente, esto debe hacerse en tiempo real. “A menos que se pueda pedir a los clientes que esperen a que el modelo responda, la inferencia se convierte en un problema”, afirma Sharma.

Por ejemplo, ha observado una gran demanda en las zonas de Dallas y Houston. “Toda la región se ha vuelto muy ávida de computación debido a todas las empresas de IA que se han trasladado allí”, afirma. “Y puede que haya algún trabajo relacionado con el petróleo y el gas, y quizá sea eso lo que esté provocando los picos”.

La ubicación también puede ser un problema por otra razón: la normativa sobre soberanía de datos. En algunas jurisdicciones, los datos no pueden salir por razones de cumplimiento. “Si tus datos están limitados a la región en la que te encuentras, entonces estás limitado a utilizar la capacidad de esa región”, afirma Sharma.

Si los hiperescaladores no pueden proporcionar la capacidad necesaria, y una empresa no tiene sus propios centros de datos en una instalación de colocación u on prem, la otra alternativa principal son los proveedores de GPU como servicio, y van viento en popa, dice Sharma. “Si tu hiperescalar no te da lo suficiente a un precio adecuado, hay alternativas”, afirma.

Para las empresas que saben que van a tener un cierto nivel de demanda de computación de IA, tiene sentido financiero a largo plazo traer parte de eso a su propio centro de datos, dice Sharma, y pasar de la demanda a los precios fijos.

Capacitar a los pilotos

También en la encuesta de Flexential, el 43% de las empresas sufre escasez de ancho de banda, y el 34% tiene problemas para ampliar el espacio y la potencia del centro de datos para satisfacer los requisitos de carga de trabajo de IA. Otros problemas señalados incluyen conexiones poco fiables y latencia excesiva. Sólo el 18% de las empresas afirma no haber tenido problemas con sus aplicaciones o cargas de trabajo de IA en los últimos 12 meses. Así que tiene sentido que 2023 haya sido un año de pilotos y pruebas de concepto de IA, afirma Bharath Thota, socio de la Práctica Digital y Analítica de la consultora empresarial Kearney. Y este año ha sido el año en que las empresas han intentado ampliar estos proyectos piloto.

“Ahí es donde está el reto”, afirma. “Esto no es nuevo en la IA. Pero se amplifica porque la cantidad de datos a los que necesitas acceder es significativamente mayor”. La IA generativa no solo consume muchos más datos, sino que también produce más datos, algo que las empresas a menudo no esperan.

Además, cuando las empresas crean un modelo, éste se define por sus datos de entrenamiento y ponderaciones, por lo que hacer un seguimiento de las diferentes versiones de un modelo de IA podría requerir guardar copias de cada conjunto de datos de entrenamiento individual. Depende del caso de uso específico, dice Thota. “Nadie ha descubierto cuál es la mejor manera”, afirma. “Todo el mundo está aprendiendo a medida que itera”. Y todos los problemas de infraestructura -almacenamiento, conectividad, computación y latencia- no harán sino aumentar el año que viene.

Hoy en día, hay un número relativamente pequeño de casos de uso de IA generativa que han pasado de pilotos a producción, y muchos de ellos se despliegan por etapas. A medida que más proyectos piloto pasen a la fase de producción, y los proyectos de producción se amplíen a todos los usuarios potenciales, los retos de infraestructura serán mayores. Y encontrar una solución que funcione hoy no es suficiente, ya que la tecnología de IA gen está evolucionando a un ritmo vertiginoso. “Hay que ser lo bastante ágil para cambiar a medida que se actualiza”, afirma Thota.

Y también está la cuestión de las lagunas de competencias o la escasez de personal relacionado con la gestión de la infraestructura de IA. Gestionar el almacenamiento, las redes y los recursos informáticos optimizando el coste y el rendimiento, incluso cuando las plataformas y los casos de uso evolucionan rápidamente, es una preocupación, pero a medida que la IA generativa se vuelve más inteligente, podría ser un medio para ayudar a las empresas.

“¿Ha oído hablar de la red como código?”, pregunta Mick Douglas, socio director de InfoSec Innovations e instructor del SANS Institute. “Y existe la infraestructura como código. Para algunas grandes empresas que hacen mucho cómputo, pueden comenzar a jugar con cosas como, ¿es mejor tener máquinas virtuales muy potentes en la nube o un puñado de funciones Lambda? Tendrías a la IA creando una capa de abstracción para ti, y luego tendrías a la IA iterando a través de todas las diferentes construcciones”.

Parte de esta optimización se puede hacer con aprendizaje automático, y ya se está haciendo. Pero el problema con el aprendizaje automático es que las ofertas de los proveedores cambian constantemente. La analítica tradicional puede encargarse de las matemáticas y las simulaciones, mientras que la IA generativa puede utilizarse para averiguar las opciones y realizar los análisis más complejos.

“La principal ventaja que se obtiene con las IA generativas es que se pueden crear diferentes plantillas de código de despliegue de forma automatizada”, afirma Douglas. “Puedes eliminar el trabajo pesado”.