Siete formas de implementar su propio LLM

La inteligencia artificial (IA) generativa es la nueva tecnología que más rápido se está desarrollando en la historia. Está transformando el mundo y, según la Encuesta de población en tiempo real a más de 3.000 adultos que trabajan en EE.UU, una cuarta parte utilizó IA generativa para trabajar al menos una vez la semana anterior, y casi el 11% la usaba todos los días.

Por lo tanto, la tasa de adopción de esta nueva tecnología, en comparación, es aproximadamente el doble de rápida que la de Internet. En un informe reciente de S&P Global Market Intelligence desarrollado a cargo de Weka, el 88% de las organizaciones encuestadas utilizan IA generativa y el 24% la tienen como una capacidad integrada en todos los flujos de trabajo.

Más específicamente, un LLM es un tipo de IA generativa que se centra en texto y código en lugar de imágenes o audio, aunque algunos han comenzado a integrar diferentes modalidades. Los LLM más populares en la empresa hoy en día son ChatGPT y otros modelos GPT de OpenAI, Claude de Anthropic, Gemini de Google, Llama de Meta y Mistral, un proyecto de código abierto creado por ex empleados de Meta y DeepMind de Google.

Así, con el creciente impulso y la presión de la industria para interactuar con la IA de manera más directa, examinamos siete grados diferentes de complejidad que las empresas enfrentan para implementar LLM hoy y hasta dónde llegarán para garantizar una ventaja competitiva. 

Que entren los ‘chatbots’

Los chatbots son la forma más sencilla de empezar a utilizar la IA generativa en una empresa. Existen opciones públicas y gratuitas para los casos de uso de menor riesgo, como las búsquedas en Internet impulsadas por IA o el resumen de documentos públicos. También existen versiones empresariales de estos chatbots, en las que los proveedores prometen mantener seguras todas las conversaciones y no utilizarlas para entrenar a sus IA.

Según un informe de julio de Netskope Threat Labs, el 96% de las organizaciones utilizan chatbots de IA generativa, frente al 74% de hace un año, siendo ChatGPT la plataforma de chatbots de uso general más popular en la empresa, con una tasa de uso del 80%. Le siguen Microsoft Copilot con un 67% y Google Gemini con un 51%.

Además, los proveedores de software empresarial están incorporando cada vez más funciones de IA generativa en sus plataformas. Grammarly, por ejemplo, tiene funciones de IA generativa, al igual que Salesforce. La mayoría de los principales proveedores de software empresarial ya han implementado algunas funciones de IA generativa o las tienen en sus planes de implementación.

“Sin duda, la mayor parte de la generación de valor que se puede atribuir a la IA generativa este año —y probablemente en los próximos dos— será como copilotos o asistentes en los motores de búsqueda, aplicaciones y herramientas”, afirma Nick Kramer, líder de Soluciones Aplicadas en SSA & Company, una firma consultora global.

Y en su evaluación, Gartner predice que más del 80% de los proveedores de software empresarial tendrán capacidades de IA generativa para 2026, frente a menos del 5% en marzo.

API

La siguiente estrategia de implementación de IA generativa más común es agregar API a las plataformas corporativas. Por ejemplo, si un empleado usa una aplicación para realizar un seguimiento de las reuniones, se puede usar una API para generar automáticamente resúmenes de transcripciones. En este sentido Gartner dice que para 2026, más del 30% del aumento en la demanda de API provendrá de la IA generativa.

“Se puede acceder a los LLM comerciales, los creados por las grandes empresas tecnológicas, a través de API con un modelo de precios por uso”, afirma Bharath Thota, socio de la práctica Digital y Analítica de Kearney. “Muchos proveedores de la nube facilitan el acceso a esos LLM”.

Para algo como resumir un informe, el LLM se puede utilizar tal como está, dice, sin incrustaciones de generación aumentada por recuperación (RAG) ni ajustes finos; solo el mensaje en sí, pero depende del problema empresarial que se deba resolver. Esta es una forma de bajo riesgo y bajo coste de agregar la funcionalidad de IA a los sistemas empresariales sin una sobrecarga significativa. También es una oportunidad para que las empresas aprendan cómo funcionan estas API y cómo crear mensajes efectivos.

Según OpenAI, el 92% de las empresas Fortune 500 utilizan su API, y su uso se ha duplicado desde julio debido al lanzamiento de nuevos modelos, menores costes y mejor rendimiento.

Bases de datos vectoriales y RAG

Para la mayoría de las empresas que buscan personalizar sus LLM, RAG es el camino a seguir. Si alguien habla de incrustaciones o bases de datos vectoriales, esto es a lo que normalmente se refiere. La forma en que funciona es que, si un usuario hace una pregunta sobre, por ejemplo, una política o un producto de la empresa, esa pregunta no se envía al LLM de inmediato. En cambio, se procesa primero para determinar si el usuario tiene derecho a acceder a esa información. Si existen derechos de acceso, se recupera toda la información potencialmente relevante, generalmente de una base de datos vectorial. Luego, la pregunta y la información relevante se envían al LLM y se incrustan en un mensaje optimizado que también puede especificar el formato preferido de la respuesta y el tono que debe utilizar el LLM.

Una base de datos vectorial es una forma de organizar la información en una serie de listas, cada una ordenada por un atributo diferente. Por ejemplo, si hay una lista que es alfabética, cuanto más cerca estén las respuestas en ese orden, más relevantes serán. Una lista alfabética es una base de datos vectorial unidimensional, pero puede tener dimensiones ilimitadas, lo que le permite buscar respuestas relacionadas en función de la proximidad a cualquier número de factores. Eso las hace perfectas para usarlas junto con los LLM.

“En este momento, estamos convirtiendo todo a una base de datos vectorial”, dice Ellie Fields, directora de Productos e Ingeniería de Salesloft, un proveedor de plataformas de interacción de ventas. “Y sí, están funcionando”.

Es más eficaz que utilizar documentos simples para proporcionar contexto a las consultas LLM, afirma. La empresa utiliza principalmente ChromaDB, un almacén de vectores de código abierto, cuyo uso principal es para LLM. Otra base de datos de vectores que utiliza Salesloft es PGVector, una extensión de búsqueda de similitud de vectores para la base de datos PostgreSQL.

“Pero también hemos realizado algunas investigaciones utilizando FAISS y Pinecone”, dice Fields. FAISS, o Facebook AI Similarity Search, es una biblioteca de código abierto proporcionada por Meta que admite búsquedas de similitud en documentos multimedia.

Pinecone es una base de datos de vectores patentada basada en la nube que también se ha vuelto popular entre los desarrolladores. Su versión gratuita admite hasta 100.000 vectores. Una vez que se recupera la información relevante de la base de datos de vectores y se integra en un mensaje, se envía a OpenAI, que se ejecuta en una instancia privada en Microsoft Azure.

“Hemos certificado a Azure como nuevo subprocesador en nuestra plataforma”, afirma Fields. “Siempre informamos a los clientes cuando tenemos un nuevo procesador para su información”.

Pero Salesloft también trabaja con Google e IBM, y está trabajando en una funcionalidad de IA general que también utiliza esas plataformas.

“Trabajaremos sin duda con distintos proveedores y distintos modelos”, afirma. “Las cosas cambian semana a semana. Si no se analizan distintos modelos, se está perdiendo algo”. Por eso, RAG permite a las empresas separar sus datos exclusivos del modelo en sí, lo que facilita mucho el intercambio de modelos a medida que se lanzan al mercado modelos mejores. Además, la base de datos vectorial se puede actualizar, incluso en tiempo real, sin necesidad de realizar más ajustes ni volver a entrenar el modelo.

A veces, los distintos modelos tienen distintas API, pero cambiar un modelo sigue siendo más fácil que volver a entrenarlo. “Aún no hemos encontrado un caso de uso que funcione mejor con un ajuste fino que con una base de datos vectorial”, añade Fields. “Creo que existen casos de uso, pero hasta ahora no hemos encontrado uno que funcione mejor”.

Una de las primeras aplicaciones de los LLM que Salesloft implementó fue agregar una función que permite a los clientes generar un correo electrónico de ventas para un cliente potencial. “Los clientes tardaban mucho tiempo en escribir esos correos electrónicos”, dice Fields. “Era difícil comenzar y había muchos bloqueos de escritor”. Por eso, ahora los clientes pueden especificar el perfil objetivo, su propuesta de valor y la llamada a la acción, y reciben tres borradores de correo electrónico diferentes que pueden personalizar.

Modelos de código abierto ejecutados localmente

Para Andy Thurai, vicepresidente y analista principal de Constellation Research, los LLM de código abierto se han vuelto muy poderosos. Por ejemplo, Meta acaba de lanzar el modelo Llama 3.2 en varios tamaños con nuevas capacidades de visión y afirma que se han descargado casi 350 millones de veces (un aumento de diez veces en el transcurso de un solo año) y que tienen más de 60.000 modelos derivados, ajustados para casos de uso específicos.

Según el ranking LLM de Chatbot Arena, el modelo Llama superior de Meta es comparable en calidad al GPT 4 de OpenAI y al Claude 3.5 Sonnet de Anthropic.

 “Si bien Llama tiene la ventaja inicial, muchas otras empresas están creando su propia versión de un LLM de código abierto”, dice Thurai, incluidos los modelos Granite de IBM, Titan de AWS y Google con sus diversos modelos de código abierto. En vista de este crecimiento, la empresa de API Kong publicó recientemente una encuesta a cientos de profesionales de TI y líderes empresariales que mostró que la mayoría de las empresas usan OpenAI, ya sea directamente o a través de Azure AI, seguida de Google Gemini, pero Llama de Meta quedó en tercer lugar.

El hecho de que los modelos de código abierto vengan en muchos tamaños es un beneficio para las empresas, ya que los modelos más pequeños son más baratos y rápidos.

“Muchas empresas están optando por un modo de implementación que se aleja de la experimentación, y el coste de la inferencia y la optimización se está convirtiendo en un problema importante”, afirma Thurai. “Muchas de ellas se están llevando una sorpresa por la escala que pretenden implementar”.

Ikigai Labs, con sede en Boston, también ofrece una plataforma que permite a las empresas crear modelos gráficos personalizados de gran tamaño o modelos de IA diseñados para trabajar con datos estructurados. Pero para que la interfaz sea más fácil de usar, Ikigai potencia su interfaz con LLM. Por ejemplo, la empresa utiliza la versión de siete mil millones de parámetros del LLM de código abierto Falcon y la ejecuta en su propio entorno para algunos clientes.

Para introducir información en el LLM, Ikigai utiliza una base de datos vectorial, que también se ejecuta localmente, afirma el cofundador y codirector ejecutivo Devavrat Shah. “Hace cuatro años, en el MIT, algunos de mis estudiantes y yo experimentamos con un montón de bases de datos vectoriales”, afirma Shah, que también es profesor de IA en el MIT. “Sabía que sería útil, pero no tanto”.

Según Shah, mantener tanto el modelo como la base de datos de vectores en local implica que no se pueden filtrar datos a terceros. “Para los clientes que no tienen problemas en enviar consultas a otros, utilizamos OpenAI”, afirma Shah. “Nosotros no tenemos LLM”.

Luego está PricewaterhouseCoopers, que creó su propia herramienta ChatPwC y también es independiente de LLM. “ChatPwC hace que nuestros asociados sean más capaces”, dice Bret Greenstein, socio de la firma y líder de la estrategia de lanzamiento al mercado de IA generativa. Por ejemplo, incluye indicaciones predefinidas e integraciones para implementar casos de uso como generar descripciones de puestos. “Esto se implementa para usar nuestros formatos, plantillas y terminología”, dice. “Para crear eso, contamos con expertos en recursos humanos y datos, y optimizamos el caso de uso para generar publicaciones de trabajo buenas y consistentes. Ahora, los usuarios finales no necesitan saber cómo hacer las indicaciones para generar descripciones de puestos”.

La herramienta está construida sobre Microsoft Azure, y la empresa también la desarrolló para Google Cloud Platform y AWS. “Tenemos que brindar servicio a nuestros clientes, y ellos existen en todas las nubes”, dice Greenstein. De manera similar, está optimizada para usar diferentes modelos en el back-end porque así lo desean los clientes. “Tenemos todos los modelos principales en funcionamiento”, agrega. “Claude, Anthropic, OpenAI, Llama, Falcon… tenemos de todo”.

El mercado está cambiando rápidamente, por supuesto, y Greenstein sugiere que las empresas adopten una política de no arrepentimiento para sus implementaciones de IA.

“Hay muchas cosas que la gente puede hacer, como crear sus datos independientemente de los modelos y crear una gobernanza”, afirma. Luego, cuando el mercado cambie y surjan nuevos modelos y tecnologías, la estructura de datos y gobernanza seguirá siendo relevante.

Sintonía fina

La empresa de consultoría de gestión AArete utiliza un ajuste fino basado en el aprendizaje de pocos disparos en Claude 2.5 Sonnet de AWS Bedrock. “Somos los principales usuarios de AWS Bedrock en la región este de EE. UU.”, afirma Priya Iragavarapu, vicepresidenta de Servicios de Tecnología Digital de la empresa. “Hemos podido escalar nuestra aplicación de IA generativa a producción de manera efectiva”.

Si AArete utilizara un modelo alojado y se conectara a él a través de una API, surgirían problemas de confianza. “Nos preocupa dónde podrían terminar los datos de la solicitud”, afirma. “No queremos correr esos riesgos”.

Al elegir un modelo de código abierto, tiene en cuenta cuántas veces se descargó previamente, el apoyo de la comunidad y sus requisitos de hardware.

“Los modelos básicos se han vuelto tan poderosos desde el comienzo del año pasado que no tenemos que preocuparnos por la eficacia de los resultados en cuanto a la relevancia de las tareas”, afirma. “La única diferencia ahora es cómo se diferencian los modelos en cuanto a la cantidad de tokens que pueden aceptar y las versiones”.

Muchas empresas del mundo financiero y de la industria de la salud están perfeccionando sus LLM en función de sus propios conjuntos de datos adicionales. Los LLM básicos se entrenan en Internet, pero con un ajuste fino, una empresa puede crear un modelo específicamente orientado a su caso de uso comercial. Una forma habitual de hacerlo es creando una lista de preguntas y respuestas y afinando un modelo a partir de ellas.

De hecho, OpenAI comenzó a permitir el ajuste fino de su modelo GPT 3.5 en agosto de 2023 utilizando un enfoque de preguntas y respuestas, y presentó un conjunto de nuevas opciones de ajuste fino, personalización y RAG para GPT 4 en su DevDay de noviembre. Esto es particularmente útil para aplicaciones de servicio al cliente y de soporte técnico, donde una empresa podría tener ya un banco de datos de preguntas frecuentes.

Las empresas de software que crean aplicaciones como las aplicaciones SaaS pueden utilizar el ajuste fino, afirma Greenstein, de PricewaterhouseCoopers. “Si tienes un patrón muy repetible, el ajuste fino puede reducir los costes”, afirma, pero para las implementaciones empresariales, RAG es más eficiente en hasta el 95% de los casos.

Empezar desde cero

Pocas empresas van a construir su propio LLM desde cero. El GPT 3 de OpenAI tiene 175 mil millones de parámetros y fue entrenado en un conjunto de datos de 45 terabytes y costó 4,6 millones de dólares entrenarlo. Y según el director ejecutivo de OpenAI, Sam Altman, el GPT 4 costó más de 100 millones de dólares. Ese tamaño es lo que le da a los LLM su magia y capacidad para procesar el lenguaje humano, con un grado de sentido común y la capacidad de seguir instrucciones.

“Si bien es posible crear un modelo LLM propio, se requiere una inversión significativa de datos y capacidad de procesamiento”, afirma Carm Taglienti, director de Datos de Insight. “Para entrenar un modelo desde cero se necesita un volumen de datos suficiente para poder ejecutar las tareas LLM que se esperan en función de los datos”.

Luego, una vez que el modelo ha terminado con el entrenamiento base, viene el paso de aprendizaje de refuerzo con retroalimentación humana, RLHF, que es necesario para que el modelo interactúe con los usuarios de manera adecuada.

En la actualidad, casi todos los LLM provienen de grandes hiperescalares o startups centradas en IA como OpenAI y Anthropic. Incluso las empresas con amplia experiencia en la creación de sus propios modelos se abstienen de crear sus propios LLM. Salesloft, por ejemplo, ha estado creando sus propios modelos de IA y ML durante años, incluidos modelos de IA generativa que utilizan tecnologías anteriores, pero duda en crear un modelo de base completamente nuevo y de vanguardia desde cero.

“Es un paso computacional enorme que, al menos en esta etapa, no creo que vayamos a dar”, dice Fields.

Jardines modelo

Para las empresas más maduras, un modelo de IA de una sola generación no es suficiente. Diferentes modelos son buenos para diferentes tipos de casos de uso y tienen diferentes costos y métricas de rendimiento asociadas con ellos. Y constantemente entran nuevos actores en el espacio, superando a los gigantes establecidos. Además, algunos modelos se pueden ejecutar en las instalaciones o en centros de datos de coubicación, lo que puede reducir los costes para las empresas o brindar seguridad o flexibilidad adicionales. Para aprovechar estas opciones, las empresas crean jardines de modelos seleccionados, colecciones privadas de LLM cuidadosamente examinados que incluyen modelos personalizados o modelos ajustados, y utilizan un sistema de enrutamiento para canalizar las solicitudes a las más adecuadas. “No muchas empresas están en ese punto todavía”, dice Thota de Kearney. “Es complicado, pero creo que así será el futuro”.