Cinco casos de uso ‘top’ de modelos de lenguaje pequeños

Desde que ChatGPT llegó a finales de 2022, los grandes modelos de lenguaje (LLM) han seguido elevando el nivel de lo que pueden lograr los sistemas de IA generativa. Por ejemplo, GPT-3.5, que impulsó ChatGPT, tuvo una precisión del 85,5% en conjuntos de datos de razonamiento de sentido común, mientras que GPT-4, en 2023, logró una precisión de alrededor del 95% en los mismos conjuntos de datos. Si bien GPT-3.5 y GPT-4 se centraron principalmente en el procesamiento de texto, GPT-4o, lanzado en mayo de 2024, es multimodal, lo que le permite manejar texto, imágenes, audio y video.

A pesar de los impresionantes avances de la familia de modelos GPT y otros modelos de lenguaje grandes de código abierto, Gartner, en su ciclo de promoción de la inteligencia artificial en 2024, señala que “la IA generativa ha superado el pico de expectativas infladas, aunque la publicidad al respecto continúa”. Algunas de las razones de la desilusión incluyen los altos costes asociados con la familia de modelos GPT, las preocupaciones sobre la privacidad y la seguridad de los datos y los problemas con la transparencia de los modelos. Los modelos de lenguaje pequeños con menos parámetros que estos LLM son una posible solución a estos desafíos.

Los modelos de lenguaje más pequeños son más fáciles y menos costosos de entrenar. Además, los modelos más pequeños se pueden alojar en las instalaciones, lo que proporciona un mejor control sobre los datos compartidos con estos modelos de lenguaje. Un desafío con los modelos más pequeños es que tienden a ser menos precisos que sus contrapartes más grandes. Para aprovechar las fortalezas de los modelos más pequeños y mitigar sus debilidades, las empresas están buscando modelos pequeños específicos del dominio, que deben ser precisos solo en la especialización y los casos de uso que admiten. Esta especialización del dominio se puede habilitar tomando un modelo de lenguaje pequeño previamente entrenado y ajustándolo con datos específicos del dominio o utilizando ingeniería rápida para obtener ganancias de rendimiento adicionales.

Veamos los cinco casos de uso principales en los que las organizaciones consideran aprovechar modelos de lenguaje pequeños y los modelos de lenguaje pequeños líderes para cada caso de uso.

Enmascaramiento de información personal identificable

Una de las principales preocupaciones de las organizaciones es la exposición de información de identificación personal (PII) de sus datos cuando se utilizan para formación o para hacer preguntas a un LLM. Un ejemplo de información PII es el número de seguro social (SSN) o el número de tarjeta de crédito del cliente. Por lo tanto, un caso de uso extremadamente importante es el de crear una solución que pueda enmascarar datos PII. Además del enmascaramiento, otro requisito clave es mantener el linaje de los datos. Por ejemplo, el mismo SSN debe estar enmascarado por el mismo identificador para que una aplicación posterior pueda utilizar la relación para crear aplicaciones efectivas. Phi-3 y Gliner funcionan muy bien en el enmascaramiento de PII, pero el modelo con mejor rendimiento para este caso de uso en el momento de escribir este artículo es el modelo Llama-3.1-8B.

Detección de toxicidad

Este caso de uso identifica la presencia de comentarios de odio indeseables en el texto. Un ejemplo de texto tóxico es el uso de malas palabras. A medida que más empresas adoptan modelos de lenguaje para automatizar las interacciones de servicio al cliente, es extremadamente importante garantizar que ningún contenido tóxico se introduzca en las respuestas de los modelos. El modelo RoBERTa es ideal para esta tarea.

Asistencia de codificación

La asistencia a la codificación fue uno de los primeros casos de uso de la IA generativa, y los desarrolladores de todas las empresas han adoptado ampliamente los asistentes de codificación. Microsoft afirma que el 70% de los usuarios de GitHub Copilot son más productivos. Las variantes específicas de tareas de Llama (Code Llama) y Gemma (CodeGemma) son excelentes alternativas a los grandes modelos de lenguaje como GPT-4 para este caso de uso.

Resumen de datos médicos

El resumen y la comprensión de datos médicos es un caso de uso especializado en la industria de la salud, que se basa en modelos entrenados en el uso de términos médicos específicos del dominio. Los ejemplos en los que la solución tiene un gran impacto son el resumen de conversaciones entre pacientes y médicos y entre médicos y representantes de ventas médicas. Dada la singularidad de este tipo de conversaciones, los modelos de lenguaje pequeños son adecuados para el dominio y pueden tener un impacto significativo. El modelo T5 es un fuerte contendiente entre los modelos de lenguaje más pequeños para esta tarea.

Procesamiento de facturas de proveedores

Por último, el procesamiento de facturas de proveedores es fundamental para los departamentos de compras de las empresas que gestionan facturas a gran escala. La capacidad de escanear automáticamente estas facturas para extraer información no es una tarea trivial debido a las miles de variaciones en las estructuras de las facturas. Phi-3-vision es una excelente opción de modelo para el proceso de procesamiento de facturas.

Si bien los modelos de lenguaje grandes son potentes y precisos, son costosos y la privacidad y seguridad de los datos siguen siendo preocupaciones importantes para las empresas. Los modelos de lenguaje pequeños facilitan a las empresas equilibrar las preocupaciones de rendimiento, coste y seguridad y ayudan a reducir el tiempo necesario para poner las soluciones en producción. Los cinco casos de uso que hemos analizado representan solo algunas de las formas en que las empresas han implementado con éxito modelos de lenguaje pequeños para abordar necesidades específicas y, al mismo tiempo, mitigar los desafíos asociados con los modelos más grandes.