Gráficos de conocimiento: el eslabón perdido en la IA empresarial

Los grandes modelos de lenguaje (LLM) son buenos para aprender de datos no estructurados. Pero gran parte del valor de propiedad que tienen las empresas está encerrado en bases de datos relacionales, hojas de cálculo y otros tipos de archivos estructurados.

Las grandes empresas llevan mucho tiempo utilizando gráficos de conocimiento para comprender mejor las relaciones subyacentes entre los puntos de datos, pero estos gráficos son difíciles de construir y mantener, y requieren el esfuerzo de desarrolladores, ingenieros de datos y expertos en la materia que sepan lo que significan realmente los datos.

Los grafos de conocimiento son una capa de tejido conectivo que se sitúa sobre los almacenes de datos sin procesar, convirtiendo la información en conocimiento significativo en contexto. Así que, en teoría, serían una forma estupenda de ayudar a los LLM a comprender el significado de los conjuntos de datos corporativos, haciendo más fácil y eficiente para las empresas encontrar datos relevantes para incluirlos en las consultas, y haciendo que los propios LLM sean más rápidos y precisos.

En junio de 2023, los investigadores de Gartner dijeron que los líderes en datos y análisis deben aprovechar el poder de los LLM con la solidez de los gráficos de conocimiento para aplicaciones de IA tolerantes a fallos. Los proveedores tomaron la pelota y corrieron con ella. El primer gran anuncio fue en septiembre de 2023 por parte de la empresa de bases de datos de gráficos NebulaGraph. Su herramienta, Graph RAG, facilita a las empresas el uso de gráficos de conocimiento como parte de sus implementaciones de generación aumentada por recuperación (RAG).

La generación aumentada de recuperación (RAG) consiste en que, en lugar de limitarse a enviar una simple pregunta a un LLM, una empresa añade contexto a esa pregunta, incorporando documentos o información relevante de una base de datos vectorial. Sin RAG, los LLM solo saben en qué se les ha entrenado. Con RAG, las empresas pueden añadir información actualizada o información exclusiva de sus empresas. Por ejemplo, si se pide a un LLM que proporcione información sobre un producto de una empresa, los manuales de ese producto y otros materiales de referencia serían de gran ayuda.

Microsoft anunció su proyecto GraphRAG en febrero y lo hizo de código abierto en julio. La empresa de bases de datos de grafos Neo4j también creó una herramienta LLM Graph Transformer, que donó al proyecto de código abierto LangChain en marzo. En abril, esta herramienta se integró en Google Cloud y Vertex AI como parte de la implementación de GraphRAG de Google.

Más recientemente, a principios de diciembre, Amazon también anunció su apoyo a GraphRAG con Amazon Neptune Analytics, como parte de las bases de conocimiento de Amazon Bedrock.

Con toda esta actividad, no es de extrañar que en noviembre Gartner incluyera a GraphRAG en su ciclo de exageración de 2024 para la IA generativa, a mitad de camino de la pendiente hacia el pico de expectativas infladas. Gartner afirma que GraphRAG tardará entre dos y cinco años en alcanzar la madurez. En comparación, los agentes autónomos, situados justo debajo de GraphRAG en el ciclo de exageración, tardarán entre cinco y diez años.

GraphRAG mejora la precisión, fiabilidad y explicabilidad de los sistemas RAG, afirma Gartner, pero añade que la desventaja es que la integración de los gráficos de conocimiento con los modelos de IA gen puede ser técnicamente compleja y computacionalmente costosa. Sin mencionar que los gráficos de conocimiento por sí solos no son para los débiles de corazón.

“Llevo 20 años en el sector de los datos, y durante al menos la mitad de ese tiempo, la gente ha estado intentando que los gráficos de conocimiento sean el camino a seguir”, dice Matt Aslett, director de Investigación, Datos y Análisis de ISG Research.

Hay algunas organizaciones que han invertido en la tecnología, añade, como grandes empresas de medios de comunicación y editoriales, o empresas farmacéuticas que trabajan en el descubrimiento de fármacos. Novartis, por ejemplo, utiliza una base de datos de grafos para vincular sus datos internos a una base de datos externa de resúmenes de investigación. El objetivo es vincular genes, enfermedades y compuestos para acelerar el descubrimiento de fármacos.

E Intuit ha construido su plataforma de conocimiento de seguridad en un gráfico de conocimiento, utilizando la tecnología del proveedor de gráficos de conocimiento Neo4j, con 75 millones de actualizaciones de bases de datos que se introducen en el gráfico por hora. Pero la mayoría de las empresas no utilizan gráficos de conocimiento, dice Aslett. Las empresas que necesitan reunir datos suelen realizar proyectos de integración de datos puntuales.

“Si ya has pasado por el proceso de gráfico de conocimiento, entonces tendría sentido que esa información también estuviera disponible para tu proyecto de IA”, añade. “Pero si aún no lo has hecho, entonces tienes que pasar primero por todo este gran proyecto para introducir tu información en un gráfico de conocimiento”.

En el pasado, eso habría sido una propuesta desalentadora. Pero ahora la IA generativa se está utilizando para ayudar a crear estos gráficos de conocimiento, acelerando el ciclo virtuoso que convierte los datos corporativos en conocimientos prácticos y mejorando la precisión de los LLM al tiempo que reduce el coste y la latencia.

Una demanda de mejor oferta

Un gráfico de conocimiento puede integrarse en una base de datos, situarse sobre una base de datos, vincular varias bases de datos entre sí e incluso extraer información de otras fuentes, todo ello sin cambiar las estructuras de datos subyacentes.

En las bases de datos relacionales tradicionales, las relaciones entre los puntos de datos forman parte de la estructura de la propia base de datos y suelen limitarse a datos clave. Por ejemplo, los registros de clientes pueden vincularse a transacciones individuales mediante un número de identificación de cliente común. Y esas transacciones podrían, a su vez, vincularse a una base de datos de productos a través de un identificador de producto común.

Pero averiguar que un grupo concreto de clientes tiene las mismas preferencias es un poco más complicado, y las cosas se vuelven aún más complejas cuando las relaciones son más sutiles.

Hacer explícitas todas estas relaciones a través de un gráfico de conocimiento facilita la extracción de toda la información relevante a la hora de proporcionar a un LLM el contexto que necesita para responder a una pregunta, produciendo resultados más precisos.

Las empresas suelen utilizar incrustaciones RAG para aumentar las consultas de los LLM con sus conocimientos patentados, pero los expertos estiman que las tasas de precisión suelen llegar hasta el 70%.

“Los enfoques como la generación aumentada de recuperación tradicional a menudo no pueden alcanzar una precisión superior al 80%”, afirma Daniel Bukowski, director de Tecnología de Data2, una empresa emergente de software que trabaja en el problema de la precisión. “Aunque esto puede ser adecuado para algunos usos, muchas industrias y situaciones requieren un 99% o cerca de este porcentaje”.

Los LLM están optimizados para datos no estructurados, añade Sudhir Hasbe, director de producto de Neo4j. “Pero muchos datos empresariales también están estructurados. Entonces, ¿cómo se unen esos datos estructurados y no estructurados para responder a las preguntas? Uno quiere poder ir y obtener la respuesta y, lo que es más importante, explicar por qué obtuvo la respuesta”.

Los gráficos de conocimiento reducen las alucinaciones, dice, pero también ayudan a resolver el desafío de la explicabilidad. Los gráficos de conocimiento se sitúan por encima de las bases de datos tradicionales, proporcionando una capa de conexión y una comprensión más profunda, dice Anant Adya, vicepresidente ejecutivo de Infosys. “Se puede hacer una mejor búsqueda contextual”, dice, “y te ayuda a obtener mejores conocimientos”.

Infosys está realizando pruebas de concepto para utilizar los gráficos de conocimiento con el fin de combinar el conocimiento que la empresa ha ido recopilando a lo largo de los años con herramientas de IA general. “Estamos identificando aquellos casos de uso en los que pueden tener un mayor impacto”, afirma. Entre ellos se encuentran la extracción automatizada de conocimientos, la elaboración de presupuestos, las adquisiciones y la planificación empresarial. “Pero es muy pronto”, añade. “Todavía no está en producción”.

LinkedIn es una de las empresas que ha implementado un gráfico de conocimiento para mejorar el rendimiento de la IA generativa, y sobre la que se ha escrito. En un artículo publicado en abril, LinkedIn informa de que la combinación de RAG con un gráfico de conocimiento le ayudó a mejorar la precisión de una aplicación de IA general de servicio al cliente en un 78%. Y, durante los seis meses anteriores, el equipo de servicio al cliente de LinkedIn utilizó la combinación, lo que redujo el tiempo medio de resolución por incidencia en un 29%.

Reducción de costes y latencia

Cuando se añade la funcionalidad de IA generativa a los flujos de trabajo de la empresa, las consultas suelen aumentarse con información relevante, normalmente procedente de una base de datos vectorial. Y cuanta más información se pueda añadir a la consulta, más contexto tendrá el LLM para producir una respuesta.

“Pero cuanto más contexto y documentos proporciono, más grande se vuelve el RAG”, dice Vamsi Duvvuri, líder de IA en Tecnología, Medios de Comunicación y Entretenimiento, y Telecomunicaciones en EY. “Y mi sistema se vuelve cada vez más lento”. Además, los proveedores de IA generativa suelen cobrar por token; cuanta más información procesan sus modelos, mayores son los costes.

Según un documento de investigación de Microsoft de abril, GraphRAG requirió hasta un 97% menos de tokens y, aun así, proporcionó respuestas más completas que el RAG estándar.

Cuando se utiliza un gráfico de conocimiento como parte de la infraestructura RAG, se pueden utilizar conexiones explícitas para centrarse rápidamente en la información más relevante. “Se vuelve muy eficiente”, dijo Duvvuri. Y las empresas se están aprovechando de esto, dice. “La pregunta difícil es cuántas de esas soluciones se ven en producción, lo cual es bastante raro. Pero eso es cierto para muchas aplicaciones de IA generativa”.

Poner en práctica los LLM

El reto de crear gráficos de conocimiento es que se necesita una gran experiencia para crearlos. Esto fue particularmente difícil para conjuntos de datos grandes y complejos, exactamente aquellos en los que más se necesitaban grafos de conocimiento. Gran parte del arduo trabajo de crear un gráfico de conocimiento consiste en construir la ontología, como definir términos, decidir clasificaciones y averiguar que dos datos diversos están relacionados de alguna manera. “Y esto es algo en lo que la IA gen puede ser buena”, dice Aslett, de ISG. Algunos proveedores ya están intentando ofrecer esta capacidad, dice, pero las herramientas aún se encuentran en las primeras etapas de desarrollo.

Antes de la IA generativa, las empresas solían intentar crear grafos de conocimiento con aprendizaje automático. “Solíamos utilizar el procesamiento del lenguaje natural para crear gráficos de conocimiento, utilizando el reconocimiento de entidades nominales y creando relaciones mediante la coocurrencia”, dice Duvvuri. “La creación llevaba mucho tiempo porque había que entrenar el canal de PNL. Era una forma muy laboriosa de conseguirlo”.

Hoy en día, los LLM reducen significativamente el tiempo necesario para crear gráficos de conocimiento.

“Yo mismo he creado gráficos de conocimiento utilizando grandes modelos de lenguaje”, afirma. “Es una forma estupenda de extraer relaciones. El poder de un ráfico de conocimiento se acelera utilizando un gran modelo de lenguaje, y añadir un gráfico de conocimiento a un LLM acelera su rendimiento y también mejora el coste”.

Pierre Liang, profesor de Contabilidad en la Tepper School of Business de la Universidad Carnegie Mellon, afirma que la IA generativa tiene una forma asombrosa de generar conocimientos que antes no era posible. 2He visto ejemplos de esto en mi laboratorio”, afirma. “Las oportunidades para las empresas de utilizar LLM para ayudarnos a generar y utilizar grafos de conocimiento son muy prometedoras”.