Cómo las empresas compiten por resolver el problema de los ‘tokens’ de IA

Debido a que las herramientas y servicios de IA generativa se han vuelto tan ubicuos (y populares), los costes de utilizarlos se están disparando, lo que lleva a un apetito insaciable por los tokens.

Éstos representan una forma común de medir y fijar el precio del uso de la IA. Al igual que las letras y palabras en inglés, los grandes modelos de lenguaje (LLM) comprenden una frase o consulta descomponiendo las palabras en tokens.

Con la explosión de la IA ya en pleno desarrollo, los tokens son ahora “las unidades fundamentales de datos que procesan nuestros modelos, muchas de las cuales representan un problema que se está resolviendo”, según el CEO de Google, Sundar Pichai. (Por cierto, procesa alrededor de 3,2 cuatrillones de tokens al mes).

Pero a medida que el precio de todos esos tokens se acumula, los ejecutivos de negocio y TI están buscando formas de reducir costes mientras mantienen alta la productividad corporativa. El uso descontrolado de tokens ya le ha supuesto a una empresa una factura inesperada de 500 millones de dólares en IA.

Existen varias maneras de que las empresas controlen el precio de la IA a nivel de modelo, infraestructura, silicio y negocio. A continuación, un vistazo a cómo podrían lograrse algunos de esos ahorros.

Cambiar a modelos de menor coste

Una forma potencial de ahorrar dinero es redirigir el trabajo de IA a un modelo más barato, dijo Pichai. En Google, ese sería Gemini 3.5 Flash. Ofrece “capacidades de nivel de frontera a menos de la mitad del precio de modelos de frontera comparables”.

“Si las empresas usan una combinación de [Gemini 3.5] Flash y otros modelos de frontera, podrían ahorrar mucho dinero”, afirmó el CEO de Google.

Ese tipo de modelos proporciona tokens más baratos, con un razonamiento suficientemente bueno para muchos usuarios, aunque no tan potente como el Gemini 3.5 principal, para ofrecer resultados útiles.

“A veces hay un exceso con los [LLM]”, —sostiene Deepak Seth, director analista senior de Gartner—. No siempre necesito un gran modelo de lenguaje que haya sido entrenado con las obras de Charles Dickens, Shakespeare y Harry Potter”.

Steven Dickens, analista principal de Hyperframe Research, no deja de usar Quick de Amazon, que cuesta 20 dólares al mes, para tareas personales. “Tiene un gran retorno personal de la inversión, ya que no sólo ha hecho las tareas más rápidas, sino que ha desbloqueado tareas que nunca habría intentado antes”, explica.

No olvide la parte de hardware y software de la ecuación

La crisis de los tokens no es nueva, en opinión de Dheeraj Pandey, CEO de DevRev. Compara lo que sucede ahora en el mercado de la IA con las disrupciones que surgieron con la llegada de la computación en la nube y la virtualización hace años.

“Dejamos que el caos reinara y luego tuvimos que controlarlo” —dice Pandey—. “La palabra que la gente empezó a usar fue consolidación de servidores y virtualización”.

En su opinión, la respuesta al problema de los tokens es la misma: “Cualquier cosa en sistemas se puede resolver con caché e indirección”.

Por ejemplo, DevRev está construyendo una capa de memoria entre los agentes de IA y las fuentes de datos principales, como Salesforce o registros de ERP; esto puede reducir la carga de tokens y hacer más eficiente el movimiento de datos. La capa mantiene un grafo de conocimiento con respuestas a preguntas comunes de los agentes y funciona sobre CPU más baratas, evitando ciclos de GPU más costosos.

Enviar agentes directamente a sistemas como ServiceNow y Salesforce “consumirá muchos más tokens. Además, no es preciso. Y, por último, no es lo suficientemente seguro como para poder revertirlo en caso de que un agente cometa un error”, reconoce Pandey.

NetBrain, especialista en automatización de redes, utiliza un método distinto: emplea computación convencional para mapear la estructura de una red y luego proporciona solo información clave a los modelos para la planificación y el razonamiento, donde la IA destaca. “Así no tienes que gastar todos los tokens”, tal y como explica su CTO, Song Pang.

Centrarse en la eficiencia de los ‘prompts’

La empresa de dotación de personal ManpowerGroup ha descubierto que la eficiencia de los prompts puede ser una herramienta eficaz para mejorar el uso de tokens, tanto internamente como externamente para los clientes.

Por ejemplo, los usuarios que accedían a su herramienta interna de mercado laboral inicialmente necesitaban 10 preguntas de seguimiento para profundizar en una consulta. Un año después, un uso más eficiente de los prompts ha reducido ese número a una media de cuatro, explica Max Leaming, responsable de ciencia de datos y soluciones de IA en ManpowerGroup.

Según Leaming, “están usando menos tokens y son simplemente más eficientes. Y eso en gran parte tiene que ver con tu capacidad para formular prompts de manera eficiente”.

Apuesta por lo local

El nuevo hardware de IA que genera tokens gratis en casa podría aliviar parte de la crisis de costes.

Nvidia y Microsoft presentaron RTX Spark a principios de este mes en el En el GTC Taipei. Se trata de un PC de escritorio con IA agente que ejecuta agentes y modelos de 120.000 millones de parámetros localmente en Windows. El objetivo es “ofrecer inteligencia sin medición a cada hogar y cada escritorio con Windows”, dijo el CEO de Microsoft, Satya Nadella, en un comunicado.

Algunas empresas buscan reducir los costes de la IA en la nube instalando su propio hardware en centros de datos, con proveedores como HPE y Dell que ofrecen servidores instalados en instalaciones independientes. (La IA on‑premise está ganando terreno en medio de preocupaciones sobre la IA soberana y tensiones geopolíticas, incluido el reciente conflicto en Oriente Medio, donde grandes centros de datos fueron alcanzados por misiles).

Max Goss, director analista senior de Gartner, defiende que “existen soluciones de IA locales, específicas por región y de múltiples proveedores. Todo eso puede ayudar a mitigar el riesgo. Pero no lo va a eliminar”.

Usar ingenieros desplegados en cliente

Reducir los costes de tokens es algo que podría recaer en ingenieros desplegados en cliente (FDE) en los entornos de los clientes, tal y como cree Taimur Rashid, director gerente del Centro de Innovación en IA Generativa de AWS.

A su juicio, “espero que estos equipos sean capaces de diseñar sistemas teniendo en cuenta esos requisitos de coste, ya sea usar un modelo diferente o un caso de uso distinto que no incremente el coste por token”.

Y añade: “Las empresas pueden gastar mucho en consumo de tokens, pero si estás generando ingresos, siempre que la economía cuadre, entonces estás tranquilo”.

El uso de FDE está creciendo a medida que los responsables de TI buscan desplegar implementaciones de IA exitosas mientras mantienen el control de los costes.

Cambiar la medida del éxito de ‘tokens’ a resultados

Incluso con el énfasis actual en reducir el uso de tokens para ahorrar dinero, es probable que las métricas utilizadas para medir el éxito de la IA cambien, defiende Seth, de Gartner. En algún momento, la tarificación basada en tokens evolucionará hacia un modelo más basado en resultados, donde la unidad de valor sean los resultados, no fragmentos de palabras.

“Algunas empresas están avanzando hacia una tarificación basada en resultados. Cuando la gente empiece a darse cuenta del coste real de los tokens, entonces las empresas empezarán a centrarse en la eficiencia de los tokens”, concluye el analista.