Los CIO subestimarán en un 30% los costes de la infraestructura de IA

Las grandes empresas calcularán de forma incorrecta los costes de su infraestructura de inteligencia artificial (IA) en los próximos dos años, lo que llevará a un número creciente de CIO a ampliar el alcance y el peso estratégico de sus equipos de FinOps, según las previsiones de IDC.

Los usuarios empresariales de IA se encaminan hacia un “ajuste de cuentas de la infraestructura de IA”, ya que los CIO y los responsables financieros están comprobando que los modelos presupuestarios tradicionales no funcionan para iniciativas de IA que requieren una gran capacidad de cálculo, según defiende Jevin Jensen, vicepresidente de investigación de infraestructura y operaciones de IDC. De hecho, las 1.000 mayores empresas del mundo subestimarán los costes de su infraestructura de IA en un 30% hasta 2027, según la consultora.

El coste de poner en marcha proyectos de IA es completamente distinto al que supone desplegar una nueva solución ERP u otros sistemas de TI que las organizaciones llevan décadas implementando, señala Jensen. Calcular el coste de las GPU, la inferencia, las redes y los tokens resulta mucho más complejo que presupuestar un sistema de TI tradicional, y los CIO también deben incorporar los costes asociados a la seguridad, la gobernanza y la formación de los empleados.

En un artículo de su blog, Jensen ha escrito que “la IA es cara, impredecible, muy diferente de los proyectos de TI tradicionales y crece más rápido de lo que la mayoría de los presupuestos pueden soportar”, y añade: “Las aplicaciones habilitadas para IA suelen consumir muchos recursos, se combinan con modelos de consumo opacos y han superado el manual tradicional de presupuestación de TI”.

Los responsables de TI tienden a subestimar la complejidad de los precios asociados al escalado de la IA, apostilla.

De la entrada del blog se puede extraer que “los modelos que duplican su tamaño pueden consumir diez veces más recursos informáticos. Las cargas de trabajo de inferencia se ejecutan de forma continua, consumiendo ciclos de GPU mucho después de que finalice el entrenamiento. Lo que antes parecía una partida contable contenida ahora se comporta como un organismo vivo: crece, se adapta y agota los recursos de forma impredecible”.

Punto de no retorno

Mientras los CIO tratan de estimar los costes reales de la IA, el frenesí inversor de los grandes proveedores —como OpenAI o Anthropic— añade presión para recuperar con rapidez esas inversiones, según algunos analistas. En una reciente intervención en el podcast Decoder, el CEO de IBM, Arvind Krishna, alertó sobre el coste de construir 100 gigavatios de capacidad en centros de datos —unos 8 billones de dólares— como el “combustible” necesario para sostener las ambiciones de IA de los grandes actores del mercado.

“En mi opinión, no hay forma de obtener un retorno de esa inversión, porque 8 billones de dólares en gastos de capital implican necesitar alrededor de 800.000 millones de dólares en beneficios solo para pagar los intereses”, afirma Krishna.

No obstante, Barry Baker, director de operaciones de IBM Infrastructure y director general de IBM Systems, admite que las cifras no cuadran.

A corto plazo, un único centro de datos de un gigavatio podría costar más de 75.000 millones de dólares, señala Baker, en línea con las advertencias de su CEO.

Y explica: “Gran parte de esta inversión se está realizando en paralelo, lo que provoca que la demanda supere a la oferta y que aumenten drásticamente los precios de todos los componentes de la ecuación de costes, desde la mano de obra hasta el hormigón y el silicio”.

Además, la vida útil del hardware de los centros de datos de IA es limitada. En su opinión, “a estas cifras ya de por sí astronómicas se suma el hecho de que los equipos informáticos deben sustituirse cada pocos años, lo que genera un ciclo continuo de reinversión que muchas organizaciones no han incorporado plenamente en su planificación a largo plazo”.

Jensen coincide en que el enorme gasto en IA por parte de proveedores e hiperescalares como AWS, Microsoft Azure o Google Cloud mantendrá los precios elevados a corto plazo. Y afirma: “Están intentando recuperar cientos de miles de millones de dólares en costes vendiéndoselo a usted por 150.000 millones.

No obstante, prevé que, a partir de 2027, los precios de la infraestructura de IA comiencen a descender, impulsados por la caída del precio de las GPU —incluidas las de fabricantes como Nvidia— y por una mayor competencia entre hiperescalares y proveedores de IA para estimular la demanda.

La dificultad de estimar los costes reales

Según diversos expertos, y más allá del debate sobre el gasto masivo en centros de datos y GPU, muchos responsables de TI que consumen infraestructura de IA siguen teniendo serias dificultades para estimar sus costes reales.

La previsión de IDC es plausible, si no conservadora, afirma Nik Kale, ingeniero principal de CX Engineering, seguridad en la nube y plataformas de IA en Cisco. Muchas organizaciones siguen proyectando los costes de la infraestructura de IA como si se tratara de cargas de trabajo en la nube predecibles.

Por eso, explica que “el uso se dispara una vez que los modelos entran en producción dentro de la empresa. Un flujo de trabajo pensado para un solo equipo suele convertirse rápidamente en un servicio compartido a nivel corporativo, lo que provoca un aumento de la demanda que no estaba contemplado en el modelo de costes original”.

Además, los sistemas necesarios para mitigar los riesgos asociados a la IA —como la monitorización, la detección de desviaciones, el registro o las validaciones— pueden consumir mucha más potencia de cálculo de la esperada.

De ahí que señale que “en algunos entornos empresariales, estos sistemas auxiliares han llegado a costar tanto o más que la propia inferencia del modelo”.

FinOps, de opcional a imprescindible

Los expertos coinciden en que los CIO deben extremar las precauciones al estimar los costes de su infraestructura de IA. Jensen observa una creciente adopción de FinOps, que ha pasado de ser una buena práctica a convertirse en un requisito imprescindible. En la mayoría de las organizaciones, estos equipos dependerán directamente de la oficina del CIO.

Las prácticas de FinOps son clave para identificar las mejores opciones de infraestructura de IA en cada empresa. Un enfoque maduro obliga a priorizar los proyectos con mayor probabilidad de retorno, a entender en profundidad los costes y a adaptarse continuamente a un entorno cambiante.

En opinión de Jensen, “la IA ha transformado el gasto tecnológico de un consumo predecible a un comportamiento probabilístico. Eso implica que la visibilidad financiera debe ser continua, no puntual”.

De ahí que señale que los responsables de TI deberían empezar por proyectos de IA de “victoria rápida”, aunque estos varían enormemente entre organizaciones. “Un proyecto sencillo en una empresa puede ser inviable en otra”, apostilla.

“Si tienes una idea y tu competidor está perdiendo dinero con ella, deja que siga perdiendo dinero. Si no funciona, hay que cambiar de enfoque”, aconseja.

Kale advierte de que adoptar FinOps es sólo el primer paso. En el contexto de la IA, los equipos financieros deben comprender cómo funcionan los modelos y detectar dónde se están desperdiciando recursos computacionales.

Los equipos de FinOps deben apoyarse en análisis operativos que permitan no sólo ver cómo se gasta el dinero, sino también cómo se comportan las cargas de trabajo.

Y añade: “Una estrategia eficaz consiste en orientar a los equipos hacia el uso del modelo más pequeño posible para cada tarea. En muchos casos, es posible redirigir las solicitudes a modelos más simples sin afectar a la experiencia del usuario”.

Kale también recomienda revisar el diseño de los sistemas de recuperación, los procesos de validación y las comprobaciones de políticas para evitar ejecuciones innecesarias.

Y concluye que la gestión de las GPU es otro punto crítico. “Con frecuencia, los nodos de GPU operan muy por debajo de su capacidad por una mala planificación o por la falta de una gestión centralizada de las cargas de trabajo. Una mejor coordinación puede generar ahorros muy significativos”.

Evitar la dependencia de un único proveedor

Por su parte, Barry Baker recomienda adoptar arquitecturas híbridas para evitar una dependencia excesiva de un único proveedor de infraestructura de IA. Asimismo, los CIO deben vigilar de forma constante los recursos computacionales necesarios para ejecutar sus cargas de trabajo.

A su juicio, “dimensionar correctamente la inversión en IA ofrece enormes oportunidades de ahorro. No todos los casos de uso requieren el modelo más grande ni el menor tiempo de respuesta”.

Las organizaciones deberían apostar por técnicas de cuantización y compresión, así como por modelos más pequeños y especializados en tareas concretas, en lugar de recurrir sistemáticamente a grandes modelos de lenguaje de propósito general.

Baker concluye con que muchas empresas también pueden beneficiarse de la paciencia estratégica. “Evitar inversiones prematuras permite aprender de los primeros adoptantes, que asumen el coste de llegar demasiado pronto”.