La crisis de los costes ocultos de la IA

La fiebre del oro de la inteligencia artificial (IA) está creando un problema inesperado: un desperdicio masivo en el aprovisionamiento de recursos. El exceso de costes de la nube conduce inevitablemente a una falta de verdadero retorno de la inversión para estos sistemas. Muchas empresas gastan 2 dólares para obtener 1 dólar de beneficios. Eso no es rentable.

Datos recientes muestran una realidad asombrosa de organizaciones que pierden dinero por un exceso de aprovisionamiento de recursos en la nube, con solo el 13% de las CPU aprovisionadas y el 20% de la memoria utilizadas.

Déjeme que le pinte un cuadro de lo que quita el sueño a los directores financieros. Imagínese entrar en un enorme centro de datos donde el 87% de los ordenadores están ahí, zumbando, sin hacer nada. Suena a locura, ¿verdad? Eso es exactamente lo que está sucediendo en su entorno de nube. Si gestiona una operación típica de computación en la nube empresarial, está malgastando dinero. No es raro ver a empresas gastar 1 millón de dólares al mes en recursos en la nube, con un 75% u 80% de esa cantidad que se va directamente por la ventana. No es ningún misterio lo que esto significa para sus resultados.

Si ejecuta 1.000 instancias de alto rendimiento y cada una cuesta un dólar por hora, eso son 720.000 dólares al mes, pero probablemente solo esté utilizando unos 93.600 dólares en informática. El resto es solo decoración digital cara. Pero espera, se pone peor. No solo estás desperdiciando dinero en computación y almacenamiento sin usar; también estás pagando por refrigeración, energía, administración y licencias de software para una capacidad que está ahí acumulando polvo digital. Los proveedores de la nube no son organizaciones benéficas. Te están pasando ese coste a ti. Ese capital desperdiciado podría estar financiando la innovación, impulsando la ventaja competitiva o simplemente haciendo más felices a tus accionistas. El sobreaprovisionamiento está enmascarando problemas más profundos en tu arquitectura.

Llevo en este negocio el tiempo suficiente como para saber que la computación en la nube se supone que es su ventaja competitiva, no su ancla financiera. En este momento, para la mayoría de las empresas, es lo último. Hasta que las empresas se tomen en serio la lucha contra este desperdicio, la promesa de la economía de la nube seguirá siendo solo eso: una promesa.

Los números no mienten, pero la gente miente sobre los números

Solo en 2023, los proveedores de la nube desplegaron 878.000 aceleradores que generaron siete millones de horas de trabajo de GPU, lo que se tradujo en unos ingresos aproximados de 5.800 millones de dólares. Estas cifras ocultan una preocupante ineficiencia. Los ingresos aumentarían significativamente si estos recursos se utilizaran de forma más eficaz.

Las cargas de trabajo de IA han empeorado exponencialmente este problema. Los proveedores de nube se apresuran a desplegar decenas de miles de GPU y aceleradores de IA, pero las pruebas sugieren que la mayoría de estos procesadores están infrautilizados. Consideremos los clústeres UltraScale de AWS. Cada uno de ellos consta de 20 000 GPU Nvidia H100, que teóricamente podrían generar 6500 millones de dólares anuales a pleno rendimiento, pero no se acercan a esa cifra.

Las organizaciones suelen aprovisionar recursos en la nube en exceso, un tercio más de lo que realmente utilizan. Más de la mitad de las organizaciones citan la falta de visibilidad del uso de la nube como el principal culpable de este comportamiento derrochador. Este problema se ve agravado por el auge de la IA, que ha llevado los ingresos por componentes de centros de datos a niveles récord, con un crecimiento anual del 127% hasta alcanzar los 54.000 millones de dólares.

Evitar el desperdicio de la nube impulsado por la IA

Las empresas inteligentes no se limitan a esperar a que el problema desaparezca, sino que toman medidas. Este es mi consejo:

• Duplique la supervisión en tiempo real. No confíe únicamente en las herramientas básicas que ofrece su proveedor de nube; no le proporcionarán la visibilidad de costes inmediata que necesita. En su lugar, invierta en soluciones de terceros que proporcionen una imagen clara y actualizada de la utilización de sus recursos. Céntrese en las GPU que consumen mucha energía y ejecutan cargas de trabajo de IA.
• Optimice la asignación de recursos. En lugar de aumentar el número de instancias, considere la posibilidad de ajustar el tamaño. Los tipos de instancias modernas que ofrecen los proveedores de nube pública pueden ofrecerle más por su dinero.
• Utilice la IA para gestionar sus recursos en la nube. El análisis predictivo puede ayudarle a ampliar o reducir la escala en función de la demanda, lo que garantiza que no pague por recursos inactivos.
• No se centre únicamente en el tamaño de las instancias. Sea estratégico y tenga una visión más amplia. Evalúe las instancias reservadas y los planes de ahorro para equilibrar el coste y el rendimiento. Recuerde que es posible que tenga cargas de trabajo ejecutándose en instancias grandes cuando otras más pequeñas y eficientes podrían hacer el trabajo mejor.
• Audite periódicamente la utilización de su GPU. Las tasas de utilización de la CPU y la memoria constantemente bajas son señales de alerta. Supervise la diferencia entre lo que provisiona y lo que utiliza, especialmente para las cargas de trabajo de IA.

La inflación de los recursos en la nube no se trata solo de costes. Se trata de eficiencia y sostenibilidad, incluidos los procesos y las mejores prácticas. Las organizaciones deben examinar detenidamente sus estrategias de asignación de recursos en la nube, especialmente a medida que las cargas de trabajo de IA se vuelven más frecuentes. La clave está en equilibrar el hecho de tener suficientes recursos para manejar las demandas máximas y evitar la trampa del costoso sobreaprovisionamiento.

Sí, esto parece de sentido común, pero recibo una llamada a la semana de consejos de administración, directores financieros y directores de sistemas de información molestos por sobrecostes que disparan el presupuesto, a menudo causados por administradores de la nube, arquitectos de la nube u otro personal de TI que ni siquiera entienden que tienen un problema. Eso es inaceptable.