Los CIO se replantean la nube pública a medida que maduran las estrategias de IA

Los CIO han comenzado a replantearse su dependencia de la nube pública para la IA y otras cargas de trabajo, lo que conlleva el resurgimiento del interés por la nube privada y los entornos locales.

Si bien la nube pública ofrece la flexibilidad necesaria para poner en marcha un gran número de GPU para la experimentación con IA, no son pocos los CIO que ya recurren a la nube privada o a entornos locales conforme sus estrategia de IA maduran y se establecen en cargas de trabajo de IA predecibles, con el fin de limitar el gasto y proteger la privacidad de los datos, tal y como admite Greg Whalen, director de tecnología de la empresa de observabilidad de datos Prove AI.

Más aún: una reciente encuesta de Prove AI realizada a 1.000 líderes empresariales de Estados Unidos y Canadá reveló que el 67% tiene previsto migrar algunos datos de IA a entornos no basados en la nube en los próximos 12 meses. Además de la previsibilidad de los costes y las preocupaciones sobre la privacidad de los datos, la encuesta determina que otras razones para este cambio a tener en cuenta son los problemas de seguridad y los retos de integración de la nube con los entornos SaaS.

De ahí que Whalen reconozca que las organizaciones que ejecutan cargas de trabajo de IA de forma constante pueden ahorrar dinero comprando un par de GPU o instalando algunas en su proveedor de nube privada en lugar de alquilar tiempo en la nube pública. Es más, está convencido de que si los responsables de TI pueden estimar con precisión sus necesidades, las GPU internas se utilizarán mucho y tendrán poco tiempo de inactividad.

“Si realmente está realizando ajustes, o incluso si sólo está intentando personalizar un modelo RAG (generación aumentada por recuperación), probablemente necesite horas de computación continua con GPU”, admite. Y añade: “Sus cargas de trabajo no son muy irregulares, ni siquiera con la evaluación real del modelo y su ejecución”.

Whalen no cree que haya muchas organizaciones que utilicen sus propias GPU y tengan problemas de infrautilización. En su opinión, “si alguien dice: “Tienes una GPU y probablemente sólo la vas a utilizar el 10% del tiempo”, nuestra experiencia indica que eso no es así. Siempre se le encuentra uso y, a menudo, la mayor parte de la carga de trabajo es formación, que es muy continua. Es algo que se ejecuta en cantidades de tiempo predecibles”.

Crecimiento del gasto en nube privada

Si bien la encuesta de Prove AI muestra interés en la computación local, otra encuesta, en este caso realizada por el proveedor de redes y seguridad GTT Communications, revela un crecimiento significativo del gasto en nube privada, incluso aunque el gasto en la nube pública también aumenta a un ritmo menor.

Grosso modo, concluye que en el número de organizaciones que planean gastar más de 10 millones de dólares en la nube pública crece el 12% entre 2024 y 2025.

Sin embargo, el porcentaje de encuestados que planean gastar más de 10 millones de dólares en servicios de nube privada creció aún más rápido, pasando del 36% en 2023 al 43% en 2024 y al 54% en 2025. Eso supone el doble de la tasa de crecimiento de los grandes gastadores en la nube pública.

GTT descubrió que más de la mitad de todas las cargas de trabajo de IA reside ahora en una combinación de entornos de nube privada y locales. Como principales razones para buscar alternativas a la nube pública están la seguridad, el cumplimiento normativo y las necesidades específicas de las cargas de trabajo de IA.

Bastien Aerni, vicepresidente de estrategia y adopción de tecnología de GTT, cree que las preocupaciones normativas y de cumplimiento son un importante factor que impulsa el uso de la nube privada o las soluciones locales. A su juicio, muchas empresas están trasladando sus cargas de trabajo sensibles a nubes privadas como parte de estrategias más amplias de multinube e híbridas para dar soporte a la IA agencial y otras iniciativas complejas de IA.

De hecho, dice Aerni, “la mayoría de las veces, la IA maneja datos confidenciales o críticos para el negocio. Entonces, la reflexión sobre la arquitectura y sobre si la carga de trabajo debe ser pública o privada, o incluso local, se convierte en una cuestión fundamental”.

Aerni es de la opinión de que la nube pública sigue ofreciendo la máxima escalabilidad para los proyectos de IA. Incluso afirma que, en los últimos años, la cantidad de capacidades adicionales que ofrece ha terminado por convencer a los directores de informática se han visto convencidos.

“En algunas de las conversaciones que mantuve con directores de informática, hace unos cinco años, decían: “Existen tantas herramientas como funciones. Ahora, cuando tengo la misma conversación, me dicen: “En realidad, ya no utilizo tanto esas herramientas”. Todos buscan estabilidad y previsibilidad».

Un pequeño éxodo

También no son pocos los expertos en nube e IA que no ven una gran salida de la nube pública, pues consideran que el crecimiento sigue aumentando debido a las elevadas demandas informáticas de la IA. Es más, Danilo Kirschner, director general de la consultora de nube Zoi North America, admite que un gran porcentaje de las empresas siguen utilizando modelos de nube híbrida.

En su opinión, la repatriación es una realidad, pero las organizaciones no están abandonando por completo la nube pública.

Y añade: “La paradoja es clara: las cargas de trabajo de IA están impulsando de manera simultánea un crecimiento masivo de la nube y una repatriación selectiva, porque el mercado se está expandiendo tan rápidamente que está dando cabida a múltiples modelos de implementación a la vez. Lo que estamos viendo es la maduración de una estrategia un tanto infantil de “todo a la nube” hacia decisiones inteligentes y específicas para cada carga de trabajo”.

Zac Engler, director de IA de la consultora de personal de TI C4 Technology Services, también es partidario de la misma tendencia.

Tal y como cree, “no estamos asistiendo a un éxodo masivo de la nube. Parece como si las empresas decidieran tomar la puerta de atrás para salir con sigilo llevando consigo sus cargas de trabajo de IA más valiosas”.

Por eso cree que la confianza, el coste y el control de los datos vuelven a estar en la agenda de las salas de juntas e influyen en las decisiones sobre dónde se ejecutan las cargas de trabajo de IA y dónde se almacenan los datos.

Para Engler, “la nube pública sigue siendo ideal para experimentar, escalar rápidamente y causar una buena impresión en las presentaciones a la junta directiva. Pero, cuando se trata de datos propios, cumplir la normativa cumplimiento o no gastar dinero de manera innecesaria, las configuraciones locales y privadas empiezan a tener mucho más sentido”.