L’AI cresce. E, con lei, aumentano anche le difficoltà delle infrastrutture

Le aziende che sperimentano la GenAI di solito creano account di livello aziendale con servizi basati sul cloud, come ChatGPT di OpenAI o Claude di Anthropic, e i primi test sul campo e i vantaggi in termini di produttività le portano a cercare altre opportunità per implementare la tecnologia.

“Le imprese utilizzano l’intelligenza artificiale generative per produrre sintesi esecutive o contenuti di marketing”, afferma Nick Kramer, leader delle soluzioni applicate di SSA & Company, una società di consulenza globale, e l’anno prossimo assisteremo a una maggiore adozione e standardizzazione di queste tipologie di casi d’uso aziendali, oltre che all’integrazione della GenAI in altre applicazioni utilizzate dalle aziende. È qui che avverrà la maggior parte della generazione di valore.

Photoshop di Adobe, per esempio, ha ora una funzione di AI generativa. Anche Google e Microsoft stanno introducendo funzionalità di questo tipo nelle loro piattaforme di produttività, così come Salesforce [in inglese] e la maggior parte degli altri vendor aziendali [in inglese]. La nuova funzionalità potrebbe comportare un costo aggiuntivo, ma – a livello di infrastrutture – dovranno essere i fornitori a doversi occupare delle potenziali sfide infrastrutturali.

Sebbene tutti possano utilizzare ChatGPT, o avere Office 365 e Salesforce, per far sì che la GenAI sia un elemento di differenziazione o un vantaggio competitivo, le aziende devono trovare il modo di andare oltre quello che fanno gli altri. Ciò significa creare modelli personalizzati, perfezionare i modelli esistenti o utilizzare l’embedding della Retrieval Augmented Generation (RAG) [in inglese] per dare ai sistemi di intelligenza artificiale generativa l’accesso a informazioni aziendali aggiornate e precise. E questo significa che le aziende devono investire in infrastrutture per la formazione e l’implementazione di questi sistemi.

L’azienda specializzata nei test nel settore delle telecomunicazioni Spirent è stata una di quelle che ha iniziato utilizzando semplicemente un chatbot, in particolare, la versione aziendale di ChatGPT di OpenAI, che promette la protezione dei dati aziendali.

“Non volevamo che i nostri dati finissero in un modello pubblico”, dice Matt Bostrom, vice president della tecnologia e della strategia aziendale della società. L’edizione enterprise rispondeva a questa esigenza, così non abbiamo dovuto costruire il nostro LLM [in inglese]”. All’epoca, OpenAI aveva il migliore, anche se ora Claude lo sta sfidando e lo usiamo anche noi”.

L’azienda è ancora in funzione, con oltre 130 licenze disponibili per i suoi utenti interni, che utilizzano l’interfaccia di chat standard, e non sono necessari costi per le API o le integrazioni. “Si utilizza solo la loro applicazione e si paga la licenza d’uso”, spiega.

Ma questo era solo l’inizio. “Sapevamo di voler incorporare l’AI nelle nostre applicazioni esistenti”, aggiunge. “Salesforce e altri hanno un modulo per l’intelligenza artificiale che si può aggiungere, ma noi volevamo essere più specifici per il nostro caso d’uso”. Ciò significava che l’azienda avrebbe dovuto fare un lavoro serio sull’infrastruttura. Come la maggior parte dei progetti di AI di livello aziendale, si è iniziato con i dati [in inglese].

Massimizzare il potenziale dei dati

Secondo il rapporto Q3 State of Generative AI di Deloitte, il 75% delle imprese ha aumentato la spesa per la gestione del ciclo di vita dei dati grazie all’AI generativa.

“Quando sono arrivato in azienda, lo scorso novembre, abbiamo affrontato una modernizzazione dei dati con AWS”, racconta Bostrom. “E siamo passati al suo stack tecnologico sia con quelli strutturati che non strutturati”.

Far uscire i dati dai sistemi legacy e inserirli in un moderno data lake è stato fondamentale per poter costruire l’AI. “Se ci sono problemi di dati o sulla loro integrità, non si otterranno grandi risultati”, osserva. Una volta organizzati i dati, spostarli dove erano necessari è stata un’altra sfida, dice.

“Nella nostra azienda avevamo strumenti di integrazione, ma erano vecchi e superati”, aggiunge. Ottenere il tipo di integrazione su larga scala necessaria per la GenAI avrebbe richiesto aggiornamenti significativi e costosi.

Invece, Spirent ha deciso di scegliere SnapLogic per il livello di integrazione, per gestire la scalabilità necessaria al progetto. “Abbiamo valutato molti fornitori diversi e questo era il più potente”, dice. “Nel momento in cui stavano per lanciare il loro AI builder, che ci avrebbe fatto risparmiare denaro per non dover acquistare un altro componente aggiuntivo”.

Di conseguenza, Spirent utilizza l’AI per i dati di test all’interno dei suoi prodotti, per aiutare l’assistenza clienti e la produttività interna, indica Bostrom. Per esempio, un dipendente che ha bisogno di creare una nuova presentazione di vendita in Salesforce può premere un pulsante e il contenuto pertinente dell’archivio SharePoint dell’azienda viene recuperato e confezionato.

Questi contenuti rilevanti potrebbero includere migliaia di pagine di informazioni, come le regole di conformità per determinati Paesi. Queste informazioni interne verrebbero integrate con i dati archiviati nella piattaforma Salesforce e inviate all’intelligenza artificiale come parte di una richiesta ben calibrata. La risposta torna poi in Salesforce, e il dipendente la può esaminare, modificare e inviare attraverso il normale processo previsto da questo applicativo.

“È solo un esempio”, tiene a precisare. “Ma ora che le persone ci hanno preso gusto, ne abbiamo creati altri”.

Spostare le informazioni in data warehouse e pipeline moderne è stato un enorme passo avanti, ma non ha risolto tutte le problematiche dell’infrastruttura AI dell’azienda.

“Siamo un’impresa globale e ci sono limitazioni locali sugli LLM”, sottolinea Bostrom. “OpenAI ha bloccato alcuni Paesi, e anche Claude si sta muovendo in tal senso. Abbiamo dipendenti a livello globale e non vogliamo violare alcuna policy, quindi dobbiamo capire come indirizzare il dipendente verso un percorso di LLM approvato per il suo Paese”.

Come rimedio, esistono opzioni di distribuzione regionale, per le quali, ad esempio, un data center AWS a Singapore potrebbe supportare gli utenti in Cina. Ma non tutti gli LLM potrebbero essere disponibili in quella regione.

Esistono anche LLM open-source che un’azienda può eseguire per conto proprio in qualsiasi luogo sia necessario, ma c’è una carenza di risorse disponibili, anche con giganti come Amazon. “Vengono acquistati e utilizzati”, afferma. “È difficile ottenere quei server molto potenti che servono per ospitare Mistral”. Quindi, per il momento, Spirent si affida ai grandi fornitori commerciali come OpenAI e accede agli LLM attraverso un’API.

Inoltre, non sta costruendo i propri database vettoriali, che sono comuni per il RAG, un tipo di strategia GenAI che migliora l’accuratezza e la tempestività e riduce le hallucination, evitando il problema di dover addestrare o mettere a punto un’AI su dati sensibili o proprietari.

“Ora c’è una capacità di drag-and-drop che crea automaticamente un database vettoriale”, rileva ancora Bostrom. “Abbiamo un assistente con il quale possiamo inserire un migliaio di file, quindi non abbiamo bisogno di acquistare il nostro archivio vettoriale”.

Con il cambiamento arriva anche la scelta

La decisione di Spirent di utilizzare un cloud pubblico per l’archiviazione dei dati è un approccio popolare. Secondo un sondaggio tra grandi aziende pubblicato quest’estate da Flexential, il 59% utilizza cloud pubblici per archiviare i dati di cui ha bisogno per l’addestramento e l’inferenza dell’AI, mentre il 60% si avvale di fornitori di colocation e il 49% di infrastrutture on-premise. Inoltre, quasi tutte le aziende hanno una roadmap sull’AI, con più della metà che prevede di aumentare gli investimenti in infrastrutture per soddisfare la necessità di un maggior numero di carichi di lavoro sull’intelligenza artificiale. Tuttavia, le imprese stanno guardando oltre i cloud pubblici per le loro esigenze di AI computing, e l’opzione più popolare, utilizzata dal 34% delle grandi aziendali, sono i fornitori specializzati di GPU-as-a-service.

Prendiamo, per esempio, l’azienda di outsourcing di processi aziendali TaskUs, che sta vedendo la necessità di maggiori investimenti nell’infrastruttura via via che aumenta le sue implementazioni di AI generativa. La sfida non è strabiliante, ritiene il suo CIO Chandra Venkataramani, ma significa che l’azienda deve stare attenta a tenere sotto controllo i costi. “Non vogliamo lasciarci trasportare dalla tecnologia e impazzire con essa”, afferma. In particolare, TaskUs deve spostare più calcoli e dati avanti e indietro.

Esistono due tipi principali di calcolo AI, precisa Naveen Sharma, SVP e responsabile globale di Cognizant per l’intelligenza artificiale e per l’analisi, e presentano problematiche diverse. Sul lato della formazione, la latenza è un problema minore [in inglese], perché questi carichi di lavoro non sono sensibili al tempo. Le aziende possono effettuare la formazione o la messa a punto in luoghi più economici durante le ore libere. “Non abbiamo aspettative di risposte al millisecondo e le aziende sono più indulgenti”, spiega.

L’altro uso principale del calcolo dell’AI è quello dell’inferenza, quando il modello di intelligenza artificiale addestrato viene utilizzato per rispondere effettivamente alle domande. Ciò, in genere, deve avvenire in tempo reale. “A meno che non si abbia la possibilità di chiedere ai clienti di aspettare che il modello risponda, l’inferenza diventa un problema”, spiega Sharma.

Per esempio, dice, ha riscontrato una forte domanda nell’area di Dallas e Houston. “L’intera regione è diventata molto affamata di calcolo a causa di tutte le aziende di AI che si sono trasferite lì”, riflette. “E potrebbe esserci del lavoro con il petrolio e il gas, e forse è questo che porta ai picchi”.

L’ubicazione può essere un problema anche per un altro motivo: le normative sulla sovranità dei dati. In alcune giurisdizioni, i dati non possono uscire per motivi di conformità. “Se i dati sono limitati alla regione in cui ci si trova, si è limitati a utilizzare la capacità di quella regione”, spiega Sharma.

Se gli hyperscaler non sono in grado di fornire la capacità necessaria e un’azienda non dispone di data center propri in una struttura di colocation oppure on premise, l’altra alternativa principale è rappresentata dai provider di servizi GPU as a service, che stanno andando forte, prosegue Sharma. “Se il suo fornitore non le offre abbastanza al giusto prezzo, ci sono delle alternative”, afferma.

Per le aziende che prevedono un’elevata domanda di calcolo AI, è sensato dal punto di vista finanziario a lungo termine portare una parte di questo nel proprio data center, sostiene a Sharma, e passare da un prezzo on-demand a un prezzo fisso.

Responsabilizzare i pilot

Sempre nel sondaggio di Flexential, il 43% delle aziende sta riscontrando carenze di larghezza di banda e il 34% ha problemi a scalare lo spazio e la potenza del data center per soddisfare i requisiti dei carichi di lavoro AI. Altri problemi segnalati includono connessioni inaffidabili e latenza eccessiva. Solo il 18% delle aziende non ha riscontrato problemi con le applicazioni o i carichi di lavoro AI negli ultimi 12 mesi. Quindi ha senso che il 2023 sia stato un anno di progetti pilota e proof of concept di AI, afferma Bharath Thota, partner per la digital and analytics practice della società di consulenza aziendale Kearney. E quest’anno è stato l’anno in cui le aziende hanno cercato di scalare queste sperimentazioni.

“È qui che arriva la sfida”, dichiara. “Non è una novità per l’AI. Ma è tutto amplificato perché la quantità di dati a cui si deve accedere è significativamente maggiore”. Non solo: l’AI generativa consuma molti più dati, ma ne produce anche di più, ed è una cosa che spesso le aziende non si aspettano.

Inoltre, quando le imprese creano un modello, questo è definito dai suoi dati di addestramento e dai suoi pesi, quindi tenere traccia delle diverse versioni potrebbe richiedere la conservazione di copie di ogni singolo set di dati di addestramento. Dipende dal caso d’uso specifico, dice Thota. “Nessuno ha capito quale sia il modo migliore”, dice. “Tutti stanno imparando in corso d’opera”. E tutti i problemi di infrastruttura – archiviazione, connettività, calcolo e latenza – aumenteranno solo il prossimo anno.

Oggi, c’è un numero relativamente piccolo di casi d’uso dell’AI passati dallo status di progetto pilota alla produzione, e molti di questi vengono implementati in fasi successive [in inglese]. Man mano che un numero maggiore di piloti entra in produzione e i progetti di produzione si espandono a tutti i potenziali utenti, le sfide infrastrutturali si faranno sentire in modo maggiore. E trovare una soluzione che funzioni oggi non è sufficiente, dal momento che la tecnologia si evolve a un ritmo incalzante. “Bisognerà essere abbastanza agili da cambiare ogni volta che viene aggiornata”, spiega Thota.

E c’è anche la questione delle carenze di competenze o di personale legate alla gestione dell’infrastruttura AI in termini di risorse di archiviazione, di rete e di calcolo: ottimizzare i costi e le prestazioni, anche se le piattaforme e i casi d’uso si evolvono rapidamente, può diventare un problema, anche se l’AI diventa sempre più intelligente e potrebbe essere un mezzo per aiutare meglio le aziende.

“Ha mai sentito parlare di network as code?”, chiede Mick Douglas, managing partner di InfoSec Innovations e istruttore al SANS Institute. “E dell’infrastruttura as a code?. Per alcune grandi imprese che eseguono molti calcoli, è possibile iniziare a giocare con cose come: è meglio avere macchine virtuali molto potenti nel cloud o una manciata di funzioni Lambda? L’AI potrebbe creare un livello di astrazione e poi far iterare tutte le diverse build”.

Una parte di questa ottimizzazione può essere fatta con l’apprendimento automatico, e lo si fa già. Ma il problema del ML è che le offerte dei fornitori cambiano continuamente. L’analitica tradizionale può gestire la matematica e le simulazioni, mentre la GenAI si presta per arrivare a comprendere meglio le opzioni ed effettuare le analisi più impegnative.

“Il vantaggio principale che si ottiene con le AI generative è che si possono creare diversi modelli di codice di distribuzione in modo automatizzato”, conclude Douglas. “Eliminando il lavoro più faticoso”.