L’IA generativa tra sostenibilità e rischi: ecco perché i CIO guardano agli Small Language Model

Mentre GPT-4 passa il test di Turing, Microsoft spinge il suo assistente IA Copilot nei prodotti per le imprese e Google annuncia la disponibilità dell’app Gemini sui cellulari anche in Italia, i CIO studiano la tecnologia dell’intelligenza artificiale generativa per restare sempre aggiornati, ma senza farsi sviare né dall’entusiasmo tecnologico né dalle proposte commerciali.

“L’IA generativa può portare tanti benefici, e anche noi in GARR la usiamo e la useremo, ma non può essere adottata senza opportune considerazioni”, afferma Massimo Carboni, CTO, Head of Infrastructure Department, di GARR. “L’hype è fortissimo, ma altrettanto alto è il rischio di sovrastimare le possibilità della Gen AI: le sviste possono essere tante. Nel mondo digitale dobbiamo essere sempre più attenti e il primo rischio con l’IA e l’IA generativa è fidarsi troppo”.

Del resto, ad aprile, Gartner [in inglese] ha stimato come poco rilevante la spesa delle imprese mondiali in tecnologie di IA generativa: su un totale di 5mila miliardi di dollari di investimenti IT previsti nel 2024 (+8% rispetto al 2023), la Gen AI non peserà molto. La spesa sarà guidata, invece, da forze più tradizionali; in particolare, i “classici” servizi IT, che varranno più di 1.500 miliardi di dollari (+9,7% anno su anno).

Al contrario, i grandi service provider moltiplicano la spesa in tecnologie per supportare i progetti di Gen AI: in previsione di un prossimo boom, i server per le applicazioni di intelligenza artificiale rappresenteranno nel 2024 quasi il 60% dell’investimento totale in server degli hyperscaler. Le imprese sono più caute: Gartner vede un ciclo “story, plan, execution” relativamente all’IA generativa: nel 2023 se ne è parlato, nel 2024 si pianifica l’implementazione, nel 2025 si parte con l’esecuzione.   

L’IA generativa sotto la lente dei CIO

Edoardo Esposito, CIO di inewa (Member of Elevion Group), ESCO certificata attiva nella generazione di biogas e biometano e nell’efficientamento energetico, è esattamente nella fase del planning. In particolare, sta provando Copilot, visto che l’IT di inewa è tutto su sistemi Microsoft e questo prodotto di Gen AI siintegra perfettamente con la suite Office. Le sperimentazioni del CIO si svolgono insieme ad altri manager: il CFO, il Direttore della funzione Legal e il Direttore delle Relazioni istituzionali e regolamentazione.

“Stiamo testando gli utilizzi nel finance, come l’analisi finanziaria di ingressi e uscite”, riferisce Esposito. “Per me qui si trovano le opportunità maggiori. Non ritengo altrettanto promettente, al momento, l’impiego nel Legal, ma stiamo provando a usare la Gen AI per gestire i contratti e studiare le leggi”.

Ovviamente, l’IA non dà pareri legali, ma aiuta a navigare la grande quantità di regole che si aggiornano o cambiano costantemente.

“Anche un semplice riassunto per bullet point di una nuova legge generato con l’IA da mandare in visione a un executive è un aiuto. Alla fine, con 30 dollari al mese, per noi che siamo una piccola impresa è come avere una persona in più in ufficio”, sottolinea Esposito.

Tuttavia, mentre non ha dubbi sull’automazione dei task semplici, Esposito non è convinto che la Gen AI possa automatizzare del tutto i compiti complessi. C’è un’ulteriore perplessità: “Questi modelli non mi sembrano sostenibili: hanno parametri enormi e richiedono tantissima energia per l’addestramento”, osserva Esposito.

L’insostenibilità dell’intelligenza artificiale

Anche Carboni sottolinea quanto l’IA sia energivora e si aggiunga ai già alti costi della tecnologia.

“L’ICT nel mondo pesa sul 9% dei costi energetici totali, per circa 300 miliardi di dollari nel 2023. Questa quota è aumentata del 50-60% negli ultimi dieci anni ed è destinata a crescere ancora”, afferma il CTO di GARR.

C’è poi un problema nell’addestramento, secondo Carboni: “L’IA generativa sta rovesciando il tradizionale approccio centrato sulla persona. Anziché essere le persone che addestrano i modelli, che poi modificano l’organizzazione aziendale, oggi sono le persone che si devono adattare ai modelli che vengono dal mercato. Questo per me rappresenta un rischio. Più diminuiscono i player dell’IA generativa (e ciò è inevitabile per gli ingenti investimenti necessari), più si crea una dipendenza e una perdita di controllo da parte delle imprese”.

Carboni porta l’esempio di quanto accaduto con la rivoluzione tecnologica delle sementi OGM nell’agricoltura: l’azienda agricola non è stata più padrona delle sue sementi e, quindi, del suo valore, ma dipendente da pochi fornitori capaci di produrre le sementi hitech.

In modo simile, secondo il CTO di GARR, “L’IA rischia di vincolare il funzionamento del digitale a pochi soggetti che determinano comportamenti e costi, anche perché la soglia di ingresso alla Gen AI è molto alta e la maggior parte delle imprese può solo comprare servizi senza avere le conoscenze per distinguere le differenze tra un prodotto e l’altro. C’è poca scelta e il rischio è l’omologazione: prodotti uguali per tutti. Perciò, secondo me, nella classica alternativa build or buy, penso sia sempre meglio continuare a costruire qualcosa in casa”.

Le imprese in concorrenza con le Big Tech

Tra l’altro, prosegue Carboni, si profila una potenziale concorrenza tra le imprese e il Big che le vende i suoi modelli, una concorrenza – sottolinea il CTO di GARR – impari e, per molti aspetti, sleale, perché alcuni soggetti di mercato dispongono di meccanismi per fare crawling (ovvero, esplorazione del web ed estrapolazione di dati) che altri non hanno.

“Aziende come Microsoft e Google hanno degli ecosistemi di prodotti da cui possono fare una gigantesca attività di crawling e questo oligopolio che controlla il 70-80% del mercato dei dati ha un vantaggio enorme sulle altre aziende”, afferma Carboni. “Le strategie delle Big Tech mirano anche ad incorporare startup che permettano di rafforzare il dominio sui dati”. Difficile pensare a nuovi entranti che facciano concorrenza ai grandi: le startup che propongono prodotti alternativi esistono e sono un buon modo per sviluppare gli algoritmi, ma questi non bastano per il successo.

Ciò per Carboni non equivale a una “bocciatura” della Gen AI, ma a un desiderio di studiarla a fondo e governarla: “Ritengo l’IA molto rilevante e in GARR ci lavoreremo, perché abbiamo tanti dati da sfruttare. L’intenzione è di ricavare un modello di AI generativa per definire meglio la nostra knowledge base interna. Questa, attualmente, non è pubblica, ma se volessimo esporla andrebbe elaborata per una lettura esterna. E potremmo utilizzare per questo scopo uno Small Language Model”.

Gli Small Language Model: il CIO vuole il controllo

Gli Small Language Model (SLM) sono algoritmi di machine learning addestrati su set di dati molto più piccoli e specifici rispetto ai Large Language Model, i grandi modelli di deep learning su cui si basano prodotti come GPT. I primi test evidenziano come siano più efficienti, meno costosi e più accurati nel loro compito, visto che è circoscritto. Infatti, anche Esposito segue l’evoluzione degli SML e li ritiene molto più promettenti per gli usi aziendali, nonché più sostenibili. I prodotti grandi, infatti, hanno un ottimo addestramento, ma sono generici, mentre le aziende hanno bisogno di applicazioni verticali.

“Usare i grandi modelli di Gen AI tramite le API per addestrare i propri prodotti di IA generativa con i propri dati richiede ingenti risorse energetiche”, osserva Esposito. “È sì come portarsi in casa un collega digitale, ma un collega che costa tanto: lo devi formare con le tue informazioni aziendali specifiche, gli devi fornire sempre nuovi dati per tenerlo aggiornato e devi alimentarlo con tantissima elettricità. Per questo non subisco il fascino dei Large Language Model e ritengo, invece, molto interessanti gli Small Language Model. Alle aziende serve qualcosa di più mirato e con meno rischi di bias e violazioni della privacy”.

Per esempio, riferisce Esposito, l’IT può isolare un task linguistico ristretto, prendere uno SLM, metterlo nel proprio cloud e dargli accesso solo al database documentale aziendale. Da lì si fanno al modello solo domande relative a quei documenti.

“Dalle prime sperimentazioni sembra che si riduca non solo il consumo di energia, ma anche la probabilità di allucinazioni”, afferma Esposito. “Del resto, i modelli IA delle aziende non devono sapere tutto, ma solo rispondere a determinate applicazioni. Gli SLM possono comunque fare traduzioni, svolgere analisi dei trend mercato, automatizzare il customer service, gestire i ticket IT, creare un assistente virtuale aziendale, e altro ancora. Mi sembra più efficiente circoscrivere il dominio e specializzarlo, tenendolo sotto il controllo dell’IT”.

Il “business” della Gen AI e i modelli “piccoli”: il parere dell’esperto

È proprio il controllo la parola-chiave. Alessandro Sperduti, direttore del Centro Augmentation della Fondazione Bruno Kessler (FBK), conferma: “È vero, come indicano alcuni CIO, che nell’IA rischiamo il dominio delle aziende private. In passato i sistemi IA più importanti del mondo erano sviluppati nelle Università, mentre oggi è il contrario, perché sono emersi colossi tecnologici privati con un potere di spesa con cui il pubblico non può competere”.

Nella comunità scientifica, infatti, alcuni preferirebbero un intervento della politica per ricondurre l’IA sotto il controllo degli Stati, come accaduto per la fisica delle alte energie e l’istituzione del CERN, l’organismo che riunisce più Paesi che collaborano nella teoria e sperimentazione della fisica delle particelle. Ma altri ricercatori non vedono rischi dall’egemonia di alcuni attori privati, purché i governi regolamentino l’uso degli strumenti di IA, come si è fatto in Unione Europa con l’AI Act.

“La differenza con quanto accaduto nel mondo della fisica è che lì non c’è un grande business, mentre nell’IA c’è un guadagno enorme”, nota Sperduti. “Per questo oggi le aziende come Microsoft e Google si stanno facendo una feroce concorrenza: ogni giorno leggiamo annunci sui nuovi traguardi raggiunti che superano i precedenti. Le startup del settore esistono, ma, rispetto ad altri settori, sono poche, perché gli investimenti necessari sono enormi: non credo, perciò, che possano veramente minacciare il predominio dei player attuali e creare una forte dinamica competitiva”.

Sui modelli più piccoli, Sperduti evidenzia la presenza dei sistemi RAG (Retrieval-Augmented Generation), che utilizzano i LLM per rispondere a domande relative a documenti memorizzati in database locali. In questo modo i documenti rimangono privati e non vengono conferiti all’organizzazione che fornisce il LLM. I RAG danno più controllo alle imprese sui dati e costano meno.

“Ma vanno gestiti localmente”, sottolinea il professore. “Si possono anche usare in locale i Language Model open-source, di dimensione ridotta rispetto ai LLM, ma con prestazioni inferiori, e questi possono essere considerati degli SLM”.

Sulla sostenibilità dei costi, Sperduti osserva: “I LLM sono gestiti dalle Big Tech come un servizio utility, come se acquistassimo l’energia elettrica, mentre avere uno SLM significa tenersi la turbina in casa per generare elettricità. Va, dunque, svolta una valutazione economica. Questa potrebbe anche essere favorevole, se l’uso del modello è intenso. Ma è una scelta che va fatta dopo un’accurata analisi, considerando il costo del modello, del suo aggiornamento, delle persone che ci lavorano, e così via”.

Il CIO alla guida: governance e competenza

Anche Carboni di GARR mette in guardia: se si opta per uno SLM il compito dell’IT è maggiore e la vita del CIO non è necessariamente semplificata.

“Nei LLM il grosso del lavoro sui dati è svolto in modo statistico e poi l’IT addestra il modello su tematiche specifiche per correggere gli errori, dandogli dati di qualità mirati. Lo SLM costa molto meno (basta, in genere, qualche decina di migliaia di euro) e richiede meno dati, ma, proprio per questo, il calcolo statistico è meno efficace e, quindi, servono dati di altissima qualità, con un corposo lavoro dei data scientist. Altrimenti, con dati generici il modello rischia di produrre molti errori”, osserva il CTO di GARR.

Inoltre, gli SLM sono così promettenti e interessanti per le aziende che le stesse Big Tech li offrono e li pubblicizzano (per esempio, Gemma di Google e Phi-3 di Microsoft). Per questo, secondo Esposito, la governance resta fondamentale, all’interno di un modello che dovrebbe restare un sistema “chiuso”.

“Uno SLM per me è più semplice da gestire e diventa un asset importante per l’azienda: per me è così che si estrae valore aggiunto dall’IA”, dichiara il CIO di inewa di Elevion Group. “Altrimenti, con i grandi modelli e i sistemi aperti, bisogna accettare di condividere con Google, Microsoft e OpenAI le informazioni strategiche aziendali. E nessuno ci garantisce che i dati ceduti alle Big Tech restino in Europa. Per questo preferisco lavorare insieme a un system integrator che può svilupparmi delle personalizzazioni e dotarmi di un sistema chiuso, ovvero per uso interno. Non penso sia saggio lasciare che i dipendenti usino il prodotto general purpose mettendoci i dati aziendali, che possono essere anche sensibili. La governance del dato e dell’IA per le aziende è imprescindibile”.

Altrettanto importante è la competenza del CIO.

“Nel mio lavoro considero rilevante non solo valutare il costo di accedere a un servizio, ma la mia capacità di incidere su un servizio”, afferma Carboni. “Il CIO deve costruirsi un suo background di conoscenza tecnologica e dotarsi di un team di persone capaci, inclusa una buona quota di giovani, capaci di operare in contesti moderni, con tecnologie native del mondo cloud. In questo modo il CIO non si limita a comprare un prodotto e aspettarsi una prestazione, ma agisce e incide su quel prodotto o servizio”.

Insomma, il CIO resta al timone: qualunque sarà la traiettoria di sviluppo della Gen AI, è il capo dell’IT a voler decidere indirizzi, applicazioni e obiettivi.