LLM in casa: quando ha senso far girare un modello sui propri server
Modelli aperti sempre più capaci rendono possibile l'AI on-premise. Riservatezza e controllo da una parte, hardware e gestione dall'altra: come valutare la scelta.
AI generated
Fino a poco tempo fa usare un modello linguistico voleva dire, quasi sempre, inviare i dati a un servizio cloud. Oggi esistono modelli con pesi aperti abbastanza capaci da girare su server aziendali o persino su una singola workstation. La domanda “possiamo tenerlo in casa?” è diventata concreta.
Perché farlo
- Riservatezza: i dati non lasciano l'infrastruttura aziendale. Per documenti sensibili, contratti o dati sanitari può essere un requisito, non una preferenza.
- Controllo: la versione del modello non cambia senza preavviso, i tempi di risposta non dipendono dal carico di un fornitore esterno.
- Costi prevedibili: con volumi elevati e costanti, l'investimento hardware può risultare più conveniente del pagamento a consumo.
- Funzionamento offline: utile in ambienti isolati o con connettività limitata.
Cosa serve davvero
Il collo di bottiglia è la memoria della GPU. Un modello deve stare interamente, o quasi, nella memoria della scheda per rispondere in tempi accettabili. La quantizzazione, che riduce la precisione dei numeri con cui sono memorizzati i pesi, permette di far stare modelli più grandi in meno memoria, con una perdita di qualità spesso contenuta: un modello di qualche miliardo di parametri, quantizzato a 4 bit, occupa pochi gigabyte.
Modelli piccoli girano anche su processori moderni o su computer con memoria unificata, ma la velocità cala sensibilmente. Per un uso aziendale con più utenti contemporanei serve un server dedicato con una o più GPU adeguate, e un software di inferenza capace di gestire richieste in parallelo.
I limiti da mettere in conto
I modelli che si possono ospitare in proprio sono in genere meno capaci dei modelli più grandi offerti in cloud, soprattutto nei compiti di ragionamento complesso. Ci sono poi la gestione dell'hardware, gli aggiornamenti, il monitoraggio, la sicurezza: tutte attività che un servizio gestito risolve per conto del cliente.
La via di mezzo
Spesso la soluzione migliore è ibrida. Un modello locale per i compiti ad alto volume e basso rischio, come classificazione, estrazione di dati o riassunti di documenti interni, e un modello in cloud, con contratti adeguati sul trattamento dei dati, per i compiti più impegnativi. Un'architettura che astrae il fornitore del modello permette di spostare un compito dall'uno all'altro senza riscrivere l'applicazione.
Come decidere
Prima di acquistare hardware conviene fare una prova: scegliere due o tre casi d'uso reali, misurare la qualità dei modelli aperti su quei casi con un set di valutazione, e stimare i volumi. Se la qualità è sufficiente e i volumi giustificano l'investimento, l'on-premise è una scelta solida. Altrimenti, il cloud con le giuste garanzie contrattuali resta la strada più rapida.