Vai al contenuto
#LLM

Come si valuta un sistema basato su LLM prima di metterlo in produzione

“Sembra funzionare” non è un criterio di collaudo. Set di test, metriche, controlli automatici e revisione umana: come costruire una valutazione seria per un'applicazione AI.

Garabed Toumkian · · 2 min di lettura
Illustrazione di una griglia di test superati e falliti accanto a un grafico con una curva in crescita AI generated
Illustrazione generata con intelligenza artificiale

Nel software tradizionale un test è semplice: dato un input, l'output è giusto o sbagliato. Con i modelli linguistici le cose si complicano: la stessa domanda può ricevere risposte formulate in modo diverso, tutte corrette, oppure una risposta convincente ma falsa. Per questo molti progetti AI arrivano in produzione con un collaudo basato su una sensazione: “le prove che abbiamo fatto sembravano buone”. È il modo più rapido per avere sorprese.

Partire da un set di valutazione

Il primo passo è costruire un insieme di casi di prova rappresentativi: domande reali raccolte dagli utenti, con la risposta attesa o almeno i punti che una buona risposta deve contenere. Bastano anche cinquanta o cento casi ben scelti, purché coprano le situazioni frequenti, quelle difficili e quelle in cui il sistema deve rifiutarsi di rispondere.

Questo insieme diventa il metro di misura di ogni modifica: un nuovo prompt, un modello diverso, una diversa suddivisione dei documenti.

Cosa misurare

  • Correttezza: la risposta contiene le informazioni giuste?
  • Fedeltà alle fonti: nei sistemi RAG, ogni affermazione è supportata dai documenti recuperati?
  • Qualità del recupero: i frammenti trovati sono quelli pertinenti?
  • Formato e tono: la risposta rispetta lo stile e la struttura richiesti?
  • Sicurezza: il sistema resiste a richieste fuori ambito o manipolatorie?
  • Costi e tempi: latenza e consumo per richiesta restano entro i limiti?

Controlli automatici e giudizio umano

Una parte dei controlli si automatizza facilmente: verificare che un JSON sia valido, che una cifra sia presente, che non compaiano dati riservati. Per gli aspetti più qualitativi si usa spesso un secondo modello come “giudice”, che confronta la risposta con quella attesa secondo criteri precisi. È una tecnica utile, ma va tarata: periodicamente un esperto deve rivedere un campione di giudizi per verificare che il giudice automatico sia allineato al giudizio umano.

Test di regressione, sempre

I sistemi basati su LLM cambiano anche quando il codice resta fermo: il fornitore aggiorna il modello, i documenti crescono, gli utenti cambiano domande. Eseguire il set di valutazione a ogni modifica, e almeno periodicamente anche senza modifiche, permette di accorgersi in tempo di un peggioramento.

Dopo il rilascio

La valutazione non finisce con il collaudo. Raccogliere il riscontro degli utenti, con un semplice pollice su o giù, e analizzare le conversazioni problematiche fornisce nuovi casi da aggiungere al set di test. È un ciclo continuo, simile a quello del monitoraggio di qualsiasi servizio in produzione.

Un sistema AI senza valutazione non è un prodotto, è una demo. La differenza la fanno metodo e misure, non il modello più recente.