RAG: come far parlare un'AI con i documenti della tua azienda
La Retrieval-Augmented Generation permette a un modello di rispondere usando manuali, procedure e contratti interni, citando le fonti. Ecco come funziona.
Un modello linguistico conosce moltissime cose, ma non sa nulla della tua azienda: non ha mai letto il manuale del vostro prodotto, le procedure interne, i contratti con i fornitori. E anche su ciò che conosce, il suo sapere si ferma alla data di addestramento. La tecnica più diffusa per colmare questo divario si chiama RAG, Retrieval-Augmented Generation: generazione aumentata dal recupero di informazioni.
L'idea in una frase
Invece di sperare che il modello “sappia” la risposta, prima si cercano i documenti pertinenti e poi si chiede al modello di rispondere basandosi su quelli. È la differenza tra un esame a memoria e un esame a libro aperto, con l'obbligo di indicare la pagina.
Come funziona, passo per passo
- Preparazione: i documenti vengono suddivisi in frammenti di qualche paragrafo, i cosiddetti chunk.
- Indicizzazione: ogni frammento viene trasformato in un embedding, un vettore numerico che ne rappresenta il significato, e salvato in un database vettoriale.
- Ricerca: quando arriva una domanda, anche questa diventa un vettore e il sistema recupera i frammenti più vicini per significato, non solo per parole chiave. “Come resetto la password?” trova anche il paragrafo intitolato “Recupero credenziali”.
- Generazione: i frammenti trovati vengono inseriti nel contesto del modello, con l'istruzione di rispondere solo sulla base di quelle fonti e di citarle.
Perché conviene
Rispetto all'addestramento di un modello personalizzato, la RAG ha vantaggi molto concreti. È aggiornabile: basta reindicizzare un documento modificato. È verificabile, perché ogni risposta può riportare le fonti da cui deriva. Riduce le allucinazioni, perché il modello lavora su testo reale anziché sulla propria memoria. E permette di gestire i permessi: ogni utente recupera solo i documenti che è autorizzato a vedere.
Dove si inciampa
La qualità di un sistema RAG dipende più dai dati che dal modello. Documenti duplicati, versioni obsolete lasciate in giro, PDF scansionati senza testo leggibile, tabelle spezzate male nei chunk: ognuno di questi problemi si traduce in risposte imprecise. Anche la dimensione dei frammenti conta: troppo piccoli perdono il contesto, troppo grandi diluiscono l'informazione utile.
Per questo un progetto RAG serio parte sempre da un lavoro di pulizia e organizzazione della documentazione, e prevede un insieme di domande di prova per misurare la qualità delle risposte prima e dopo ogni modifica.
Un buon primo progetto
Un assistente interno che risponde sulle procedure aziendali, o un supporto clienti di primo livello basato sui manuali di prodotto, sono ottimi punti di partenza: il perimetro è chiaro, i documenti esistono già e il beneficio si misura facilmente in tempo risparmiato. Spesso, il miglior uso dell'AI è aiutare le persone a trovare ciò che l'azienda sa già.