#LLM

RAG: come far parlare un'AI con i documenti della tua azienda

La Retrieval-Augmented Generation permette a un modello di rispondere usando manuali, procedure e contratti interni, citando le fonti. Ecco come funziona.

Redazione EngiMedia · · 2 min di lettura
Illustrazione: documenti trasformati in punti di uno spazio vettoriale e poi in un fumetto di risposta

Un modello linguistico conosce moltissime cose, ma non sa nulla della tua azienda: non ha mai letto il manuale del vostro prodotto, le procedure interne, i contratti con i fornitori. E anche su ciò che conosce, il suo sapere si ferma alla data di addestramento. La tecnica più diffusa per colmare questo divario si chiama RAG, Retrieval-Augmented Generation: generazione aumentata dal recupero di informazioni.

L'idea in una frase

Invece di sperare che il modello “sappia” la risposta, prima si cercano i documenti pertinenti e poi si chiede al modello di rispondere basandosi su quelli. È la differenza tra un esame a memoria e un esame a libro aperto, con l'obbligo di indicare la pagina.

Come funziona, passo per passo

  • Preparazione: i documenti vengono suddivisi in frammenti di qualche paragrafo, i cosiddetti chunk.
  • Indicizzazione: ogni frammento viene trasformato in un embedding, un vettore numerico che ne rappresenta il significato, e salvato in un database vettoriale.
  • Ricerca: quando arriva una domanda, anche questa diventa un vettore e il sistema recupera i frammenti più vicini per significato, non solo per parole chiave. “Come resetto la password?” trova anche il paragrafo intitolato “Recupero credenziali”.
  • Generazione: i frammenti trovati vengono inseriti nel contesto del modello, con l'istruzione di rispondere solo sulla base di quelle fonti e di citarle.

Perché conviene

Rispetto all'addestramento di un modello personalizzato, la RAG ha vantaggi molto concreti. È aggiornabile: basta reindicizzare un documento modificato. È verificabile, perché ogni risposta può riportare le fonti da cui deriva. Riduce le allucinazioni, perché il modello lavora su testo reale anziché sulla propria memoria. E permette di gestire i permessi: ogni utente recupera solo i documenti che è autorizzato a vedere.

Dove si inciampa

La qualità di un sistema RAG dipende più dai dati che dal modello. Documenti duplicati, versioni obsolete lasciate in giro, PDF scansionati senza testo leggibile, tabelle spezzate male nei chunk: ognuno di questi problemi si traduce in risposte imprecise. Anche la dimensione dei frammenti conta: troppo piccoli perdono il contesto, troppo grandi diluiscono l'informazione utile.

Per questo un progetto RAG serio parte sempre da un lavoro di pulizia e organizzazione della documentazione, e prevede un insieme di domande di prova per misurare la qualità delle risposte prima e dopo ogni modifica.

Un buon primo progetto

Un assistente interno che risponde sulle procedure aziendali, o un supporto clienti di primo livello basato sui manuali di prodotto, sono ottimi punti di partenza: il perimetro è chiaro, i documenti esistono già e il beneficio si misura facilmente in tempo risparmiato. Spesso, il miglior uso dell'AI è aiutare le persone a trovare ciò che l'azienda sa già.