Prompt, RAG o fine-tuning: come scegliere la strada giusta
Tre modi per adattare un modello linguistico alle esigenze di un'azienda, con costi e complessità molto diversi. Una guida pratica per non partire dalla soluzione sbagliata.
AI generated
Quando un'azienda decide di usare un modello linguistico per un caso concreto, prima o poi arriva la domanda: dobbiamo “addestrarlo” sui nostri dati? Spesso la risposta è no. Esistono tre strade principali per adattare un LLM, e conviene percorrerle in ordine, dalla più semplice alla più impegnativa.
1. Prompt engineering
È il punto di partenza obbligato. Istruzioni chiare, esempi di input e output attesi, un formato di risposta definito e il giusto contesto nella richiesta risolvono una quantità sorprendente di problemi. Il costo è minimo, i tempi di iterazione si misurano in minuti e non serve alcuna infrastruttura aggiuntiva.
Il limite è la memoria: un prompt può contenere solo ciò che entra nella finestra di contesto, e ogni informazione va ripetuta a ogni richiesta.
2. RAG: dare al modello i documenti giusti
Se il problema è che il modello non conosce le informazioni aziendali, la soluzione è quasi sempre la Retrieval-Augmented Generation: si indicizzano manuali, procedure e archivi, e a ogni domanda si recuperano i passaggi pertinenti da inserire nel contesto. I dati restano sotto controllo, si aggiornano senza riaddestrare nulla e le risposte possono citare le fonti.
La RAG è la scelta giusta per assistenti interni, supporto clienti, ricerca documentale: tutti casi in cui conta cosa il modello sa, più di come lo dice.
3. Fine-tuning: cambiare il comportamento
Il fine-tuning modifica i pesi del modello con esempi specifici. Non è lo strumento adatto per insegnare fatti nuovi, che restano fragili e difficili da aggiornare, ma per fissare un comportamento: uno stile di scrittura costante, un formato di output rigido, la classificazione di testi secondo categorie interne, l'uso di un gergo tecnico di settore.
Richiede dati di qualità, con centinaia o migliaia di esempi curati, competenze specifiche e un processo di valutazione serio. Ha senso quando prompt e RAG sono già stati spinti al limite.
Una regola pratica
- Il modello non capisce bene cosa vuoi? Lavora sul prompt.
- Il modello non sa le informazioni che servono? Usa la RAG.
- Il modello sa e capisce, ma non si comporta in modo coerente? Valuta il fine-tuning.
Le tre tecniche non si escludono: molti sistemi in produzione combinano un prompt ben progettato, una base documentale interrogata via RAG e, solo dove serve, un modello specializzato. Partire dalla soluzione più semplice permette di capire presto se il caso d'uso funziona, prima di investire tempo e budget in quella più complessa.
Un ultimo consiglio: qualunque strada si scelga, conviene preparare fin da subito un piccolo insieme di domande di prova con le risposte attese. È l'unico modo per capire, con dati alla mano, se ogni modifica migliora davvero il sistema o lo peggiora.