La valutazione dei modelli AI, o LLM evaluation, è il processo con cui si verifica in modo strutturato se un modello linguistico e l’applicazione che lo utilizza producono risultati sufficientemente accurati, affidabili, veloci e sostenibili per uno specifico uso aziendale.
Non serve a stabilire quale sia il modello migliore in assoluto. Serve a capire quale combinazione di modello, prompt, dati, regole e controlli sia più adatta a un determinato processo. Un sistema efficace nella sintesi di documenti, per esempio, potrebbe non essere altrettanto adatto alla preparazione di offerte commerciali o alla classificazione dei lead.
Un Large Language Model (LLM) non dovrebbe essere giudicato solo attraverso alcune domande di prova o una demo particolarmente riuscita. La valutazione deve partire da casi rappresentativi del lavoro reale e considerare anche tutto ciò che circonda il modello.
In un’applicazione aziendale, infatti, la qualità finale può dipendere da diversi elementi:
Per questo è più corretto valutare il sistema nel suo complesso, non soltanto il modello sottostante.
| Dimensione | Domanda pratica | Possibile verifica |
|---|---|---|
| Accuratezza | La risposta è corretta rispetto al risultato atteso? | Confronto con esempi validati o criteri espliciti |
| Aderenza alle fonti | Le affermazioni derivano dai documenti disponibili? | Controllo delle citazioni e confronto con le fonti |
| Completezza | Sono presenti tutte le informazioni necessarie? | Checklist degli elementi obbligatori |
| Rilevanza | La risposta affronta la richiesta senza divagare? | Valutazione umana o scala definita in anticipo |
| Coerenza e formato | Il risultato rispetta struttura, tono e vincoli? | Controlli automatici e revisione a campione |
| Sicurezza | Il sistema evita contenuti, azioni o dati non consentiti? | Test su casi critici e richieste avverse |
| Latenza | Il tempo di risposta è compatibile con il processo? | Misurazione dei tempi in condizioni realistiche |
| Costo | Quanto costa produrre e verificare ogni risultato utile? | Calcolo di utilizzo, infrastruttura e lavoro umano |
Le metriche cambiano in base all’attività. Per una classificazione possono essere utili misure quantitative come precisione e richiamo. Per un testo commerciale contano maggiormente la correttezza delle informazioni, il rispetto delle regole aziendali e la necessità di correzioni. Nei compiti aperti, un punteggio automatico raramente racconta da solo tutta la qualità del risultato.
Una valutazione pratica può partire da un insieme di casi reali, opportunamente selezionati e privati dei dati personali quando necessario. L’insieme di test dovrebbe comprendere situazioni frequenti, casi limite ed errori potenzialmente costosi.
Questo metodo aiuta a passare dalla percezione soggettiva a un confronto ripetibile. È particolarmente importante prima di portare in produzione un progetto: una guida collegata è dedicata a come validare un progetto pilota di intelligenza artificiale.
Quando una risposta sembra plausibile ma contiene informazioni inventate o non supportate, si parla comunemente di allucinazione. Il problema non si misura chiedendo genericamente se il modello “dice la verità”: bisogna controllare affermazioni specifiche e verificare se siano sostenute dalle fonti autorizzate.
Nei sistemi che usano documenti aziendali, come una soluzione RAG per una PMI, conviene distinguere almeno tre aspetti: il recupero dei documenti pertinenti, la capacità del modello di usare correttamente il contesto e la presenza di affermazioni non ricavabili dalle fonti. Un errore nel recupero non può essere risolto semplicemente cambiando il prompt finale.
I controlli automatici sono utili per verificare formati, campi obbligatori, classificazioni e altri requisiti misurabili. Anche un LLM può essere impiegato come valutatore, ma il suo giudizio non dovrebbe essere considerato infallibile: può introdurre preferenze, incoerenze o errori propri.
La revisione umana resta importante quando il risultato richiede conoscenza specialistica, produce conseguenze commerciali o legali, oppure coinvolge clienti e dati sensibili. Il controllo non deve necessariamente riguardare ogni output: può essere completo nei casi ad alto rischio e a campione in quelli meno critici, in funzione delle regole stabilite dall’azienda.
Una soluzione leggermente più accurata potrebbe avere tempi o costi incompatibili con il volume previsto. Al contrario, un modello più economico può risultare adeguato se il compito è semplice, ben delimitato e accompagnato da controlli efficaci.
La decisione dovrebbe quindi considerare il costo per risultato utilizzabile, non soltanto il costo tecnico della singola richiesta. Nel calcolo rientrano anche correzioni, verifiche, integrazioni, gestione degli errori e manutenzione nel tempo.
La LLM evaluation trasforma così una demo promettente in una decisione aziendale verificabile: chiarisce che cosa funziona, in quali condizioni, con quali rischi e a quale costo. È questo il passaggio che permette di confrontare le alternative senza affidarsi soltanto alla notorietà del modello o alla qualità di pochi esempi.