Allucinazioni, bias e affidabilità dell’AI: la guida pratica

Di cosa parla questa guida

Un avvocato chiede a un modello generativo alcune sentenze a sostegno della sua tesi. Riceve casi precisi: nomi delle parti, numeri di causa, date, citazioni testuali. Tutto plausibile, tutto inventato. Non è un esempio di scuola: è accaduto in più di un tribunale, con sanzioni per chi aveva depositato quegli atti senza controllarli.

La guida parte da qui e spiega perché non si tratta di un guasto da riparare con un aggiornamento. Un modello prevede la parola più probabile, non cerca la verità: quando la continuazione probabile coincide con i fatti sembra che sappia, quando i fatti non li conosce produce comunque una risposta verosimile. L’allucinazione non si elimina, si riduce e si gestisce.

Accanto alle invenzioni il testo tiene distinti altri due fenomeni: l’errore, che nasce da una richiesta poco chiara, e il bias, la distorsione sistematica che il modello eredita dai dati di addestramento. Tre problemi diversi, tre mosse diverse: verificare la fonte, riformulare la domanda, confrontare più output.

Tre idee dalla guida

Far trasformare invece di far recuperare

La causa più frequente di un’invenzione è chiedere al modello qualcosa che non gli hai dato. “Quali sono le tre cause principali di questo fenomeno?” lo obbliga a pescare dalla memoria, e lì sbaglia. “In base ai tre rapporti allegati, sintetizza le cause indicate citando per ciascuna il rapporto di origine” lo mette a lavorare su fatti presenti, che puoi controllare. Restringere il campo e autorizzare il “non lo so” completano la difesa: tre istruzioni gratuite che funzionano su qualsiasi strumento. Quando puoi scegliere, scegli sempre la trasformazione.

La verifica si dosa sul peso delle conseguenze

Verificare non vuol dire controllare tutto allo stesso modo. La guida separa due livelli con una domanda sola: se questa informazione fosse sbagliata, cosa succederebbe? Per una bozza interna basta una lettura attenta; per un atto, un parere o un dato che orienta una decisione, ogni fatto puntuale va risalito alla fonte primaria. La verifica vale però solo se è indipendente: chiedere a un secondo modello se è vero non è un controllo, è un’eco. E una fonte che non si trova non è una fonte non ancora trovata: è un’invenzione.

Il confronto controllato che stana il bias

Il bias non si scopre interrogando il modello sulle sue intenzioni, che non ha: si vede nei risultati. La tecnica è cambiare un solo elemento della richiesta, quello che non dovrebbe contare, e guardare se la risposta si sposta. Descrivi le qualità di un buon infermiere di nome Marco, poi di nome Maria: se cambiano le qualità elencate, il tono o il livello di competenza attribuito, il modello sta usando il nome come segnale. Dove gli output toccano le persone conta anche osservare gli effetti aggregati: una distorsione piccola, ripetuta su molti casi, diventa una disparità reale.