Verificare una risposta dell'IA: che cosa controllare, e come

Nel 2023, a New York, alcuni avvocati sono stati sanzionati da un giudice federale per aver depositato una memoria che citava sentenze inesistenti. Erano state prodotte da ChatGPT, e il caso Mata v. Avianca è diventato l'esempio classico. I riferimenti sembravano ineccepibili: il nome di un tribunale, un numero, una data. Nessuno aveva letto quelle sentenze prima di citarle.

Questa storia insegna una lezione semplice. Ciò che inganna è la forma: una risposta ben scritta fa scattare la nostra fiducia. Verificare tutto è impossibile e inutile. Ti serve un modo per decidere che cosa verificare, con quale sforzo e su quale fonte.

Comincia stimando quanto costerebbe un errore

Prima di controllare qualsiasi cosa, poniti una sola domanda: se questa risposta è sbagliata, che cosa succede?

Uno slogan venuto male per un manifesto si vede subito e costa poco. Un'aliquota IVA errata nel preventivo di un artigiano può costare cara e passare inosservata. Un'indicazione di allergeni sbagliata sul menù di un ristorante può toccare la salute di un cliente. Lo sforzo di verifica deve seguire questo rischio, non la lunghezza del testo.

Tre livelli bastano in pratica. Quando l'errore è senza conseguenze, basta una rilettura veloce. Quando mette in gioco la tua credibilità, come per un articolo o una presentazione a un cliente, controlli ogni fatto. Quando tocca il diritto, il denaro o la salute, l'IA serve solo come punto di partenza: il riferimento è la fonte ufficiale o il professionista competente.

Il controllo in base al tipo di affermazione

Un testo dell'IA mescola frasi che non richiedono lo stesso controllo. Un'opinione o una riformulazione si giudica leggendo. Un'affermazione di fatto richiede una fonte. Questa tabella indica dove concentrare l'attenzione.

Su quest'ultimo punto, un test rapido consiste nel chiedere la citazione esatta che sostiene ogni idea del riassunto, poi cercare quelle frasi con Ctrl+F nell'originale.

Le fonti: aprire, leggere, confrontare

Gli strumenti collegati al web, come Perplexity e le sue ricerche con fonti, hanno migliorato le cose, ma una citazione mostrata accanto a una frase non è una prova. Il link può esistere e dire altro, o dire la stessa cosa con riserve che la risposta ha fatto sparire.

Per una fonte bastano quattro domande:

1. Il documento esiste davvero?
2. Dice ciò che gli si fa dire, con la stessa sfumatura?
3. Chi l'ha pubblicato, e ha un interesse nella faccenda?
4. È abbastanza recente per il tuo argomento?

Attenzione anche alla falsa conferma. Più siti che ripetono la stessa informazione possono tutti appoggiarsi a un'unica fonte d'origine, a volte prodotta a sua volta da un'IA. Più copie dello stesso testo non valgono due fonti. Risali alla prima pubblicazione.

Che cosa può fare l'IA per aiutarti a verificare

Chiedere «sei sicuro?» non porta granché. Il modello può scusarsi e cambiare una risposta giusta, o difenderne una sbagliata. Come spiega il nostro articolo sul funzionamento dei modelli linguistici, non ha un legame diretto con i fatti.

È invece molto utile per preparare il tuo lavoro di controllo: isolare ciò che va verificato e indicare dove guardare. Incolla il testo in una conversazione nuova, in modo che lo legga senza cercare di difendere la propria risposta.

Mi aiuterai a rileggere il testo qui sotto prima della pubblicazione. Non riscriverlo e non correggerlo.

Crea una tabella con queste colonne:
1. Affermazione verificabile, ricopiata parola per parola.
2. Tipo: numero, data, nome, citazione, regola giuridica o fiscale, fatto tecnico, altro.
3. Gravità se è falsa per [PUBBLICO O USO]: bassa, media, alta.
4. Fonte da consultare per verificarla, descrivendo il tipo di ente o di documento.

Ordina la tabella per gravità decrescente. Non indicare mai che un'affermazione è vera: il tuo compito è solo mostrarmi che cosa devo controllare. Aggiungi alla fine le affermazioni implicite, cioè ciò che il testo suppone senza dirlo.

Paese e data di riferimento: [PAESE, DATA].

Testo:
"""
[TESTO DA VERIFICARE]
"""

Questo prompt non sostituisce il tuo controllo. Può dimenticare un'affermazione, e le fonti che suggerisce vanno prese come piste. Evita soprattutto di rileggere a istinto.

Ricorrere a un secondo strumento ha il suo interesse, a patto di non fidarsene ciecamente. Se due modelli divergono, sai dove scavare. Se concordano, magari hanno imparato lo stesso errore sugli stessi testi. Troverai come ridurre questi errori a monte nella nostra guida per limitare le allucinazioni.

Le trappole che sopravvivono a una rilettura veloce

Alcuni errori passano anche tra i revisori attenti.

Il vero e il falso nella stessa frase. Una data giusta accompagnata da un luogo sbagliato conquista la fiducia del lettore. Se hai verificato metà della frase, non hai verificato la frase.

L'assenza. Ciò che è più difficile da individuare è ciò che manca: un'eccezione, una condizione, un termine. Una regola presentata senza la sua soglia di applicazione può essere esatta in generale e sbagliata per il tuo caso. Poni la domanda: «In quali casi questa regola non si applica?», poi verifica la risposta.

I dettagli troppo perfetti. Un numero molto preciso senza fonte, una citazione che cade esattamente a proposito, il nome di uno studio fin troppo comodo sono segnali d'allarme.

La stanchezza. Dopo cinque risposte corrette, si allenta l'attenzione. È proprio il momento in cui l'errore passa, soprattutto quando si usa lo strumento ogni giorno. Una breve lista di controllo scritta aiuta a tenere, perché non dipende dalla tua vigilanza del momento.

Prendi l'abitudine sul tuo prossimo testo

Sul prossimo testo che l'IA scrive per te, evidenzia ogni numero, nome proprio e data, poi apri almeno una fonte per i tre elementi che ti farebbero più danno se fossero falsi. Annota ciò che trovi. Dopo alcuni testi conoscerai i punti deboli del tuo strumento sui tuoi argomenti, e saprai esattamente dove guardare.