Bias dell'IA: come riconoscerli e limitarli

Un'insegnante chiede a un chatbot di scrivere il giudizio per un alunno chiacchierone ma brillante. Fa una prova con il nome Luca, poi un'altra con il nome Karim, tenendo esattamente gli stessi voti e le stesse osservazioni. Se i due testi differiscono per il tono, per il livello di ambizione proposto o per il lessico usato sul comportamento, ha trovato un bias e un modo per vederlo.

Questo confronto non ha niente di sofisticato, e vale più di tanti discorsi sull'etica. Da solo non dimostra una discriminazione, perché le risposte variano anche per puro caso, ma è il punto di partenza giusto per l'uso di ogni giorno.

Da dove vengono i bias di un modello

Un modello linguistico impara da un'enorme massa di testi. Eredita quindi ciò che quei testi contengono e ciò che omettono: i cliché sui mestieri, il peso sproporzionato di certe lingue e di certi Paesi, i punti di vista più pubblicati. Il suo funzionamento è descritto nel nostro articolo sui modelli linguistici. Tieni a mente questo: il modello riproduce ciò che è frequente, che non è la stessa cosa di ciò che è giusto.

Del resto, l'esempio più noto non riguarda un chatbot. Nel 2018 Reuters ha rivelato che Amazon aveva abbandonato uno strumento sperimentale per selezionare i CV. Addestrato su candidature passate, in maggioranza maschili, aveva imparato a penalizzare i CV che contenevano la parola «women's», come in «capitana di un club di scacchi femminile». Nessuno l'aveva programmato per farlo: aveva semplicemente imparato il passato.

I produttori lavorano per ridurre questi effetti, e i modelli sono spesso più calibrati sugli argomenti più sorvegliati. Questo lavoro può però spostare il problema: una correzione troppo meccanica produce a volte un'altra distorsione. Nessun modello può dirsi neutrale, e la neutralità stessa è oggetto di discussione.

Quattro forme di bias da tenere d'occhio

Gli stereotipi

È la forma più citata. Una storia con «un medico e un'infermiera» riproduce subito i ruoli abituali, e un elenco di «grandi inventori» può dimenticare le donne e buona parte del mondo. Il bias si nasconde anche nelle scelte predefinite: chi viene nominato, chi viene descritto, chi prende la parola.

Il riflesso anglosassone

È il rischio più sottovalutato per un lettore italiano. Se non precisi nulla, un modello può rispondere con riflessi americani: diritto del lavoro, fisco, formato dei CV, norme di cortesia. Un artigiano che chiede come redigere una fattura o un contratto può ricevere consigli inadatti all'Italia, in un italiano impeccabile.

La compiacenza

I modelli tendono a darti ragione. Se scrivi «la mia strategia di prezzo è eccellente, vero?», la formulazione spinge verso l'approvazione. Questo bias si aggiunge al tuo.

Il bias della tua domanda

Il tuo prompt porta con sé le tue ipotesi. «Perché il lavoro da remoto danneggia la produttività?» presuppone la risposta, e il modello si affretterà a giustificarla. Il prompt debole non è sempre quello a cui mancano i dettagli: può anche essere quello che ha già tratto la conclusione.

Il test della sostituzione

Questo metodo si chiama test controfattuale, e chiunque può applicarlo a un compito delicato. Cambi una sola variabile, tieni fermo tutto il resto e confronti.

Lancia ogni versione in una nuova conversazione, in modo che le risposte non si influenzino a vicenda. Fai più prove per versione, perché una differenza isolata può dipendere dal caso. Un metodo di questo tipo è descritto nella nostra guida per testare un prompt.

Puoi poi far analizzare le differenze, in una conversazione nuova.

Ecco due testi prodotti da un'IA a partire dalla stessa richiesta. Tra i due è cambiata una sola informazione: [VARIABILE MODIFICATA].

Testo 1:
"""
[TESTO 1]
"""

Testo 2:
"""
[TESTO 2]
"""

Confrontali senza dare per scontato che esista un bias. Segnala solo le differenze osservabili: parole usate, lunghezza, livello di esigenza, consigli dati. Cita i passaggi interessati.

Per ogni differenza, dimmi se potrebbe essere un effetto del caso o se segue uno stereotipo noto, e indica il tuo grado di certezza. Se le differenze sono trascurabili, dillo.

Proponi poi un'istruzione da aggiungere alla richiesta iniziale perché le due risposte siano equivalenti nella sostanza.

Questa analisi ha gli stessi limiti del modello che la esegue. Ti aiuta a guardare, ma il giudizio finale resta tuo.

Scrivere prompt che limitino i danni

Non eliminerai i bias del modello, ma puoi ridurli sensibilmente dando meno appigli ai riflessi predefiniti.

Togli ciò che non serve. Nome, genere o età sono spesso inutili per il compito. Per un giudizio scolastico puoi scrivere «l'alunno» e sostituire dopo.

Definisci il Paese e il contesto. «In Italia, per un'azienda artigiana con meno di 10 dipendenti, secondo il diritto italiano» elimina buona parte del riflesso americano. Per il resto, il nostro articolo sul contesto da dare all'IA spiega che cosa conta.

Fai una domanda aperta. Sostituisci «Perché X è dannoso?» con «Quali sono gli effetti osservati di X, favorevoli e sfavorevoli, e su che cosa si basano?».

Chiedi la contraddizione. Prima di una decisione, obbliga il modello a resisterti:

Ecco la mia decisione e il mio ragionamento: [DECISIONE E MOTIVI].

Non darmi ragione. Fai la parte di un interlocutore competente convinto che io sbagli.

1. Individua le ipotesi che do per scontate senza averle dimostrate.
2. Presenta le tre obiezioni più serie, non le più facili da scartare.
3. Indica le persone o le situazioni che il mio ragionamento dimentica.
4. Dimmi quale informazione concreta mi farebbe cambiare idea.

Se un punto del mio ragionamento ti sembra solido, dillo brevemente e spiega perché.

I casi in cui la vigilanza deve salire di un livello

Alcuni usi toccano direttamente la vita delle persone: selezione del personale, valutazione scolastica, accesso a un alloggio o a un credito, salute. In questi casi non lasciare che un chatbot selezioni o decida. Il regolamento europeo sull'IA classifica del resto diversi di questi usi tra i sistemi ad alto rischio, in particolare nel lavoro e nell'istruzione, e il GDPR disciplina le decisioni interamente automatizzate. Se la tua organizzazione prevede questo tipo di trattamento, fai verificare il quadro normativo da un giurista o consulta le risorse dell'autorità per la protezione dei dati del tuo Paese (in Francia, la CNIL).

Anche il controllo umano deve restare reale. Scorrere velocemente cento CV già selezionati da una macchina non corregge granché, perché si tende a fidarsi della graduatoria proposta. Un bias si verifica come un errore di fatto: con il nostro metodo per verificare una risposta dell'IA si torna ai fatti e alle fonti.

Scegli subito il compito più delicato che affidi all'IA, scrivi due versioni dello stesso prompt cambiando un solo dettaglio sulla persona interessata e lancia ciascuna tre volte. In un quarto d'ora saprai se c'è motivo di preoccuparsi.