Rilevatori di testo IA: ci si può fidare?

Una studentessa di laurea magistrale consegna una tesi che ha scritto da sola, in sei settimane. Lo strumento di rilevamento della sua università mostra «68% probabilmente generato da IA». Viene convocata. Non ha né bozze datate né cronologia delle modifiche, perché scrive in un unico file che sovrascrive a ogni salvataggio. Si ritrova a dover dimostrare di non aver fatto nulla.

Questo tipo di situazione viene regolarmente segnalato nel mondo dell'istruzione. Nasce da un malinteso su ciò che misura un rilevatore.

Cosa fa un rilevatore

Un rilevatore non ritrova la traccia di uno strumento nel tuo testo. Non ce n'è nessuna, a meno che il fornitore non abbia aggiunto una marcatura volontaria, e la maggior parte dei testi non ne porta. Il rilevatore è a sua volta un modello addestrato a riconoscere delle regolarità: frasi di lunghezza simile, parole molto prevedibili, uno stile levigato. Ne ricava una probabilità.

Il problema è che queste regolarità non sono esclusive delle macchine. Un testo amministrativo, un tema scolastico, un riassunto fattuale, un testo scritto in una lingua che non è la propria assomigliano a ciò che produce un'IA. Dei ricercatori hanno peraltro mostrato che i testi di persone non madrelingua inglese venivano segnalati a torto più spesso di quelli dei madrelingua. Al contrario, un testo generato e poi un po' riscritto, o prodotto con un prompt che chiede uno stile più irregolare, passa senza difficoltà.

OpenAI aveva pubblicato nel 2023 il suo rilevatore di testi e lo ha ritirato pochi mesi dopo, adducendo il suo basso tasso di precisione. Quando l'editore di un modello non riesce a riconoscere in modo affidabile i propri testi, è meglio non farne una prova.

Una percentuale non è un verdetto

Sono possibili due errori, e non costano la stessa cosa.

• Il falso positivo: un testo umano viene segnalato come generato. È il caso della studentessa, ed è il più grave, perché accusa qualcuno di barare.
• Il falso negativo: un testo generato passa per umano. Fa credere che lo strumento funzioni meglio di quanto faccia.

Un punteggio di «68%» non significa che il 68% del testo sia stato scritto da un'IA, e nemmeno che ci sia il 68% di probabilità che il testo sia generato. Gli strumenti non lo spiegano sempre in modo chiaro, e diversi editori precisano loro stessi che il punteggio non deve servire come unica base per una sanzione. Leggi la documentazione dello strumento che usi: è il documento più eloquente.

I rilevatori non si equivalgono, e due strumenti possono dare punteggi diversi allo stesso testo. Fai la prova con un testo di cui conosci l'origine.

Se sei un docente o un responsabile

Usa il punteggio, se lo consulti, come un segnale per porre una domanda, mai come una prova. Ciò che funziona meglio:

• chiedere una cronologia delle versioni, delle bozze, degli appunti o delle fonti;
• confrontarsi a voce con l'autore sul suo testo;
• adattare la consegna perché riguardi un percorso personale (un'esperienza vissuta, un caso della classe, una tappa da mostrare) piuttosto che un testo generico;
• fissare in anticipo, e per iscritto, ciò che è permesso con l'IA e ciò che non lo è.

La cosa più redditizia è il colloquio. Un'IA può aiutarti a prepararlo a partire dal compito stesso:

Ecco il compito di uno studente di quarta superiore su [ARGOMENTO]:

[TESTO DEL COMPITO]

Prepara cinque domande orali per verificare che lo studente capisca ciò che ha scritto: due sulle sue scelte argomentative, due che gli chiedano di spiegare un passaggio con parole sue, una che gli chieda di sviluppare un esempio. Non esprimere nessun giudizio sull'origine del testo.

L'ultima frase conta. Lo scopo è aprire una discussione, non costruire un fascicolo. Evita inoltre di incollare il compito di uno studente identificabile in uno strumento di cui non conosci le regole di conservazione dei dati. Altre piste nella guida ai prompt per insegnanti.

Se sei accusato a torto

Resta sui fatti e raccogli ciò che hai: bozze, cronologia del documento (i programmi di scrittura online spesso conservano le versioni), appunti, fonti consultate, scambi con un tutor. Proponi un colloquio per spiegare il tuo lavoro, che è spesso la migliore difesa. Chiedi quale strumento è stato usato, con quale punteggio e su quale base, e verifica cosa dice la documentazione dello strumento sull'affidabilità del suo punteggio. Se la procedura è seria, fatti aiutare da un rappresentante (rappresentanza studentesca, mediatore, consulenza legale).

Per il futuro, prendi l'abitudine di scrivere in un documento che conserva la cronologia delle modifiche e di tenere i tuoi appunti. È anche una buona pratica se usi l'IA in modo autorizzato, per esempio per riformulare: conserva le due versioni. L'articolo per gli studenti spiega come usare questi strumenti senza metterti in difficoltà.

E se vuoi scrivere un testo che non «sembri IA»

Non cercare di ingannare un rilevatore: non ti insegna niente e la regola del tuo istituto o del tuo cliente resta la stessa. Se l'IA ti aiuta, ciò che rende un testo davvero tuo è la materia che ci metti: i tuoi esempi, i tuoi dati verificati, il tuo modo di dire, ciò che trovi nell'articolo sul tuo stile. I bias degli strumenti, compresi quelli dei rilevatori, sono trattati nell'articolo sui bias dell'IA.

Per la prossima volta

Se il tuo istituto o la tua azienda usa un rilevatore, chiedi per iscritto come viene utilizzato il punteggio e se può essere l'unica base di una decisione. E se stai redigendo un documento importante, attiva la cronologia delle versioni fin da oggi.