Come funziona un modello linguistico, spiegato senza gergo

Chiedi a un chatbot la biografia di un artigiano poco noto della tua città, senza dargli accesso al web. Ci sono buone probabilità che ottenga un testo scorrevole, con una data di apertura della bottega, un apprendistato presso un maestro ebanista e un aneddoto sul laboratorio. Può essere tutto falso, e il tono non lascerà trasparire nulla.

Questo comportamento sembra una menzogna. In realtà si spiega con la meccanica stessa di questi strumenti. Una volta che l'hai capita, sai che cosa aspettarti: perché bisogna incollare le fonti, perché una conversazione lunga peggiora, perché due risposte alla stessa domanda differiscono. Qui sotto nessuna formula matematica, solo le idee che cambiano il modo in cui li usi.

Una macchina che prevede il seguito di un testo

Un modello linguistico fa una cosa sola, su scala enorme: a partire da un testo, stima che cosa ha più probabilità di venire dopo.

Prendi questa frase: «Il panettiere toglie il pane dal». Completi con «forno» senza pensarci. Il modello fa lo stesso, solo che non sceglie una parola sola. Calcola una probabilità per ogni seguito possibile: «forno» altissima, «laboratorio» abbastanza alta, «sacco» più bassa, «frigorifero» quasi nulla. Ne sceglie uno, lo aggiunge al testo, poi ricomincia con la frase allungata, e così via fino alla fine della risposta.

Tutto quello che vedi nasce da questo ciclo: l'e-mail di sollecito, il codice Python, la ricetta, il riassunto di un contratto. Quando poni una domanda, il modello produce il testo che più somiglia a ciò che segue quella domanda in tutto quello che ha imparato. Risponde perché una domanda, statisticamente, è seguita da una risposta.

Il paragone con il completamento automatico del telefono è utile, ma ha i suoi limiti. Il tuo telefono guarda le ultime due o tre parole. Un modello linguistico tiene conto di tutto il testo che ha sotto gli occhi, e ha assorbito abbastanza regolarità da tradurre, ragionare su un problema o imitare uno stile. Questa differenza di scala cambia ciò che è in grado di fare.

Il modello capisce ciò che scrive? I ricercatori ne discutono e la questione resta aperta. Per il tuo uso basta una risposta pratica: maneggia benissimo il significato delle parole, e non ha un legame diretto con la realtà. Sa solo ciò che i testi ne dicono.

Che cosa significa «addestrare» un modello

Nessuno scrive le regole a mano. Nessuno ha programmato che «forno» segue «pane dal». Il modello le deduce da solo, leggendo una quantità colossale di testi: pagine web, libri, codice, forum, a seconda di ciò che ogni azienda ha raccolto.

L'addestramento somiglia a un esercizio di completamento ripetuto all'infinito. Si nasconde il seguito di una frase, il modello prova a indovinarlo, si confronta con il seguito vero, poi si ritoccano leggermente le sue impostazioni interne perché sbagli un po' meno. Queste impostazioni si chiamano parametri, e i grandi modelli ne contano miliardi. Immagina un mixer con un numero folle di manopole, ognuna girata di un capello a ogni tentativo.

Alla fine di questa fase si ottiene un modello che prolunga qualsiasi testo, ma che non è ancora un assistente. Se gli scrivi una domanda, può benissimo proseguire con altre domande, come in un questionario. Una seconda fase gli insegna quindi a comportarsi da assistente, appoggiandosi in particolare a esempi di buone risposte e a valutazioni umane. È in questo momento che impara anche a rifiutare alcune richieste e ad adottare un tono disponibile.

Ne derivano tre conseguenze molto concrete.

Il modello non è un database. Non conserva i testi archiviati in file da consultare. Conserva regolarità, sciolte nei suoi parametri. Una frase molto ripetuta può riaffiorare quasi parola per parola, ma un'informazione rara, come il numero di telefono del comune del tuo paese, può aver lasciato una traccia troppo debole per essere restituita correttamente.

Le sue conoscenze si fermano a una data. L'addestramento avviene su dati congelati, e tutto ciò che è successo dopo gli è sconosciuto, a meno che lo strumento gli dia accesso al web o che sia tu a fornirgli l'informazione.

Non impara da te mentre gli parli. I tuoi messaggi non modificano i suoi parametri in tempo reale. Alcune aziende possono riutilizzare le conversazioni per futuri addestramenti, in base alle tue impostazioni, da cui l'importanza di controllare che cosa incolli. Le funzioni di «memoria» offerte da certi strumenti sono un'altra cosa: appunti salvati a parte e reinseriti nella conversazione.

Bisogna anche distinguere il modello dal prodotto. Il modello è il motore di previsione. Il chatbot che usi lo circonda di istruzioni nascoste, ricerca web, esecuzione di codice, lettura di file. Quando uno strumento ti dà un numero corretto tratto da una pagina recente, spesso ha lavorato questo contorno, e il modello ha scritto il testo. Queste funzioni variano da uno strumento e da un piano all'altro: controlla che cosa è attivo nel tuo.

Come le parole diventano numeri

Un computer calcola, non legge. Bisogna quindi tradurre il testo in numeri, e questa traduzione avviene in due tempi.

Prima il testo viene spezzettato in pezzi chiamati token: una parola corta, una parte di parola lunga, un segno di punteggiatura. Questa suddivisione spiega molti limiti pratici, spiegati nell'articolo sui token e la finestra di contesto.

Poi ogni pezzo riceve una lunga lista di numeri, che si possono immaginare come coordinate su una mappa immensa. L'addestramento avvicina su questa mappa gli elementi che compaiono in contesti simili. «Fattura» finisce non lontano da «preventivo», «gatto» non lontano da «cane», e i due gruppi restano distanti l'uno dall'altro. Il significato diventa una questione di distanza.

Resta il caso delle parole con più significati. Confronta queste due frasi:

Il calcio è il mio sport preferito, lo guardo ogni domenica.

Il calcio è un minerale essenziale per le ossa.

Stessa parola, due realtà. Il meccanismo che risolve il problema si chiama attenzione. Per elaborare ogni pezzo del testo, il modello guarda tutti gli altri e pesa quelli che contano. Qui «sport», «guardo» e «domenica» tirano «calcio» verso il campo, «minerale» e «ossa» lo tirano verso la chimica. L'architettura che generalizza questa idea, chiamata Transformer, è stata descritta nel 2017 da ricercatori di Google in un articolo rimasto celebre, «Attention Is All You Need». La maggior parte dei grandi modelli attuali ne discende.

Questo meccanismo ha un effetto diretto sui tuoi prompt: il modello pesa tutto ciò che si trova nel testo, comprese le tue digressioni. Una frase fuori tema o un dettaglio messo nel posto sbagliato influenza la risposta, anche se poco.

Perché inventa con tanta sicurezza

Torniamo al nostro artigiano immaginario. Il modello ha letto migliaia di biografie di artigiani. Sa che aspetto hanno: una data, una formazione, una trasmissione del mestiere, un attaccamento al gesto. Quando non ha nessuna informazione sulla persona, produce comunque il seguito più plausibile, perché è la sua funzione. Nulla nel ciclo di previsione verifica che la frase corrisponda a un fatto.

È quella che si chiama allucinazione. La parola è fuorviante, perché nulla è stato «visto». Si tratta piuttosto di un'estrapolazione che ha la forma di una risposta sicura di sé.

Una richiesta contabile mostra bene la trappola. Se chiedi l'articolo del Code général des impôts francese che regola una detrazione precisa, il modello sa che una risposta di questo tipo contiene un numero di articolo ben formato. Può produrne uno dall'aspetto giusto, che non parla dell'argomento o che nel frattempo è cambiato. Il formato è perfetto e il contenuto è da verificare.

Due idee sbagliate meritano di essere accantonate:

• La sicurezza del tono non dice nulla sull'affidabilità. Un modello non diventa più esitante perché sbaglia. Lo stile assertivo fa parte di ciò che ha imparato.
• Chiedergli se è sicuro non basta. Il modello può mantenere il suo errore o, al contrario, abbandonare una risposta giusta perché la tua domanda lascia intendere un dubbio. Tende ad andare nella direzione del suo interlocutore.

I modelli recenti sbagliano meno spesso, e molti segnalano meglio le proprie incertezze. Il rischio diminuisce senza sparire. Per ridurlo si può agire sul prompt, come spiega la nostra guida per ridurre le allucinazioni, e poi controllare il risultato.

Le stranezze di ogni giorno, decifrate

La maggior parte dei comportamenti strani si spiega con quanto detto finora.

Il punto sulle risposte diverse deriva da un'impostazione che a volte puoi usare, descritta nell'articolo sulla temperatura e gli altri parametri. Il punto sulla memoria sorprende spesso: a ogni messaggio, l'applicazione rimanda al modello il testo della conversazione. Non ricorda nel senso in cui ricordi tu, rilegge.

Che cosa cambia nei tuoi prompt

Una volta capita la meccanica, la buona abitudine si riassume così: il tuo prompt è l'inizio di un testo, e il modello lo prolungherà. Più questo inizio somiglia a quello di un buon documento, più il seguito ha probabilità di essere buono.

Ecco una richiesta tipica della responsabile di un'associazione:

Scrivi un messaggio per annunciare la nostra assemblea generale.

Il modello non ha nulla a cui aggrapparsi nella realtà. Produrrà quindi la media di tutti i messaggi di assemblea generale che ha letto, con un tono generico e probabilmente un luogo lasciato vuoto o inventato. Lo stesso bisogno, scritto tenendo conto del suo funzionamento:

Ecco le informazioni esatte sulla nostra assemblea generale. Usa solo queste informazioni e non aggiungerne nessuna.

Associazione: [NOME E ATTIVITÀ]
Data, ora e luogo: [DETTAGLI]
Ordine del giorno: [PUNTI]
Che cosa ci si aspetta dai soci: [VOTO, DELEGA, CONFERMA DI PRESENZA]

Scrivi un'e-mail di meno di 150 parole per i nostri [NUMERO] soci, molti dei quali sono pensionati e leggono dal telefono. Il tono è caloroso e semplice. Comincia dalla data. Concludi con ciò che devono fare e la scadenza.

Se manca un'informazione indispensabile, scrivi [DA COMPLETARE] al suo posto invece di indovinarla.

Ogni cambiamento risponde a un meccanismo visto sopra:

• I fatti sono nel testo, quindi il modello non deve ricostruirli a memoria, dove è più fragile.
• Il pubblico, la lunghezza e il tono riducono il numero di seguiti plausibili. La risposta si allontana dalla media.
• L'istruzione su [DA COMPLETARE] gli dà un'uscita consentita. Senza, il testo plausibile prevale sul vuoto.

Questo prompt migliora nettamente le probabilità, senza garantire nulla. Il modello può ancora infilare un dettaglio non richiesto, e dovrai rileggere ogni data e ogni nome. Per questa rilettura, tieni a portata di mano il nostro metodo per verificare una risposta dell'IA.

Rifai ora il test dell'artigiano: chiedi al tuo chatbot, con la ricerca web disattivata, la biografia di una persona che conosci bene e che non è famosa. Leggi la risposta, annota ciò che è falso, poi reincolla in una nuova conversazione tre fatti esatti su quella persona con l'istruzione «usa solo queste informazioni». La differenza tra i due testi vale tutte le spiegazioni.