Temperatura dell'IA: che cosa cambiano davvero le impostazioni

Un ristoratore chiede dieci nomi per il suo nuovo menu d'autunno e riceve dieci variazioni su «Sapori d'autunno». Il giorno dopo chiede a uno strumento di estrarre gli importi dalle fatture dei fornitori, e il formato cambia da una riga all'altra. Nel primo caso vorrebbe più audacia. Nel secondo vorrebbe che lo strumento la smettesse di improvvisare.

Questi due bisogni opposti dipendono da uno stesso parametro: la temperatura. Per capire a che cosa serve basta un solo richiamo: un modello linguistico calcola le probabilità per il seguito del testo, poi ne sceglie una. È il principio descritto nel nostro articolo sul funzionamento di un modello linguistico.

Dove si trovano queste impostazioni

Cominciamo con una precisazione che evita di cercare a vuoto: nelle applicazioni per il grande pubblico, questi cursori in genere non sono offerti. Li trovi piuttosto negli ambienti destinati agli sviluppatori, nei «playground» dei produttori (Google AI Studio, per esempio) e nelle chiamate all'API. Nel momento in cui scriviamo queste righe è la situazione più comune, ma verifica nel tuo strumento, perché le interfacce cambiano spesso.

Circolano consigli secondo cui basterebbe scrivere «temperatura 0,2» in un chatbot. Non contarci. Quella frase non tocca l'impostazione: al massimo, il modello la interpreta come un desiderio di sobrietà, al pari di un'istruzione ordinaria. L'ultima sezione mostra un modo più affidabile per ottenere questo effetto.

La temperatura: prudenza o presa di rischio

Riprendiamo il meccanismo. Il modello deve continuare la frase «La nostra trattoria ti propone una cucina...». Vede «tradizionale» molto probabile, «genuina» abbastanza probabile, «chiacchierona» molto improbabile.

A temperatura bassa, la scelta si concentra sui seguiti più probabili. La risposta è saggia, regolare, a volte piatta.

A temperatura alta, le probabilità si avvicinano: seguiti meno attesi hanno la loro possibilità. La risposta diventa più varia, più sorprendente, e anche più esposta al fuori tema o all'incoerenza.

La tabella riassume gli usi abituali. Sono tendenze, da testare sul tuo caso.

La scala varia a seconda dei fornitori, da 0 a 1 per alcuni, da 0 a 2 per altri, e un dato valore non ha esattamente lo stesso effetto da un modello all'altro. Alcuni modelli recenti limitano o addirittura ignorano questo parametro. Consulta la documentazione prima di copiare un valore trovato su un forum.

Due errori tornano molto spesso.

Credere che una temperatura a zero renda vera la risposta. L'impostazione influenza la varietà, mai l'esattezza. A temperatura zero, il modello prende il suo seguito preferito, anche quando è sbagliato. Un'informazione inventata può quindi tornare identica a ogni tentativo, il che le dà una falsa apparenza di solidità.

Credere che la renda perfettamente riproducibile. Una temperatura molto bassa riduce fortemente le variazioni, senza sempre eliminarle. Alcune API offrono un parametro seed per migliorare la ripetibilità, senza garanzia assoluta.

Le altre impostazioni che incontrerai

Top-p limita la scelta ai seguiti più probabili, fino a raggiungere una data quota della probabilità totale. A 0,9, il modello pesca tra i seguiti che rappresentano il 90 % di quella probabilità e ignora gli altri. L'effetto somiglia a quello della temperatura, ed è per questo che le documentazioni raccomandano in genere di modificare l'uno o l'altra, non entrambi.

La lunghezza massima (spesso max_tokens) pone un tetto alla dimensione della risposta. Taglia il testo di netto una volta raggiunto il limite: il modello non scrive per questo una risposta più concisa. Per un testo breve e completo, chiedilo nel prompt, seguendo i nostri consigli per imporre un formato di risposta. Se lavori su documenti lunghi, tieni presente anche il limite descritto nel nostro articolo sui token e la finestra di contesto.

Le sequenze di arresto indicano al modello una sequenza di caratteri alla quale deve interrompersi. Servono soprattutto agli sviluppatori che integrano un modello in un'applicazione.

Le penalità di frequenza e di presenza, offerte da alcune API, scoraggiano la ripetizione di parole già usate. Possono aiutare su testi lunghi che girano in tondo, ma non sono disponibili ovunque e il loro effetto resta difficile da prevedere.

L'istruzione di sistema non è un'impostazione numerica, ma si trova spesso nelle stesse schermate. È spesso quella che ha più effetto sul risultato.

Per un uso corrente, l'ordine d'azione è semplice: migliora prima il prompt, regola poi la temperatura e lascia il resto di default finché non hai un problema preciso da risolvere.

Ottenere lo stesso effetto senza cursore

La maggior parte delle persone non ha accesso a questi parametri, e non è molto grave: il prompt permette di andare nella stessa direzione.

Per la varietà, il prompt debole sarebbe «Proponi dei nomi per il mio menu d'autunno». Il modello produce allora ciò che vede di più probabile. Obbligalo a esplorare direzioni distinte:

Gestisco [TIPO DI RISTORANTE] a [CITTÀ]. La mia clientela: [DESCRIZIONE]. Cerco un nome per [IL MENU O IL PIATTO], che contiene [INGREDIENTI O IDEA].

Proponi 12 nomi suddivisi in 4 approcci molto diversi: poetico, umoristico, legato al territorio e un approccio inatteso a tua scelta che darai un nome.

Vincoli:
- meno di 5 parole;
- evita le parole [PAROLE TROPPO VISTE, ES. SAPORI, DELIZIE, TRADIZIONE];
- facili da pronunciare ad alta voce da un cameriere.

Per ogni nome, indica in poche parole che cosa evoca. Concludi indicando i due nomi più rischiosi e spiega che cosa potrebbe non piacere.

Il guadagno viene dall'obbligo di cercare altrove: gli approcci imposti e le parole vietate scartano i seguiti più attesi. Puoi anche generare più risposte in conversazioni separate e confrontarle, il che equivale a sfruttare la quota di caso invece di subirla.

Per la regolarità, è il contrario: riduci la libertà. Dai un formato rigido, un esempio del risultato atteso e un'istruzione per i casi ambigui.

Estrai le informazioni dalla fattura qui sotto. Rispondi soltanto con una tabella con queste colonne, in quest'ordine: Fornitore | Data (GG/MM/AAAA) | Numero fattura | Imponibile | IVA | Totale.

Regole:
- ricopia gli importi così come compaiono, senza ricalcolare;
- se un valore è assente o illeggibile, scrivi «NON TROVATO»;
- non aggiungere nessun commento.

Fattura:
"""
[TESTO DELLA FATTURA]
"""

Anche così, controlla a mano le prime estrazioni, poi un campione regolare. Se l'esigenza diventa ripetitiva e un software deve leggere il risultato, passa piuttosto a un output JSON strutturato.

Il test da fare con il tuo prossimo prompt

Lancia il tuo prompt abituale tre volte, ciascuna in una nuova conversazione, e confronta le risposte. Se si somigliano troppo mentre volevi delle idee, imponi approcci diversi. Se divergono mentre volevi un risultato stabile, restringi il formato. In entrambi i casi saprai che cosa correggere senza toccare un solo cursore.