Far girare un modello di IA sul tuo computer

Una fisioterapista libera professionista passa le serate a scrivere relazioni a partire da appunti scarabocchiati. Le piacerebbe che l'IA li mettesse in bella, ma non vuole inviare informazioni sui suoi pazienti a un servizio online. Un collega le dice: «Installa un modello a casa tua, niente esce dal tuo computer». È vero, ed è fattibile. Non è semplice come sembra, e il risultato non ha la stessa qualità dei grandi servizi.

Un modello locale è un modello linguistico che scarichi e fai girare sulla tua macchina, con un programma dedicato. Una volta installato, funziona senza connessione. Ecco che cosa porta, quanto costa in pratica e come scrivere prompt adatti.

Che cosa guadagni

I tuoi testi restano da te. Ciò che scrivi viene elaborato dal tuo computer e non viene inviato a un fornitore. Per appunti sensibili, bozze riservate o documenti aziendali, è la ragione principale per arrivarci. Una riserva: «locale» non significa «conforme». Per dati sanitari o dei clienti, gli obblighi di legge non spariscono perché l'elaborazione avviene sul tuo computer. Se è il tuo caso, parlane con il tuo referente per la protezione dei dati o con un professionista del diritto, e guarda prima che cosa non si dovrebbe affidare a un chatbot.

Puoi lavorare offline. In treno, in un cantiere, in un edificio senza rete, il modello risponde comunque.

Hai il controllo. Il modello non cambia comportamento da un giorno all'altro a causa di un aggiornamento del fornitore. Il tuo resta fermo finché non lo sostituisci, il che rende un prompt più riproducibile.

Puoi sperimentare senza contare. Nessun tetto di messaggi fissato da un abbonamento. Il limite è la pazienza della tua macchina.

Che cosa perdi

Siamo chiari: un modello che sta su un computer da scrivania è nettamente più piccolo di quelli che girano nei centri di calcolo dei grandi servizi. In genere ragiona peggio, segue peggio le istruzioni lunghe, coglie peggio le sfumature, sbaglia più spesso sui fatti e gestisce peggio i testi molto lunghi. A seconda della macchina, può anche essere lento.

I compiti in cui se la cava bene sono piuttosto semplici e circoscritti: riformulare un testo, correggere, classificare, estrarre informazioni da un testo che fornisci, riassumere un documento breve, fare bozze. I compiti in cui delude: il ragionamento in più passaggi, le domande di cultura generale più specifiche, la scrittura lunga e curata e tutto ciò che richiede di essere esatti sui fatti senza una fonte.

Non è un dettaglio per chi conta su di lui senza rileggere. Un modello piccolo inventa più facilmente: bisogna controllare ogni cifra e ogni riferimento, come spiega l'articolo sulla riduzione delle allucinazioni.

Che hardware serve

Il fattore decisivo è la memoria. Un modello è un grosso file caricato in memoria per rispondere, e se non ci sta, la macchina diventa inutilizzabile per la lentezza. Tre nozioni da conoscere.

La dimensione, in miliardi di parametri. Vedrai modelli descritti come «3B», «7B» o «70B». Più il numero è grande, più il modello è in genere capace, e più è pesante.

La quantizzazione. È una compressione che riduce la precisione dei numeri del modello per farlo stare in meno memoria, al prezzo di una piccola perdita di qualità. La maggior parte dei modelli proposti per il download esiste in più versioni quantizzate, e lo strumento ti indica la dimensione del file.

La memoria disponibile. Su un computer è la memoria RAM, o quella della scheda grafica se ne hai una dedicata. Su alcuni Mac recenti la memoria è condivisa tra processore e parte grafica, il che aiuta. Una regola prudente: il file del modello deve stare nella tua memoria con un buon margine, perché serve spazio anche per la conversazione in corso (la finestra di contesto) e per il resto del sistema.

Con un computer recente e poca memoria, punta su modelli piccoli. Con molta memoria o una buona scheda grafica, puoi salire di dimensione. Gli strumenti spesso indicano se un modello ha possibilità di girare sulla tua macchina: fidati di questi avvisi.

Gli strumenti per iniziare

Due programmi sono molto usati per cominciare, e questa guida non vuole dirti quale sia il migliore.

• LM Studio ha un'interfaccia grafica: cerchi un modello in un elenco, lo scarichi, apri una finestra di conversazione. È il più semplice per una prima prova.
• Ollama funziona soprattutto da riga di comando e fa da base ad altre applicazioni. Conviene di più se ti trovi a tuo agio con un terminale o se vuoi collegare il modello ad altri strumenti.

In entrambi i casi il procedimento è lo stesso: installare il programma, scegliere un modello piccolo, scaricarlo (il file si misura in gigabyte, prevedi lo spazio e una buona connessione), poi conversare.

Qualche precauzione. Scarica i modelli dai cataloghi integrati negli strumenti o da fonti affidabili, non da un link ricevuto per messaggio. Guarda la licenza del modello se pensi di usarlo in ambito professionale, perché non tutte consentono l'uso commerciale. E se attivi funzioni che consultano il web o inviano dati a un servizio, la tua elaborazione non è più interamente locale.

Scrivere prompt per un modello piccolo

I principi restano quelli della scrittura di un prompt, ma un modello piccolo richiede più disciplina. Un grande servizio compensa le tue approssimazioni, uno piccolo le subisce.

Un compito per messaggio. Invece di «riassumi, correggi e traduci», concatena i tre passaggi, come in una catena di prompt.

Istruzioni brevi e positive. Un elenco di dodici regole verrà dimenticato a metà. Tieni tre o quattro istruzioni essenziali.

Un esempio. I modelli piccoli guadagnano molto nel vedere che cosa ci si aspetta. La tecnica è spiegata nell'articolo sul few-shot.

Il testo da trattare, fornito e delimitato. Incolla la materia tra segnali chiari e chiedi di non aggiungere nulla.

Un formato semplice. Un elenco puntato o qualche riga. Un formato molto strutturato riesce meno spesso che con un grande modello.

Per la fisioterapista, ecco un prompt che rispetta questi principi. Sostituisce i nomi con le iniziali e conserva lo stretto necessario:

Metti in bella gli appunti di una seduta di fisioterapia.

Regole:
- Scrivi al massimo tre frasi, al presente.
- Non aggiungere nessuna informazione assente dagli appunti.
- Se sembra mancare un'informazione (durata, zona trattata), scrivi [DA PRECISARE].

Esempio.
Appunti: ginocchio D, dolore 6/10 -> 4/10, mobilizzazione, rinforzo quadricipite, rivedere giovedì
Relazione: Seduta dedicata al ginocchio destro. Il dolore è passato da 6 a 4 su 10. Mobilizzazione e rinforzo del quadricipite; prossima seduta giovedì.

Appunti da mettere in bella:
[I TUOI APPUNTI]

Lei legge ogni relazione prima di archiviarla: un modello piccolo può scambiare destra e sinistra o arrotondare una cifra. Un aiuto alla scrittura non sostituisce la rilettura del professionista che firma.

Se i risultati deludono, prova in quest'ordine: accorciare il prompt, aggiungere un secondo esempio, passare a un modello più grande se la memoria lo consente. Le impostazioni come la temperatura sono spiegate nell'articolo sui parametri; sono spesso accessibili nell'interfaccia locale e utili per rendere le risposte più stabili.

Locale o servizio online: come scegliere

Resta su un servizio online se hai bisogno della migliore qualità di ragionamento, di documenti lunghi o di ricerche sul web. Passa al locale se il criterio numero uno è che il testo non lasci la tua macchina, se lavori senza rete o se vuoi imparare come funzionano questi modelli. Molti combinano i due: il locale per gli appunti sensibili e i compiti semplici, il servizio online per il resto, con dati ripuliti. Se vuoi capire che cosa succede all'interno, l'articolo sul funzionamento di un modello linguistico fornisce le basi. E per un servizio europeo senza installazione c'è anche Le Chat di Mistral.

Una prova stasera

Installa LM Studio o Ollama, scegli il modello più piccolo consigliato per la tua macchina e dagli un compito che conosci a memoria: riformulare una mail di tre righe. Se il risultato è corretto, prova con un testo più lungo. Se la tua macchina fatica, è il segno che ti serve un modello più piccolo, non un prompt più lungo.