Valutare le risposte dell'IA con una griglia

La titolare di un campeggio risponde alle recensioni dei clienti, soprattutto a quelle negative. Ha scritto due prompt perché l'IA redigesse queste risposte e esita tra i due. Li prova su una recensione, trova la risposta A «più calorosa» e la B «più professionale», e sceglie A. Il giorno dopo, su un'altra recensione, rilegge B e cambia idea. Il suo giudizio dipende dall'umore del momento, dalla recensione che ha sotto gli occhi e da ciò che ha letto subito prima.

Una griglia di valutazione corregge questo. Non ti rende obiettivo, ma ti rende costante: guardi le stesse cose, nello stesso ordine, ogni volta.

Cosa contiene una buona griglia

Quattro o cinque criteri, non di più. Oltre, non li applichi più seriamente. Ogni criterio deve essere concreto, cioè un'altra persona, leggendo la risposta, dovrebbe arrivare al tuo stesso verdetto.

Ecco una griglia per le risposte del campeggio:

Ciò che rende la griglia utilizzabile è la colonna di descrizione: per ogni punteggio sai che cosa lo giustifica. Una scala da 1 a 10 senza descrizione è una sensazione espressa in numeri, e il tuo 7 di oggi non è quello di domani.

Scrivi i criteri prima di guardare le risposte. Altrimenti li aggiusterai, senza accorgertene, in modo che favoriscano quella che ti è piaciuta subito. È la stessa disciplina dell'articolo sul test di un prompt, che approfondisce anche la scelta dei casi.

Confrontare due prompt su più casi

Il principio: prendi cinque recensioni reali, fai girare il prompt A e il prompt B su ciascuna, valuti le dieci risposte con la griglia e sommi. Cinque casi sono pochi, ma sono cinque volte più di uno solo, e soprattutto vedi se lo scarto viene da una sola recensione difficile o si ripete. Prendi almeno una recensione aggressiva e una ingiusta.

Puoi anche valutare senza sapere quale prompt ha prodotto cosa. Chiedi a una persona vicina di mescolare le risposte, oppure numerale a caso. È un dettaglio che sembra eccessivo finché non ti sorprendi a dare un punto in più al tuo prompt preferito.

Far valutare l'IA: possibile, con delle protezioni

Valutare dieci risposte a mano richiede tempo. L'IA può fare una prima passata, purché tu non le lasci l'ultima parola. Ecco un prompt da lanciare in una conversazione nuova, perché un'IA tende a trovare buona la risposta che ha appena scritto.

Valuti le risposte di un campeggio alle recensioni dei clienti, secondo la griglia qui sotto. Non riscrivi niente.

Griglia:
- Riconosce il problema specifico: 0 se non è menzionato, 1 se lo è in termini generali, 2 se è ripreso con le parole del cliente.
- Fatti esatti: 0 se un fatto è inventato, 1 se nessun fatto è inventato ma non c'è niente di concreto, 2 se i fatti provengono dalla recensione o dagli appunti.
- Azione proposta: 0 nessuna, 1 vaga, 2 precisa.
- Tono: 0 difensivo o servile, 1 corretto ma rigido, 2 diretto e cortese.
- Lunghezza: 0 oltre 120 parole, 1 da 90 a 120, 2 sotto 90.

Recensione del cliente:
"""
[RECENSIONE]
"""

Appunti del campeggio (unica fonte di fatti autorizzata):
"""
[APPUNTI]
"""

Risposta da valutare:
"""
[RISPOSTA]
"""

Per ogni criterio, dai il punteggio e cita il passaggio della risposta che lo giustifica. Se esiti tra due punteggi, scegli il più basso. Concludi con l'elenco dei fatti della risposta che non compaiono né nella recensione né negli appunti.

Tre precauzioni:

• Rileggi un campione. Prendi tre risposte valutate dall'IA, valutale tu, confronta. Se i vostri punteggi divergono spesso, la tua griglia è troppo vaga o l'IA non la applica come intendi tu.
• Diffida della lunghezza. I valutatori automatici hanno a volte un debole per le risposte più lunghe e più ricche. Metti la lunghezza nella griglia, come qui, perché non passi per qualità.
• Sui fatti, verifica tu. L'IA è utile per individuare fatti assenti dagli appunti, ma può lasciarne passare. Come nell'articolo sulla verifica, il controllo di cifre e nomi resta umano.

Far evolvere la griglia

La prima versione della tua griglia avrà dei difetti. Lo vedrai quando due risposte otterranno lo stesso punteggio pur essendo una chiaramente migliore: manca un criterio. Oppure quando un punteggio ti sembrerà ingiusto: la descrizione è formulata male. Correggi, fai passare di nuovo le stesse risposte e conserva la griglia insieme al tuo prompt.

Quando hai una griglia che funziona, serve anche per leggere ciò che acquisti. Su un prompt del marketplace, puoi applicare la tua all'esempio di risultato mostrato nella scheda, prima di decidere.

Da fare adesso

Prendi un compito che affidi regolarmente all'IA. Scrivi tre criteri che controlli sempre senza pensarci, con ciò che vale 0 e ciò che vale 2. Applicali a tre risposte vere senza guardare il prompt che le ha prodotte. Poi aggiusta i criteri su cui esiti e tieni la griglia accanto al prompt.