Antworten der KI mit einem Bewertungsraster benoten

Die Betreiberin eines Campingplatzes antwortet auf Gästebewertungen, vor allem auf die schlechten. Sie hat zwei Prompts geschrieben, mit denen die KI diese Antworten verfasst, und schwankt zwischen beiden. Sie probiert sie an einer Bewertung aus, findet Antwort A „herzlicher“ und B „professioneller“ und entscheidet sich für A. Am nächsten Tag liest sie bei einer anderen Bewertung B noch einmal und ändert ihre Meinung. Ihr Urteil hängt von der Tagesform ab, von der Bewertung, die sie vor Augen hat, und davon, was sie kurz zuvor gelesen hat.

Ein Bewertungsraster behebt das. Es macht dich nicht objektiv, aber gleichmäßig: Du achtest jedes Mal auf dieselben Dinge, in derselben Reihenfolge.

Was ein gutes Raster enthält

Vier oder fünf Kriterien, nicht mehr. Darüber hinaus wendest du sie nicht mehr ernsthaft an. Jedes Kriterium muss konkret sein, das heißt: Eine andere Person käme beim Lesen der Antwort zum selben Urteil wie du.

Hier ein Raster für die Antworten des Campingplatzes:

Brauchbar wird das Raster durch die Beschreibungsspalte: Bei jeder Note weißt du, was sie begründet. Eine Skala von 1 bis 10 ohne Beschreibung ist ein in Zahlen gefasstes Gefühl, und deine 7 von heute ist nicht die von morgen.

Schreib die Kriterien auf, bevor du die Antworten ansiehst. Sonst passt du sie unbemerkt so an, dass sie die Antwort begünstigen, die dir auf Anhieb gefallen hat. Es ist dieselbe Disziplin wie im Artikel über das Testen eines Prompts, der auch die Auswahl der Testfälle behandelt.

Zwei Prompts an mehreren Fällen vergleichen

Das Prinzip: Du nimmst fünf echte Bewertungen, lässt Prompt A und Prompt B jeweils darauf laufen, benotest die zehn Antworten mit dem Raster und addierst. Fünf Fälle sind wenig, aber fünfmal mehr als einer, und vor allem siehst du, ob der Unterschied von einer einzigen schwierigen Bewertung kommt oder sich wiederholt. Nimm mindestens eine aggressive und eine ungerechte Bewertung.

Du kannst auch benoten, ohne zu wissen, welcher Prompt was erzeugt hat. Bitte eine nahestehende Person, die Antworten zu mischen, oder nummeriere sie zufällig. Das wirkt übertrieben, bis du dich dabei ertappst, deinem Lieblingsprompt einen Punkt mehr zu geben.

Von der KI benoten lassen: möglich, mit Leitplanken

Zehn Antworten von Hand zu benoten dauert. Die KI kann einen ersten Durchgang übernehmen, solange du ihr nicht das letzte Wort lässt. Hier ein Prompt für eine frische Unterhaltung, denn eine KI neigt dazu, die Antwort gut zu finden, die sie gerade selbst geschrieben hat.

Du bewertest Antworten eines Campingplatzes auf Gästebewertungen nach dem folgenden Raster. Du schreibst nichts um.

Raster:
- Erkennt das konkrete Problem an: 0, wenn es nicht erwähnt wird, 1, wenn es in allgemeinen Worten erwähnt wird, 2, wenn es mit den Worten des Gastes aufgegriffen wird.
- Korrekte Fakten: 0, wenn ein Fakt erfunden ist, 1, wenn kein Fakt erfunden ist, aber nichts Konkretes genannt wird, 2, wenn die Fakten aus der Bewertung oder den Notizen stammen.
- Vorgeschlagene Maßnahme: 0 keine, 1 vage, 2 konkret.
- Ton: 0 defensiv oder unterwürfig, 1 korrekt, aber steif, 2 direkt und höflich.
- Länge: 0 über 120 Wörter, 1 von 90 bis 120, 2 unter 90.

Bewertung des Gastes:
"""
[BEWERTUNG]
"""

Notizen des Campingplatzes (einzige erlaubte Faktenquelle):
"""
[NOTIZEN]
"""

Zu bewertende Antwort:
"""
[ANTWORT]
"""

Gib für jedes Kriterium die Note an und zitiere die Stelle der Antwort, die sie begründet. Wenn du zwischen zwei Noten schwankst, nimm die niedrigere. Schließe mit der Liste der Fakten der Antwort, die weder in der Bewertung noch in den Notizen stehen.

Drei Vorsichtsmaßnahmen:

• Lies eine Stichprobe nach. Nimm drei von der KI benotete Antworten, benote sie selbst und vergleiche. Weichen eure Noten oft voneinander ab, ist dein Raster zu unscharf, oder die KI wendet es nicht so an, wie du es meinst.
• Sei misstrauisch gegenüber der Länge. Automatische Bewerter neigen manchmal zu längeren, ausführlicheren Antworten. Nimm die Länge ins Raster auf, wie hier, damit sie nicht als Qualität durchgeht.
• Prüfe die Fakten selbst. Die KI ist nützlich, um Fakten zu finden, die in den Notizen fehlen, aber sie kann welche übersehen. Wie im Artikel über die Überprüfung bleibt die Kontrolle von Zahlen und Namen menschlich.

Das Raster weiterentwickeln

Die erste Fassung deines Rasters wird Mängel haben. Du merkst es, wenn zwei Antworten dieselbe Note bekommen, obwohl eine klar besser ist: Es fehlt ein Kriterium. Oder wenn dir eine Note ungerecht vorkommt: Die Beschreibung ist schlecht formuliert. Korrigiere, lass dieselben Antworten erneut durchlaufen und bewahre das Raster bei deinem Prompt auf.

Wenn du ein Raster hast, das funktioniert, hilft es dir auch beim Lesen dessen, was du kaufst. Bei einem Prompt vom Marktplatz kannst du deins auf das Ergebnisbeispiel anwenden, das auf der Produktseite gezeigt wird, bevor du dich entscheidest.

Jetzt umsetzen

Nimm eine Aufgabe, die du regelmäßig der KI überträgst. Schreib drei Kriterien auf, die du immer unbewusst prüfst, mit dem, was 0 und was 2 wert ist. Wende sie auf drei echte Antworten an, ohne den Prompt anzusehen, der sie erzeugt hat. Passe dann die Kriterien an, bei denen du zögerst, und leg das Raster neben deinen Prompt.