KI-Temperatur: was die Einstellungen wirklich ändern

Ein Gastwirt bittet um zehn Namen für seine neue Herbstkarte und bekommt zehn Variationen von „Herbstgenüsse“. Am nächsten Tag lässt er ein Tool die Beträge aus seinen Lieferantenrechnungen extrahieren, und das Format ändert sich von Zeile zu Zeile. Im ersten Fall hätte er gern mehr Mut. Im zweiten wünscht er sich, dass das Tool aufhört zu improvisieren.

Diese beiden gegensätzlichen Bedürfnisse hängen an demselben Parameter: der Temperatur. Um zu verstehen, wofür sie da ist, braucht es nur eine Erinnerung: Ein Sprachmodell berechnet Wahrscheinlichkeiten für die Fortsetzung des Textes und wählt dann eine aus. Das ist das Prinzip, das unser Artikel über die Funktionsweise eines Sprachmodells beschreibt.

Wo sich diese Einstellungen befinden

Beginnen wir mit einer Klarstellung, die dir unnötiges Suchen erspart: In den Apps für die breite Öffentlichkeit werden diese Regler in der Regel nicht angeboten. Du findest sie eher in Umgebungen für Entwickler, in den „Playgrounds“ der Anbieter (zum Beispiel Google AI Studio) und in API-Aufrufen. Zum Zeitpunkt, an dem diese Zeilen geschrieben wurden, ist das der häufigste Fall, aber prüf es in deinem Tool, denn die Oberflächen ändern sich oft.

Es kursieren Tipps, man brauche in einem Chatbot nur „Temperatur 0,2“ zu schreiben. Verlass dich nicht darauf. Dieser Satz berührt die Einstellung nicht: Im besten Fall deutet das Modell ihn als Wunsch nach Nüchternheit, wie eine gewöhnliche Anweisung. Der letzte Abschnitt zeigt einen verlässlicheren Weg, diesen Effekt zu erreichen.

Die Temperatur: Vorsicht oder Risikobereitschaft

Kommen wir zurück zum Mechanismus. Das Modell will den Satz „Unser Restaurant bietet Ihnen eine ... Küche“ fortsetzen. Es sieht „traditionelle“ als sehr wahrscheinlich, „herzhafte“ als ziemlich wahrscheinlich, „geschwätzige“ als sehr unwahrscheinlich.

Bei niedriger Temperatur konzentriert sich die Wahl auf die wahrscheinlichsten Fortsetzungen. Die Antwort ist brav, gleichmäßig, manchmal flach.

Bei hoher Temperatur rücken die Wahrscheinlichkeiten zusammen: Weniger erwartete Fortsetzungen haben eine Chance. Die Antwort wird abwechslungsreicher, überraschender und auch anfälliger für Themenverfehlung oder Widersprüche.

Die Tabelle fasst die üblichen Einsatzzwecke zusammen. Das sind Tendenzen, die du an deinem eigenen Fall testen solltest.

Die Skala unterscheidet sich je nach Anbieter, bei manchen von 0 bis 1, bei anderen von 0 bis 2, und ein bestimmter Wert hat von Modell zu Modell nicht genau dieselbe Wirkung. Manche neueren Modelle schränken diesen Parameter sogar ein oder ignorieren ihn. Sieh in die Dokumentation, bevor du einen in einem Forum gefundenen Wert übernimmst.

Zwei Irrtümer kommen sehr oft vor.

Glauben, dass eine Temperatur von null die Antwort wahr macht. Die Einstellung beeinflusst die Vielfalt, nie die Richtigkeit. Bei Temperatur null nimmt das Modell seine Lieblingsfortsetzung, auch wenn sie falsch ist. Eine erfundene Information kann daher bei jedem Versuch identisch wiederkehren, was ihr einen falschen Anschein von Solidität verleiht.

Glauben, dass sie die Antwort vollkommen reproduzierbar macht. Eine sehr niedrige Temperatur verringert die Schwankungen stark, beseitigt sie aber nicht immer. Manche APIs bieten einen Parameter seed an, um die Wiederholbarkeit zu verbessern, ohne absolute Garantie.

Die anderen Einstellungen, denen du begegnen wirst

Top-p beschränkt die Wahl auf die wahrscheinlichsten Fortsetzungen, bis ein bestimmter Anteil der Gesamtwahrscheinlichkeit erreicht ist. Bei 0,9 wählt das Modell unter den Fortsetzungen, die 90 % dieser Wahrscheinlichkeit ausmachen, und ignoriert die anderen. Die Wirkung ähnelt der der Temperatur, weshalb die Dokumentationen im Allgemeinen empfehlen, das eine oder das andere zu ändern, nicht beides.

Die maximale Länge (oft max_tokens) deckelt die Größe der Antwort. Sie schneidet den Text abrupt ab, sobald die Grenze erreicht ist: Das Modell schreibt deshalb keine knappere Antwort. Für einen kurzen und vollständigen Text verlange das im Prompt, nach unseren Tipps zum Vorgeben eines Antwortformats. Wenn du mit langen Dokumenten arbeitest, behalte auch die Grenze im Kopf, die unser Artikel über Tokens und Kontextfenster beschreibt.

Stoppsequenzen geben dem Modell eine Zeichenfolge vor, bei der es abbrechen soll. Sie dienen vor allem Entwicklern, die ein Modell in eine Anwendung einbinden.

Frequenz- und Präsenzstrafen, die manche APIs anbieten, bremsen die Wiederholung bereits verwendeter Wörter. Sie können bei langen Texten helfen, die sich im Kreis drehen, sind aber nicht überall verfügbar, und ihre Wirkung bleibt schwer vorherzusagen.

Die Systemanweisung ist keine numerische Einstellung, steht aber oft auf denselben Bildschirmen. Sie hat häufig die größte Wirkung auf das Ergebnis.

Für den üblichen Gebrauch ist die Reihenfolge einfach: Verbessere zuerst den Prompt, justiere danach die Temperatur und lass den Rest auf Standard, solange du kein konkretes Problem lösen musst.

Denselben Effekt ohne Regler erzielen

Die meisten Menschen haben keinen Zugang zu diesen Parametern, und das ist nicht schlimm: Mit dem Prompt kannst du in dieselbe Richtung gehen.

Für Vielfalt wäre der schwache Prompt „Schlag Namen für meine Herbstkarte vor“. Das Modell liefert dann, was es als Wahrscheinlichstes sieht. Zwing es, unterschiedliche Richtungen zu erkunden:

Ich betreibe [ART DES RESTAURANTS] in [STADT]. Meine Kundschaft: [BESCHREIBUNG]. Ich suche einen Namen für [DIE KARTE ODER DAS GERICHT], das [ZUTATEN ODER IDEE] enthält.

Schlag 12 Namen vor, aufgeteilt auf 4 sehr verschiedene Ansätze: poetisch, humorvoll, lokal verankert und ein unerwarteter Ansatz deiner Wahl, den du benennst.

Vorgaben:
- weniger als 5 Wörter;
- vermeide die Wörter [ABGENUTZTE WÖRTER, Z. B. GENUSS, KÖSTLICHKEITEN, REGIONAL];
- von einem Kellner leicht laut auszusprechen.

Gib zu jedem Namen in wenigen Worten an, was er anklingen lässt. Schließe damit, die beiden riskantesten Namen zu benennen, und erkläre, was missfallen könnte.

Der Gewinn kommt aus dem Zwang, woanders zu suchen: Die vorgegebenen Ansätze und die verbotenen Wörter schalten die erwartbarsten Fortsetzungen aus. Du kannst auch mehrere Antworten in getrennten Unterhaltungen erzeugen und vergleichen, was darauf hinausläuft, den Anteil des Zufalls zu nutzen, statt ihn zu erdulden.

Für Gleichmäßigkeit gilt das Gegenteil: Verringere die Freiheit. Gib ein striktes Format, ein Beispiel des erwarteten Ergebnisses und eine Anweisung für mehrdeutige Fälle.

Extrahiere die Informationen aus der folgenden Rechnung. Antworte ausschließlich mit einer Tabelle mit diesen Spalten, in dieser Reihenfolge: Lieferant | Datum (TT.MM.JJJJ) | Rechnungsnummer | Nettobetrag | MwSt. | Bruttobetrag.

Regeln:
- übernimm die Beträge so, wie sie erscheinen, ohne neu zu rechnen;
- wenn ein Wert fehlt oder unleserlich ist, schreib „NICHT GEFUNDEN“;
- füge keinen Kommentar hinzu.

Rechnung:
"""
[TEXT DER RECHNUNG]
"""

Auch so solltest du die ersten Extraktionen von Hand kontrollieren und danach regelmäßig eine Stichprobe. Wird der Bedarf repetitiv und muss eine Software das Ergebnis lesen, geh lieber zu einer strukturierten JSON-Ausgabe über.

Der Test für deinen nächsten Prompt

Lass deinen üblichen Prompt dreimal laufen, jeweils in einer neuen Unterhaltung, und vergleiche die Antworten. Ähneln sie sich zu sehr, obwohl du Ideen wolltest, gib unterschiedliche Ansätze vor. Weichen sie voneinander ab, obwohl du ein stabiles Ergebnis wolltest, straffe das Format. In beiden Fällen weißt du, was du korrigieren musst, ohne einen einzigen Regler anzufassen.