Wie ein Sprachmodell funktioniert, ohne Fachchinesisch erklärt

Bitte einen Chatbot um die Biografie eines wenig bekannten Handwerkers aus deiner Stadt, ohne ihm Zugriff auf das Web zu geben. Mit guter Wahrscheinlichkeit bekommst du einen flüssigen Text mit einem Gründungsjahr der Werkstatt, einer Lehre bei einem Kunsttischler und einer Anekdote aus der Werkstatt. Alles kann falsch sein, und der Ton verrät nichts davon.

Dieses Verhalten wirkt wie eine Lüge. Tatsächlich erklärt es sich aus der Mechanik dieser Tools selbst. Wenn du sie verstehst, weißt du, was dich erwartet: warum du deine Quellen einfügen musst, warum ein langes Gespräch nachlässt, warum zwei Antworten auf dieselbe Frage verschieden ausfallen. Unten steht keine einzige mathematische Formel, nur die Ideen, die ändern, wie du die Tools benutzt.

Eine Maschine, die die Fortsetzung eines Textes vorhersagt

Ein Sprachmodell tut eine einzige Sache, in gewaltigem Maßstab: Ausgehend von einem Text schätzt es, was mit der größten Wahrscheinlichkeit als Nächstes kommt.

Nimm diesen Satz: „Der Bäcker holt das Brot aus dem“. Du ergänzt ohne nachzudenken „Ofen“. Das Modell macht dasselbe, nur wählt es nicht ein einziges Wort. Es berechnet eine Wahrscheinlichkeit für jede mögliche Fortsetzung: „Ofen“ sehr hoch, „Backofen“ ziemlich hoch, „Sack“ niedriger, „Kühlschrank“ fast null. Es wählt eine Fortsetzung, hängt sie an den Text an, beginnt mit dem verlängerten Satz von vorn und so weiter bis zum Ende der Antwort.

Alles, was du siehst, entsteht aus dieser Schleife: die Erinnerungs-Mail, der Python-Code, das Rezept, die Zusammenfassung eines Vertrags. Wenn du eine Frage stellst, erzeugt das Modell den Text, der dem am ähnlichsten ist, was in allem, was es gelernt hat, auf diese Frage folgt. Es antwortet, weil auf eine Frage statistisch gesehen eine Antwort folgt.

Der Vergleich mit der automatischen Texteingabe des Handys ist hilfreich, hat aber Grenzen. Dein Handy schaut auf die letzten zwei oder drei Wörter. Ein Sprachmodell berücksichtigt den gesamten Text, den es vor Augen hat, und hat genug Regelmäßigkeiten aufgenommen, um zu übersetzen, über ein Problem nachzudenken oder einen Stil nachzuahmen. Dieser Unterschied im Maßstab verändert, wozu es fähig ist.

Versteht das Modell, was es schreibt? Forscher streiten darüber, und die Frage ist offen. Für deinen Gebrauch genügt eine praktische Antwort: Es geht sehr gut mit der Bedeutung von Wörtern um, und es hat keine direkte Verbindung zur Wirklichkeit. Es weiß nur, was die Texte darüber sagen.

Was „Training“ eines Modells bedeutet

Niemand schreibt die Regeln von Hand. Niemand hat programmiert, dass „Ofen“ auf „Brot aus dem“ folgt. Das Modell leitet sie selbst ab, indem es eine kolossale Menge an Texten liest: Webseiten, Bücher, Code, Foren, je nachdem, was der jeweilige Anbieter zusammengetragen hat.

Das Training gleicht einer Lückentext-Übung, die unendlich oft wiederholt wird. Man verdeckt die Fortsetzung eines Satzes, das Modell versucht sie zu erraten, man vergleicht mit der echten Fortsetzung und justiert dann leicht seine inneren Einstellungen, damit es sich etwas weniger irrt. Diese Einstellungen heißen Parameter, und große Modelle haben Milliarden davon. Stell dir ein Mischpult mit einer irrwitzigen Zahl von Reglern vor, von denen bei jedem Versuch jeder um Haaresbreite gedreht wird.

Am Ende dieser Phase hat man ein Modell, das jeden beliebigen Text fortsetzt, aber noch kein Assistent ist. Schreibst du ihm eine Frage, kann es genauso gut mit weiteren Fragen weitermachen, wie in einem Fragebogen. Eine zweite Phase bringt ihm deshalb bei, sich wie ein Assistent zu verhalten, gestützt unter anderem auf Beispiele guter Antworten und auf menschliche Bewertungen. In diesem Moment lernt es auch, bestimmte Anfragen abzulehnen und einen hilfsbereiten Ton anzuschlagen.

Daraus folgen drei sehr konkrete Konsequenzen.

Das Modell ist keine Datenbank. Es bewahrt die Texte nicht in Dateien auf, die es nachschlagen würde. Es behält Regelmäßigkeiten, aufgelöst in seinen Parametern. Ein sehr oft wiederholter Satz kann fast wörtlich wieder auftauchen, aber eine seltene Information, etwa die Telefonnummer des Rathauses deines Dorfes, kann eine zu schwache Spur hinterlassen haben, um korrekt wiedergegeben zu werden.

Sein Wissen endet an einem Stichtag. Das Training läuft auf eingefrorenen Daten, und alles, was danach geschehen ist, kennt es nicht, es sei denn, das Tool gibt ihm Zugriff auf das Web oder du lieferst die Information.

Es lernt nicht von dir, während du mit ihm sprichst. Deine Nachrichten verändern seine Parameter nicht live. Manche Anbieter können Unterhaltungen je nach deinen Einstellungen für künftiges Training weiterverwenden, deshalb lohnt es sich zu prüfen, was du dort einfügst. Die „Gedächtnis“-Funktionen mancher Tools sind etwas anderes: Notizen, die nebenbei gespeichert und wieder in die Unterhaltung eingespeist werden.

Man muss auch zwischen Modell und Produkt unterscheiden. Das Modell ist die Vorhersage-Maschine. Der Chatbot, den du benutzt, umgibt sie mit versteckten Anweisungen, Websuche, Codeausführung, Dateilesen. Wenn dir ein Tool eine richtige Zahl aus einer aktuellen Seite nennt, hat oft diese Werkzeugschicht gearbeitet, und das Modell hat nur formuliert. Diese Funktionen unterscheiden sich von Tool zu Tool und von Tarif zu Tarif; prüfe, was in deinem aktiv ist.

Wie aus Wörtern Zahlen werden

Ein Computer rechnet, er liest nicht. Der Text muss also in Zahlen übersetzt werden, und diese Übersetzung geschieht in zwei Schritten.

Zuerst wird der Text in Stücke zerlegt, die Tokens heißen: ein kurzes Wort, ein Teil eines langen Wortes, ein Satzzeichen. Diese Zerlegung erklärt viele praktische Grenzen, die im Artikel über Tokens und das Kontextfenster beschrieben sind.

Dann bekommt jedes Stück eine lange Liste von Zahlen, die man sich wie Koordinaten auf einer riesigen Karte vorstellen kann. Das Training rückt auf dieser Karte Elemente zusammen, die in ähnlichen Zusammenhängen auftreten. „Rechnung“ landet nicht weit von „Angebot“, „Katze“ nicht weit von „Hund“, und die beiden Gruppen bleiben voneinander entfernt. Bedeutung wird zu einer Frage der Entfernung.

Bleibt der Fall von Wörtern mit mehreren Bedeutungen. Vergleiche diese beiden Sätze:

Die Bank hat meinen Kredit am Morgen genehmigt.

Die Bank im Park war frisch gestrichen.

Dasselbe Wort, zwei Wirklichkeiten. Der Mechanismus, der dieses Problem löst, heißt Aufmerksamkeit (Attention). Um jedes Stück des Textes zu verarbeiten, schaut das Modell auf alle anderen und gewichtet die, die zählen. Hier zieht „Kredit“ die „Bank“ zum Geldinstitut, „Park“ und „gestrichen“ ziehen sie zur Sitzgelegenheit. Die Architektur, die diese Idee verallgemeinert, Transformer genannt, wurde 2017 von Google-Forschern in einem berühmt gebliebenen Artikel beschrieben, „Attention Is All You Need“. Die meisten heutigen großen Modelle stammen von ihr ab.

Dieser Mechanismus wirkt sich direkt auf deine Prompts aus: Das Modell gewichtet alles, was im Text steht, auch deine Abschweifungen. Ein Satz, der nicht zum Thema gehört, oder ein falsch platziertes Detail beeinflusst die Antwort, wenn auch nur ein wenig.

Warum es so selbstsicher erfindet

Kommen wir zurück auf unseren eingebildeten Handwerker. Das Modell hat Tausende Biografien von Handwerkern gelesen. Es weiß, wie sie aussehen: ein Datum, eine Ausbildung, eine Weitergabe, eine Verbundenheit mit dem Handgriff. Wenn es über die Person keinerlei Informationen hat, erzeugt es trotzdem die plausibelste Fortsetzung, weil das seine Funktion ist. Nichts in der Vorhersageschleife prüft, ob der Satz einer Tatsache entspricht.

Das nennt man eine Halluzination. Das Wort täuscht, denn nichts wurde „gesehen“. Es handelt sich eher um eine Extrapolation in der Form einer selbstsicheren Antwort.

Eine Buchhaltungsfrage zeigt die Falle gut. Fragst du nach dem Artikel des französischen Code général des impôts, der einen bestimmten Abzug regelt, dann weiß das Modell, dass eine Antwort dieser Art eine wohlgeformte Artikelnummer enthält. Es kann eine mit passendem Aussehen hervorbringen, die nicht zum Thema passt oder sich inzwischen geändert hat. Das Format ist perfekt, der Inhalt muss geprüft werden.

Zwei verbreitete Irrtümer sollte man ausräumen:

• Die Sicherheit des Tons sagt nichts über die Verlässlichkeit. Ein Modell wird nicht zögerlicher, nur weil es falschliegt. Der bestimmte Stil gehört zu dem, was es gelernt hat.
• Es zu fragen, ob es sicher ist, genügt nicht. Das Modell kann seinen Fehler aufrechterhalten oder im Gegenteil eine richtige Antwort aufgeben, weil deine Frage einen Zweifel andeutet. Es neigt dazu, seinem Gesprächspartner zuzustimmen.

Neuere Modelle irren sich seltener, und viele zeigen ihre Unsicherheiten besser an. Das Risiko sinkt, ohne zu verschwinden. Um es zu verringern, kannst du am Prompt ansetzen, wie unser Leitfaden zum Reduzieren von Halluzinationen erklärt, und dann das Ergebnis kontrollieren.

Die Macken des Alltags, entschlüsselt

Die meisten seltsamen Verhaltensweisen erklären sich aus dem Vorigen.

Der Punkt mit den unterschiedlichen Antworten kommt von einer Einstellung, die du manchmal nutzen kannst und die im Artikel über Temperatur und die anderen Parameter beschrieben ist. Der Punkt mit dem Gedächtnis überrascht oft: Bei jeder Nachricht schickt die Anwendung dem Modell den Text der Unterhaltung erneut. Es erinnert sich nicht in dem Sinn, in dem du dich erinnerst, es liest nach.

Was das für deine Prompts ändert

Hast du die Mechanik verstanden, lässt sich die gute Gewohnheit so zusammenfassen: Dein Prompt ist der Anfang eines Textes, und das Modell wird ihn fortsetzen. Je mehr dieser Anfang dem eines guten Dokuments ähnelt, desto größer die Chance, dass die Fortsetzung gut wird.

Hier eine typische Anfrage einer Vereinsvorsitzenden:

Schreib eine Nachricht, die unsere Mitgliederversammlung ankündigt.

Das Modell hat nichts, woran es sich in der Wirklichkeit festhalten kann. Es erzeugt also den Durchschnitt aller Nachrichten zu Mitgliederversammlungen, die es gelesen hat, mit einem Allerweltston und wahrscheinlich einem Ort, der leer bleibt oder erfunden wird. Derselbe Bedarf, geschrieben mit Blick auf seine Funktionsweise:

Hier sind die genauen Informationen zu unserer Mitgliederversammlung. Verwende nur diese Informationen und füge keine hinzu.

Verein: [NAME UND TÄTIGKEIT]
Datum, Uhrzeit und Ort: [DETAILS]
Tagesordnung: [PUNKTE]
Was von den Mitgliedern erwartet wird: [ABSTIMMUNG, VOLLMACHT, ANWESENHEITSBESTÄTIGUNG]

Verfasse eine E-Mail mit weniger als 150 Wörtern für unsere [ANZAHL] Mitglieder, von denen viele Rentner sind und auf dem Handy lesen. Der Ton ist herzlich und einfach. Beginne mit dem Datum. Schließe mit dem, was sie tun müssen, und der Frist.

Fehlt eine unverzichtbare Information, schreibe [ERGÄNZEN] an ihrer Stelle, statt sie zu erraten.

Jede Änderung entspricht einem oben beschriebenen Mechanismus:

• Die Fakten stehen im Text, das Modell muss sie also nicht aus dem Gedächtnis rekonstruieren, wo es am anfälligsten ist.
• Publikum, Länge und Ton verringern die Zahl der plausiblen Fortsetzungen. Die Antwort entfernt sich vom Durchschnitt.
• Die Anweisung zu [ERGÄNZEN] gibt ihm einen erlaubten Ausweg. Ohne sie siegt der plausible Text über die Lücke.

Dieser Prompt verbessert die Chancen deutlich, ohne etwas zu garantieren. Das Modell kann noch ein nicht verlangtes Detail einschmuggeln, und du musst jedes Datum und jeden Namen gegenlesen. Halte dafür unsere Methode zum Überprüfen einer KI-Antwort griffbereit.

Mach jetzt den Handwerker-Test noch einmal: Bitte deinen Chatbot, mit deaktivierter Websuche, um die Biografie einer Person, die du gut kennst und die nicht berühmt ist. Lies die Antwort, notiere, was falsch ist, und füge dann in einer neuen Unterhaltung drei richtige Fakten über diese Person ein, mit der Vorgabe „Verwende nur diese Informationen“. Der Unterschied zwischen den beiden Texten ist mehr wert als alle Erklärungen.