KI-Halluzinationen verringern: die Methoden, die funktionieren

2023 reichten Anwälte in New York bei einem Bundesgericht einen Schriftsatz ein, der Gerichtsentscheidungen zitierte, die es nicht gab. Sie waren von ChatGPT erzeugt worden, und der Richter sanktionierte die Anwälte (Fall Mata v. Avianca). Die Quellenangaben sahen perfekt aus: Namen der Parteien, Aktenzeichen, Zusammenfassungen.

Dieser Fall fasst das Problem gut zusammen. Eine Halluzination, der gängige Begriff für eine falsche Information, die mit Überzeugung geliefert wird, ist schwer zu erkennen, weil sie die Form einer guten Antwort hat. Kein Prompt lässt das Phänomen verschwinden. Du kannst es aber deutlich seltener machen und vor allem leichter erkennbar.

Warum die KI erfindet, ohne es zu wissen

Ein Sprachmodell konsultiert keine Faktendatenbank, wenn es allein antwortet. Es sagt eine plausible Textfortsetzung voraus, ausgehend von dem, was es gelernt hat. Bei einem sehr gut dokumentierten Thema decken sich plausibel und wahr oft. Bei einem seltenen Detail produziert es weiter plausiblen Text, weil nichts es zum Aufhören zwingt. Die vollständige Mechanik erklärt der Artikel wie ein Sprachmodell funktioniert.

Das erklärt, wo du vorrangig hinschauen solltest:

• Quellenangaben: Artikel, Bücher, Entscheidungen, Weblinks;
• Zitate in Anführungszeichen, die jemandem zugeschrieben werden;
• genaue Zahlen, Daten und Beträge;
• lokale oder aktuelle Informationen wie eine Uhrzeit, ein Satz oder eine Vorschrift;
• technische Nischendetails: eine Bibliotheksfunktion, die zu existieren scheint, eine Softwareoption.

Betrifft deine Anfrage einen dieser Punkte, muss sich die Anweisung ändern. Bei der Umformulierung einer E-Mail brauchst du das alles nicht.

„Ich weiß es nicht“ ausdrücklich erlauben

Ein Assistent will antworten. Sieht dein Prompt keinen anderen Ausweg vor, erzeugt er einen. Ihm das Recht zu geben, etwas nicht zu wissen, verringert Erfindungen oft, vorausgesetzt, du sagst es genau.

Vorher:

Nenne mir 5 aktuelle Studien zur Wirkung der Vier-Tage-Woche auf die Produktivität, mit den Autoren und den wichtigsten Zahlen.

Dieser Prompt verlangt fünf genaue Ergebnisse: Er drängt dazu, die Liste auf jeden Fall zu vervollständigen.

Ich suche seriöse Studien zu [THEMA].

Liste nur die auf, bei denen du ziemlich sicher bist, dass sie existieren, auch wenn es weniger als fünf sind oder keine. Gib zu jeder an, was du sicher weißt (Autoren, Jahr, Institution), und schreib „zu prüfen“ für alles Übrige. Nenne weder einen Link noch eine Zahl noch ein wörtliches Zitat, wenn du dir nicht sicher bist.

Schließe mit den Suchbegriffen und Datenbanken, in denen ich selbst nachprüfen kann.

Der letzte Satz liefert auch dann eine nützliche Ausgabe, wenn das Modell nichts Belastbares hat. Eine Antwort aus „zu prüfen“ sagt dir mehr als eine saubere, aber falsche Liste.

Aus einem gelieferten Text antworten lassen

Die wirksamste Methode besteht darin, die Frage zu ändern. Statt die KI zu fragen, was sie weiß, frag sie, was ein Dokument sagt, das du ihr gibst. Die Arbeit wird zum Lesen, eine Übung, die viel verlässlicher ist als das Gedächtnis.

Beispiel: Die Schriftführerin eines Vereins will prüfen, was die Satzung für die Einberufung einer Mitgliederversammlung vorsieht.

Beantworte meine Frage ausschließlich anhand des folgenden Dokuments.

Regeln:
- Beginne damit, die Passage(n), auf die du dich stützt, wörtlich zu zitieren, mit Angabe des Artikels oder der Seite.
- Antworte danach in höchstens 3 Sätzen.
- Wenn das Dokument keine Antwort zulässt, schreib „Das Dokument äußert sich dazu nicht“ und füge kein externes Wissen hinzu.

Frage: [DEINE FRAGE]

Dokument:
[TEXT DES DOKUMENTS]

Die Reihenfolge ist wichtig. Indem zuerst zitiert wird, stützt sich die Antwort auf die ausgewählten Passagen, und du kannst die Zitate mit einer einfachen Suche im Dokument kontrollieren. Ein nicht auffindbares Zitat ist ein Zeichen, dem Rest zu misstrauen. Bei Dokumenten von mehreren Dutzend Seiten wird die Methode etwas komplizierter, und der Artikel über lange Dokumente beschreibt sie.

Die KI mit echten Quellen verbinden

Mehrere Tools können vor der Antwort im Web oder in deinen Dateien suchen und ihre Quellen anzeigen. Diese Option verringert das Risiko bei aktuellen Themen, ohne es zu beseitigen. Ein angezeigter Link kann existieren, ohne zu sagen, was die KI ihn sagen lässt, oder von einer Seite schlechter Qualität stammen.

Der Reflex, den du behalten solltest: Öffne den Link bei jeder Information, die du weiterverwenden willst, und such den genauen Satz auf der Seite. Für Entwickler besteht das Äquivalent darin, die Dokumentation der richtigen Version der Bibliothek zu liefern, den Code auszuführen und die Tests laufen zu lassen. Der Aufruf einer erfundenen Funktion fällt bei der Ausführung sofort auf, vorausgesetzt, man führt ihn aus.

Die zu prüfenden Behauptungen auflisten lassen

Ist der Text erstellt, hilft ein zweiter Durchgang zu wissen, worauf du dein Nachlesen konzentrieren solltest. Modelle schätzen ihre eigene Verlässlichkeit schlecht ein: Halte diese Sortierung nicht für einen Beweis. Sie dient dazu, die Überprüfungen zu ordnen und dir zu ersparen, jede Zeile mit gleicher Aufmerksamkeit zu lesen.

Hier ist ein von einer KI erstellter Text. Ich muss ihn vor der Veröffentlichung überprüfen.

Erstelle eine Tabelle der überprüfbaren Behauptungen, die er enthält (Zahlen, Daten, Namen, Zitate, Ursache-Wirkungs-Beziehungen). Gib zu jeder an:
- den betreffenden Satz;
- die Art von Quelle, mit der man sie überprüfen könnte;
- das Fehlerrisiko: hoch, mittel oder gering, mit einer kurzen Begründung.

Sortiere die Tabelle nach absteigendem Risiko. Korrigiere nichts und behaupte nicht, dass eine Information wahr ist.

Text:
[FÜGE DEN TEXT EIN]

Du erhältst eine Checkliste. Zur Überprüfungsmethode selbst lies wie man eine KI-Antwort überprüft.

Was kein Prompt löst

Diese Anweisungen senken das Risiko, sie heben es nicht auf. Ein Modell kann „Ich bin sicher“ schreiben und sich irren, so wie es ein Dokument verzerren kann, das es gerade gelesen hat, vor allem wenn die Antwort verlangt, mehrere Passagen zu verbinden. Bei einem medizinischen, rechtlichen oder finanziellen Thema dient das Ergebnis als Ausgangspunkt, der bei einer offiziellen Quelle oder bei einer Fachperson zu überprüfen ist.

Die Frage, die du dir vor der Verwendung einer Antwort stellen solltest, passt in eine Zeile: Wenn diese Information falsch ist, was passiert dann? Lautet die Antwort „nicht viel“, mach weiter. Betrifft sie einen Kunden, Geld oder deine Unterschrift, öffne die Quelle selbst und nimm dann in deinen üblichen Prompt den Zusatz „schreib ‚zu prüfen‘ für alles, dessen du dir nicht sicher bist“ auf.