Eine KI-Antwort überprüfen: was du kontrollierst und wie

2023 wurden in New York Anwälte von einem Bundesrichter sanktioniert, weil sie einen Schriftsatz eingereicht hatten, der Gerichtsentscheidungen zitierte, die es nicht gab. ChatGPT hatte sie erzeugt, und der Fall Mata v. Avianca wurde zum klassischen Beispiel. Die Verweise sahen makellos aus: ein Gerichtsname, ein Aktenzeichen, ein Datum. Niemand hatte diese Entscheidungen gelesen, bevor er sie zitierte.

Diese Geschichte lehrt eine einfache Lektion. Was täuscht, ist die Form: Eine gut geschriebene Antwort weckt unser Vertrauen. Alles zu überprüfen ist unmöglich und unnötig. Du brauchst eine Methode zu entscheiden, was du überprüfst, mit welchem Aufwand und an welcher Quelle.

Schätze zuerst, was ein Fehler kosten würde

Bevor du irgendetwas kontrollierst, stell dir eine einzige Frage: Was passiert, wenn diese Antwort falsch ist?

Ein misslungener Slogan für ein Plakat fällt sofort auf und kostet wenig. Ein falscher Mehrwertsteuersatz im Angebot eines Handwerkers kann teuer werden und unbemerkt bleiben. Eine falsche Allergenangabe auf der Speisekarte eines Restaurants kann die Gesundheit eines Gastes berühren. Der Prüfaufwand muss diesem Risiko folgen, nicht der Länge des Textes.

Drei Stufen genügen in der Praxis. Hat ein Fehler keine Folgen, reicht ein schnelles Gegenlesen. Steht deine Glaubwürdigkeit auf dem Spiel, etwa bei einem Artikel oder einer Präsentation für einen Kunden, kontrollierst du jeden Fakt. Betrifft er Recht, Geld oder Gesundheit, dient die KI nur als Ausgangspunkt: Maßgeblich ist die offizielle Quelle oder der zuständige Fachmann.

Die Kontrolle nach Art der Aussage

Ein KI-Text mischt Sätze, die nicht dieselbe Kontrolle verlangen. Eine Meinung oder eine Umformulierung beurteilt man beim Lesen. Eine Tatsachenbehauptung braucht eine Quelle. Diese Tabelle zeigt, worauf du deine Aufmerksamkeit richtest.

Zum letzten Punkt ein Schnelltest: Verlange das exakte Zitat, das jede Idee der Zusammenfassung stützt, und such diese Sätze dann mit Strg+F im Original.

Die Quellen: öffnen, lesen, vergleichen

Mit dem Web verbundene Tools wie Perplexity und seine Recherchen mit Quellen haben die Lage verbessert, aber ein Zitat neben einem Satz ist kein Beweis. Der Link kann existieren und etwas anderes sagen, oder dasselbe mit Vorbehalten, die die Antwort hat verschwinden lassen.

Bei einer Quelle genügen vier Fragen:

1. Existiert das Dokument wirklich?
2. Sagt es, was man es sagen lässt, mit derselben Nuance?
3. Wer hat es veröffentlicht, und hat er ein Interesse an der Sache?
4. Ist es aktuell genug für dein Thema?

Achte auch auf die falsche Bestätigung. Mehrere Websites, die dieselbe Information wiederholen, können sich alle auf eine einzige Ursprungsquelle stützen, manchmal selbst von einer KI erzeugt. Mehrere Kopien desselben Textes sind keine zwei Quellen. Geh zurück zur ersten Veröffentlichung.

Was die KI tun kann, um dir beim Prüfen zu helfen

„Bist du sicher?“ zu fragen bringt nicht viel. Das Modell kann sich entschuldigen und eine gute Antwort ändern oder eine schlechte verteidigen. Wie unser Artikel über die Funktionsweise von Sprachmodellen erklärt, hat es keine direkte Verbindung zu den Fakten.

Sehr nützlich ist es dagegen, um deine Kontrollarbeit vorzubereiten: herauszufiltern, was überprüft werden muss, und zu zeigen, wo du nachsehen sollst. Füge den Text in eine neue Unterhaltung ein, damit es ihn liest, ohne seine eigene Antwort verteidigen zu wollen.

Du hilfst mir, den folgenden Text vor der Veröffentlichung gegenzulesen. Schreibe ihn nicht um und korrigiere ihn nicht.

Erstelle eine Tabelle mit diesen Spalten:
1. Überprüfbare Aussage, wortwörtlich abgeschrieben.
2. Art: Zahl, Datum, Name, Zitat, rechtliche oder steuerliche Regel, technischer Fakt, sonstiges.
3. Schwere, falls sie falsch ist, für [PUBLIKUM ODER VERWENDUNG]: gering, mittel, hoch.
4. Quelle, die zur Überprüfung heranzuziehen ist, beschrieben als Art der Organisation oder des Dokuments.

Ordne die Tabelle nach absteigender Schwere. Gib nie an, dass eine Aussage wahr ist: Deine Aufgabe besteht ausschließlich darin, mir zu zeigen, was ich kontrollieren muss. Füge am Ende die impliziten Aussagen hinzu, also das, was der Text voraussetzt, ohne es zu sagen.

Betroffenes Land und Datum: [LAND, DATUM].

Text:
"""
[ZU PRÜFENDER TEXT]
"""

Dieser Prompt ersetzt deine Kontrolle nicht. Er kann eine Aussage vergessen, und die Quellen, die er vorschlägt, sind als Spuren zu verstehen. Vor allem erspart er dir, aus dem Bauch heraus gegenzulesen.

Ein zweites Tool hinzuzuziehen ist interessant, solange du dich nicht blind darauf verlässt. Weichen zwei Modelle voneinander ab, weißt du, wo du nachgraben musst. Sind sie sich einig, haben sie vielleicht denselben Fehler aus denselben Texten gelernt. Wie du diese Fehler im Vorfeld verringerst, findest du in unserem Leitfaden zum Eindämmen von Halluzinationen.

Die Fallen, die ein schnelles Gegenlesen überleben

Manche Fehler rutschen sogar bei aufmerksamen Lesern durch.

Wahres und Falsches im selben Satz. Ein richtiges Datum, begleitet von einem falschen Ort, gewinnt das Vertrauen des Lesers. Hast du die Hälfte des Satzes geprüft, hast du den Satz nicht geprüft.

Die Abwesenheit. Am schwersten zu erkennen ist, was fehlt: eine Ausnahme, eine Bedingung, eine Frist. Eine Regel, die ohne ihre Anwendungsschwelle dargestellt wird, kann im Allgemeinen stimmen und für deinen Fall falsch sein. Stell die Frage: „In welchen Fällen gilt diese Regel nicht?“, und prüfe dann die Antwort.

Zu perfekte Details. Eine sehr genaue Zahl ohne Quelle, ein Zitat, das genau passt, ein bequemer Studienname sind Warnsignale.

Die Müdigkeit. Nach fünf richtigen Antworten lässt die Aufmerksamkeit nach. Genau dann rutscht der Fehler durch, besonders wenn man das Tool täglich nutzt. Eine kurze schriftliche Checkliste hilft durchzuhalten, denn sie hängt nicht von deiner Wachsamkeit im Moment ab.

Mach es dir bei deinem nächsten Text zur Gewohnheit

Markiere im nächsten Text, den die KI für dich schreibt, jede Zahl, jeden Eigennamen und jedes Datum und öffne dann für die drei Elemente, die dir am meisten schaden würden, wenn sie falsch wären, mindestens eine Quelle. Notiere, was du findest. Nach einigen Texten kennst du die Schwachstellen deines Tools bei deinen Themen und weißt genau, wo du hinsehen musst.