KI-Textdetektoren: Kann man sich darauf verlassen?

Eine Masterstudentin gibt eine Arbeit ab, die sie sechs Wochen lang allein geschrieben hat. Das Erkennungstool ihrer Universität zeigt „68 % wahrscheinlich von KI generiert“. Sie wird vorgeladen. Sie hat weder datierte Entwürfe noch einen Änderungsverlauf, weil sie in einer einzigen Datei schreibt, die sie bei jedem Speichern überschreibt. Plötzlich muss sie beweisen, dass sie nichts getan hat.

Solche Situationen werden im Bildungsbereich regelmäßig berichtet. Dahinter steckt ein Missverständnis darüber, was ein Detektor misst.

Was ein Detektor tut

Ein Detektor findet in deinem Text keine Spur eines Tools. Es gibt keine, es sei denn, der Anbieter hat bewusst eine Markierung eingefügt, und die meisten Texte tragen keine. Der Detektor ist selbst ein Modell, das darauf trainiert ist, Regelmäßigkeiten zu erkennen: Sätze ähnlicher Länge, sehr erwartbare Wörter, einen glatten Stil. Daraus errechnet er eine Wahrscheinlichkeit.

Das Problem ist, dass diese Regelmäßigkeiten nicht nur Maschinen eigen sind. Ein Verwaltungstext, ein Schulaufsatz, eine sachliche Zusammenfassung, ein Text in einer Sprache, die nicht die eigene ist: All das ähnelt dem, was eine KI erzeugt. Forschende haben übrigens gezeigt, dass Texte von Nicht-Muttersprachlern des Englischen häufiger zu Unrecht markiert wurden als die von Muttersprachlern. Umgekehrt kommt ein generierter, dann leicht umgeschriebener Text, oder einer, der mit einem Prompt für einen unregelmäßigeren Stil entstanden ist, problemlos durch.

OpenAI hatte 2023 einen eigenen Textdetektor veröffentlicht und ihn wenige Monate später mit Verweis auf die geringe Genauigkeit wieder zurückgezogen. Wenn der Hersteller eines Modells dessen eigene Texte nicht zuverlässig erkennt, sollte man daraus keinen Beweis machen.

Eine Prozentzahl ist kein Urteil

Zwei Fehler sind möglich, und sie kosten nicht dasselbe.

• Der falsch positive Befund: Ein menschlicher Text wird als generiert markiert. Das ist der Fall der Studentin, und es ist der schwerwiegendere, denn er beschuldigt jemanden zu täuschen.
• Der falsch negative Befund: Ein generierter Text geht als menschlich durch. Er lässt glauben, das Tool funktioniere besser, als es tut.

Ein Wert von „68 %“ bedeutet nicht, dass 68 % des Textes von einer KI geschrieben wurden, und ebenso wenig, dass der Text mit 68 % Wahrscheinlichkeit generiert ist. Die Tools erklären das nicht immer klar, und mehrere Anbieter weisen selbst darauf hin, dass der Wert nicht als alleinige Grundlage für eine Sanktion dienen darf. Lies die Anleitung des Tools, das du verwendest: Sie ist das aussagekräftigste Dokument.

Die Detektoren sind untereinander nicht gleichwertig, und zwei Tools können für denselben Text unterschiedliche Werte liefern. Mach den Test mit einem Text, dessen Herkunft du kennst.

Wenn du Lehrende oder verantwortlich bist

Nutze den Wert, falls du ihn abrufst, als Anlass für eine Frage, nie als Beweis. Besser funktionieren diese Dinge:

• einen Versionsverlauf, Entwürfe, Notizen oder Quellen verlangen;
• sich mündlich mit der Verfasserin oder dem Verfasser über den Text austauschen;
• die Aufgabenstellung so anpassen, dass sie auf ein persönliches Vorgehen zielt (ein eigenes Erlebnis, ein Fall aus dem Unterricht, ein vorzuzeigender Arbeitsschritt) statt auf einen generischen Text;
• im Voraus und schriftlich festlegen, was mit KI erlaubt ist und was nicht.

Am lohnendsten ist das Gespräch. Eine KI kann dir helfen, es anhand der Arbeit selbst vorzubereiten:

Hier ist die Hausarbeit eines Schülers der Oberstufe (Klasse 11) zum Thema [THEMA]:

[TEXT DER ARBEIT]

Bereite fünf mündliche Fragen vor, um zu prüfen, ob der Schüler versteht, was er geschrieben hat: zwei zu seinen Argumentationsentscheidungen, zwei, bei denen er eine Passage mit eigenen Worten erklären soll, eine, bei der er ein Beispiel weiterführen soll. Urteile nicht über die Herkunft des Textes.

Der letzte Satz zählt. Ziel ist, ein Gespräch zu eröffnen, nicht eine Akte anzulegen. Vermeide außerdem, die Arbeit eines identifizierbaren Schülers in ein Tool einzufügen, dessen Speicherregeln du nicht kennst. Mehr Anregungen im Leitfaden zu Prompts für Lehrkräfte.

Wenn du zu Unrecht beschuldigt wirst

Bleib sachlich und sammle, was du hast: Entwürfe, den Verlauf des Dokuments (Online-Textverarbeitungen speichern oft die Versionen), Notizen, genutzte Quellen, Austausch mit einer betreuenden Person. Biete ein Gespräch an, um deine Arbeit zu erklären, was oft die beste Verteidigung ist. Frag, welches Tool verwendet wurde, welcher Wert und auf welcher Grundlage, und prüfe, was die Anleitung des Tools zur Verlässlichkeit seines Wertes sagt. Wenn das Verfahren ernsthaft läuft, lass dich von einer Vertretung unterstützen (Studierendenvertretung, Ombudsstelle, Rechtsberatung).

Gewöhne dir für die Zukunft an, in einem Dokument zu schreiben, das den Änderungsverlauf behält, und deine Notizen aufzubewahren. Das ist auch gute Praxis, wenn du KI erlaubterweise nutzt, etwa zum Umformulieren: Behalte beide Versionen. Der Artikel für Studierende erklärt, wie du diese Tools nutzt, ohne dich in Schwierigkeiten zu bringen.

Und wenn du einen Text schreiben willst, der nicht „nach KI klingt“

Versuch nicht, einen Detektor zu täuschen: Das lehrt dich nichts, und die Regel deiner Einrichtung oder deines Kunden bleibt dieselbe. Wenn die KI dir hilft, macht den Text wirklich zu deinem das Material, das du hineingibst: deine Beispiele, deine geprüften Zahlen, deine Ausdrucksweise, so wie im Artikel über deinen Stil. Die Verzerrungen der Tools, auch die der Detektoren, behandelt der Artikel über Verzerrungen der KI.

Fürs nächste Mal

Wenn deine Einrichtung oder dein Unternehmen einen Detektor einsetzt, frag schriftlich nach, wie der Wert verwendet wird und ob er die alleinige Grundlage einer Entscheidung sein darf. Und wenn du ein wichtiges Dokument verfasst, aktiviere noch heute den Versionsverlauf.