Der KI-Detektor misst nicht Herkunft, sondern Wortschatz

Das Wichtigste in Kürze

• Der beste geprüfte KI-Detektor liegt im Labor bei nahezu null Fehlalarm, auf mittleren und langen Passagen.
• Im Mittel über sieben gängige Detektoren galten 61,22 Prozent der TOEFL-Aufsätze von Nicht-Muttersprachlern fälschlich als Maschinentext.
• Ein gehobener Wortschatz senkt die Quote auf 11,77 Prozent, absichtliche Vereinfachung treibt sie bei Muttersprachlern von 5,19 auf 56,65.
• Seit dem 2. August 2026 muss KI-Text maschinenlesbar markiert sein, soweit die Technik es hergibt.
• Bei einem Prozent Fehlalarm und 75.000 geprüften Arbeiten wären rund 750 falsch markiert worden.

Wer heute einen Studienaufsatz abgibt oder sich um eine Stelle bewirbt, schreibt gegen eine Maschine an, die mitliest. Wie oft hält so ein KI-Detektor menschlichen Text für Maschinentext? Der Literaturwissenschaftler Roberto Simanowski hält die Maschine im Feuilleton der ZEIT für den verlässlicheren Prüfer als das geschulte Ohr der Sprachprofis, und für den Durchschnitt hat er recht. Nur setzt sich dieser Durchschnitt aus einer Laborzahl, einer Zählregel und einer Eigenschaft des Schreibers zusammen, die mit Maschinen nichts zu tun hat.

Im Labor liegt der beste KI-Detektor praktisch bei null Fehlalarm#

Brian Jabarian und Alex Imas prüften Detektoren an 1.992 nachweislich menschlichen Passagen aus sechs Alltagsgattungen, von News und Verbraucherbewertungen bis zu Romanen und Lebensläufen, gegen die Ausgabe von vier Spitzenmodellen. Ein einziges Werkzeug, Pangram, erreichte auf mittleren und langen Passagen eine Fehlalarmquote nahe null und behielt sie auch gegen die Umschreib-Dienste, an denen andere Detektoren scheitern (Jabarian und Imas, Booth School / NBER, 2025¹). Der Open-Source-Klassifikator RoBERTa base hielt je nach Textsorte 30 bis 78 Prozent des menschlichen Materials für KI und ist nach dem Urteil der beiden Ökonomen für hochriskante Anwendungen nicht geeignet.

Einig waren sich die sieben Detektoren nur bei 19,78 Prozent#

Die Fehler streuen nicht zufällig, und die Zählregel entscheidet mit. Eine Stanford-Studie in der Zeitschrift *Patterns* schickte 91 TOEFL-Aufsätze von Nicht-Muttersprachlern durch sieben gängige Detektoren (Liang u. a., 2023²). Im Mittel über die sieben Werkzeuge lag die Fehlalarmquote bei 61,22 Prozent. Zählt man jeden Aufsatz, bei dem mindestens eines der Werkzeuge anschlug, sind es 89 von 91 oder 97,80 Prozent. Einig waren sich alle sieben nur bei 18 Aufsätzen, 19,78 Prozent. Bei muttersprachlichen US-Achtklässlern kamen dieselben Werkzeuge auf 5,19 Prozent.

Absichtlich einfacher Wortschatz treibt den Fehlalarm auf 56,65 Prozent#

Dieselbe Studie ließ die TOEFL-Aufsätze mit einer einzigen Anweisung überarbeiten: die Wortwahl solle nativer klingen. Die Fehlalarmquote fiel von 61,22 auf 11,77 Prozent. Den Gegenversuch machten die Autoren gleich mit und ließen die Aufsätze der US-Achtklässler vereinfachen, als schriebe da jemand in einer Fremdsprache. Die Quote stieg von 5,19 auf 56,65 Prozent.

Alle diese Werkzeuge messen Perplexität: Häufiger Wortschatz und gerader Satzbau sehen für die Statistik nach Maschine aus. Unter Generalverdacht steht damit auch der klare, formale Stilist, während derselbe Apparat geglätteten KI-Text durchlässt. Es ist die Statistik, in der Maschinentext inzwischen für menschlicher gehalten wird als der von Menschen³.

OpenAI stellte den eigenen Klassifikator nach einem halben Jahr ein#

OpenAI schaltete im Januar 2023 einen eigenen Klassifikator online und veröffentlichte dessen Bilanz gleich mit: 26 Prozent der KI-Texte erkannt, 9 Prozent der menschlichen fälschlich markiert. Im Juli 2023 nahm das Unternehmen es wegen zu geringer Treffsicherheit vom Netz. Beide Werte sind ein Stand von 2023, an ihrer Quelle nicht mehr abrufbar, und sagen über die Werkzeuge von 2026 nichts. Das Ereignis selbst steht: Wer die Modelle baut, verzichtete darauf, deren Ausgabe wiederzuerkennen. Erkennen soll das heute ein Werkzeug von außen, ohne Zugriff auf das erzeugende Modell, dessen Zahl mit jedem offenen wächst, das nachrückt⁴.

Seit dem 2. August 2026 muss KI-Text maschinenlesbar markiert sein#

Die Beweisrichtung hat sich umgedreht. Artikel 50 der EU-KI-Verordnung gilt seit dem 2. August 2026; Anbieter von Systemen, die synthetischen Text erzeugen, müssen ihre Ausgabe seither maschinenlesbar markieren⁵ und als künstlich erzeugt erkennbar machen (Faktenblatt der EU-Kommission⁶). Artikel 50 Absatz 2 knüpft das an einen Vorbehalt: soweit technisch durchführbar und dem allgemein anerkannten Stand der Technik entsprechend. Für Systeme, die vor dem Stichtag auf dem Markt waren, greift die Markierungspflicht nach der Erläuterung der Kommission erst ab dem 2. Dezember 2026, eine Schonfrist aus dem KI-Omnibus.

Den Vollzug führt in Deutschland die Bundesnetzagentur. Ihre zentrale Beschwerdestelle nach Paragraf 8 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes nimmt seit demselben Tag Meldungen entgegen, ausdrücklich auch zu den Transparenzpflichten; beschwerdeberechtigt ist nach Artikel 85 der KI-Verordnung jede natürliche und juristische Person (Bundesnetzagentur⁷).

Ob eine Markierung hält, ist keine Rechts-, sondern eine Messfrage. Für Wasserzeichen liegt die Antwort vor: Nach fünf Runden maschinellen Umschreibens fiel die Trefferquote bei einem Prozent Fehlalarm von 99,8 auf unter 20 Prozent (Sadasivan u. a., TMLR⁸). Dieselbe Umschreib-Bewegung, an der die Detektoren scheitern, greift die Markierung an, die sie ersetzen soll.

Aus 1 Prozent Fehlalarm werden 750 markierte Arbeiten#

Im Ernstfall läuft selten Pangram, sondern das Werkzeug, das ohnehin im Abgabesystem steckt. An der Vanderbilt University war das Turnitin. Sie schaltete dessen KI-Erkennung im August 2023 ab und legte die Rechnung offen (Begründung der Universität⁹): Bei der Anbieter-Fehlalarmquote von einem Prozent und den 75.000 Arbeiten, die allein 2022 durch das System liefen, wären rund 750 fälschlich als teilweise KI-geschrieben markiert worden. Der breiteste Prüfstand, der RAID-Benchmark, maß Detektoren an über sechs Millionen Generierungen aus elf Sprachmodellen und fand sie durch Angriffe, verändertes Sampling und ungesehene Modelle leicht zu überlisten (Dugan u. a., ACL 2024¹⁰).

Ermittler stehen vor derselben Übersetzung. Zum Böschungsbrand an der Bahnstrecke zwischen Köln und Düsseldorf tauchte ein auffällig glattes Bekennerschreiben auf, das nach KI-Text aussah; im Berliner Vergleichsfall bestritt die forensische Linguistin genau das.

Ein Detektor gibt eine Wahrscheinlichkeit aus, eine Zahl zwischen null und hundert. Was daraus wird, ein vorsichtiges „69 Prozent verdächtig“ oder ein hartes „du hast betrogen“, steht in keiner Fehlalarmquote, sondern in der Prüfungsordnung der Einrichtung, die den Detektor befragt.

Anlass war Roberto Simanowskis Essay „KI-Texterkennung: Finde den Fehler“, DIE ZEIT, 06.07.2026. Der Artikel liefert die These und die Liste der Stilmarker; alle Kennzahlen stammen aus eigener Recherche: die Benchmark-Werte von Jabarian und Imas (Booth School / NBER, 2025, bfi.uchicago.edu), die Bias-, Wortschatz- und Gegenversuchs-Werte aus Liang u. a., „GPT detectors are biased against non-native English writers“, Patterns 2023 (Volltext auf ar5iv.labs.arxiv.org), die Robustheits-Prüfung des RAID-Benchmarks (Dugan u. a., ACL 2024, aclanthology.org), die Turnitin-Hochrechnung von der Vanderbilt University (2023, vanderbilt.edu), die Wasserzeichen-Messung aus Sadasivan u. a., „Can AI-Generated Text be Reliably Detected?“, TMLR (Volltext auf ar5iv.labs.arxiv.org), die Fristen und der Omnibus-Hinweis aus dem Faktenblatt der EU-Kommission zu den Transparenzregeln (digital-strategy.ec.europa.eu), der Normwortlaut aus Artikel 50 Absatz 2 der KI-Verordnung und die Angaben zur zentralen Beschwerdestelle von der Bundesnetzagentur (Stand 09/2026). Die Trefferquoten des eingestellten OpenAI-Klassifikators stammen aus dessen eigener Ankündigung von 2023 und sind an der Quelle nicht mehr abrufbar.