Die KI-Verordnung misst menschliche Aufsicht nie

Das Wichtigste in Kürze

• Ab dem 2. August 2027 müssen Hochrisiko-Systeme so gebaut sein, dass Menschen sie wirksam beaufsichtigen können.
• Für die Genauigkeit des Modells verlangt dieselbe Verordnung Parameter und Testberichte, von der Aufsicht nur den Namen der prüfenden Person im Protokoll.
• In 106 Laborexperimenten lag das Mensch-KI-Team im Mittel unter dem besseren der beiden allein.
• Die Verluste lagen bei Aufgaben, die eine Entscheidung verlangen, und genau die beaufsichtigt Artikel 14.
• Für Verkehrsflugzeuge beschreibt die europäische Luftfahrtbehörde dagegen einen Nachweis am Menschen: drei bis fünf Besatzungen, die vorher nichts wissen.

Die menschliche Aufsicht, die die KI-Verordnung für Hochrisiko-Systeme ab dem 2. August 2027 verlangt, ist im Wortlaut eine Bauvorschrift: Artikel 14 Absatz 1 fordert Systeme, die von natürlichen Personen „wirksam beaufsichtigt werden können“, Absatz 4 zählt fünf Fähigkeiten auf, die dieser Person möglich sein müssen (Verordnung (EU) 2024/1689¹). Wie gut eine davon ausgeübt wird, erhebt niemand.

Die Konformitätsbewertung endet am Produkt, bevor es in Verkehr kommt; die Aufsicht entsteht erst im Betrieb, und Artikel 26 Absatz 2 überträgt sie natürlichen Personen, die der Betreiber benennt und ausstattet. Von da an prüft niemand mehr das Gespann aus Mensch und Maschine, weil die Pflicht mit der Rolle zum Betreiber wandert². Den Automatisierungsbias nennt Artikel 14 Absatz 4 ausdrücklich beim Namen; dass Menschen einer maschinellen Empfehlung systematisch folgen, ist seit Jahrzehnten dokumentiert. Goddard, Roudsari und Wyatt sichteten dafür 13 821 Arbeiten und schlossen 74 ein, überwiegend zur klinischen Entscheidungsunterstützung (JAMIA 19, 2012, DOI 10.1136/amiajnl-2011-000089).

Von der wirksamen menschlichen Aufsicht bleibt im Protokoll die Identität der Person#

Für die Maschine ordnet der Rechtsakt Messung an: Anhang IV Nummer 2 Buchstabe g verlangt die Parameter zur Messung der Genauigkeit samt Testprotokollen und Testberichten, Artikel 15 Absatz 2 „Benchmarks und Messmethoden“ mit Metrologiebehörden, Artikel 15 Absatz 3 die Genauigkeitsgrade in der Betriebsanleitung. Wie genau ein System sein muss, sagt er nicht: für die Genauigkeit steht dort keine Zahl³.

Für die Aufsicht steht dort zweierlei: Anhang IV Nummer 2 Buchstabe e verlangt eine Bewertung der Maßnahmen zur menschlichen Aufsicht, Artikel 12 Absatz 3 Buchstabe d schreibt für die Protokolle „die Identität der … beteiligten natürlichen Personen“ vor. Festgehalten wird, wer geprüft hat; ob die Prüfung etwas geändert hat, nicht. Eine Übernahmequote, eine Widerspruchsquote, eine Prüfzeit je Fall verlangt keine Stelle des Textes.

Ein legitimer Grund fürs Weglassen ist denkbar: Eine Verordnung, die von der Kreditvergabe bis zur Sichtprüfung reicht, kann schwer eine einheitliche Kennzahl für Aufsichtswirkung vorschreiben. Für die Genauigkeit verlangt sie über dieselben Felder hinweg Parameter und Testberichte. Artikel 72 Absatz 3 sieht einen Durchführungsrechtsakt zu den Betriebsdaten nach dem Inverkehrbringen vor, fällig zum 2. Februar 2026; ob er erlassen wurde, ließ sich an keiner Primärquelle klären.

Die Verluste liegen bei Entscheidungen, und Entscheidungen beaufsichtigt Artikel 14#

Eine präregistrierte systematische Übersicht sichtete 5 126 Arbeiten mit Publikationsdatum zwischen Januar 2020 und Juni 2023 und schloss 74 Publikationen ein, die Mensch allein, System allein und die Kombination im selben Experiment messen: 106 Experimente, 370 Effektstärken. Gepoolt liegt die Kombination mit Hedges‘ g von −0,23 (95-Prozent-Konfidenzintervall −0,39 bis −0,07) unter dem jeweils besseren Einzelakteur, im Mittel und nicht in einer ausgezählten Mehrheit der Fälle (Vaccaro, Almaatouq und Malone, Nature Human Behaviour 8, 2024, S. 2293–2303⁴). Gemessen wurde im Labor, nicht im Betrieb.

Verluste fanden die Autoren bei Aufgaben, die eine Entscheidung verlangen, und deutlich größere Gewinne bei Aufgaben, die Inhalte erzeugen; Gewinne dort, wo der Mensch das System allein schlug, Verluste dort, wo das System den Menschen schlug. Beide Bedingungen beschreiben den Fall, für den Artikel 14 gebaut ist: Beaufsichtigt werden Entscheidungen, und ein Hochrisiko-System kommt zum Einsatz, weil es den Menschen schlägt.

Die Modellgenauigkeit misst, wie oft das System richtig liegt, nicht, wie oft die prüfende Person widerspricht, wie lange sie je Fall braucht und wie oft sie eine falsche Begründung annimmt. In Nutzerstudien auf drei Datensätzen erhöhten Erklärungen die Annahmewahrscheinlichkeit einer Empfehlung, unabhängig davon, ob sie richtig war (Bansal u. a., CHI ’21, DOI 10.1145/3411764.3445717); das dort geprüfte System lag auf menschlichem Genauigkeitsniveau. In derselben Meta-Analyse wurde „explanation“ als Moderator geprüft und nicht signifikant gefunden, ein Satz, der in der frei zugänglichen Fassung steht (arXiv:2405.06087), nicht im Verlagsabstract.

Der Forschungsdienst der Kommission nennt erklärbare KI „not a suitable option“#

Im Bericht „Analysis of the preliminary AI standardisation work plan in support of the AI Act“ (JRC132833, 2023, EUR 31518 EN) hält die Gemeinsame Forschungsstelle auf Seite 3 fest, eine Ausrichtung der Normungsarbeit auf erklärbare KI sei „not a suitable option“, und auf Seite 12, der Rechtsakt verlange „specific solutions such as XAI“ nicht ausdrücklich. Zwei Gründe nennt er dafür: den „lack of a standard framework for explanations evaluation“ und die „underexplored relationship between AI explanations and automation bias“ (JRC132833, Volltext publications.jrc.ec.europa.eu ↗).

Ein Attributionsverfahren zeigt, worauf ein Netz reagiert hat, nicht, warum ein Fall so liegt. Richtige Ausgabe und falsche Begründung schließen einander nicht aus, und ohne Bewertungsrahmen weist kein Verfahren die Begründung als falsch aus; Entscheidung und Erklärung stammen aus demselben Netz. Der Bericht bewertet den Normungsarbeitsplan vom Januar 2023 und erhebt keine Marktdaten.

Mit Abstinenzoption entschied ein Netz knapp 60 Prozent der Bilder bei 2 Prozent Fehler#

Bei der selektiven Klassifikation entscheidet ein Modell nur Fälle oberhalb einer Konfidenzschwelle und gibt die übrigen ab. Geifman und El-Yaniv berichteten dafür 2 Prozent Fehler in der Top-5-Klassifikation auf ImageNet, garantiert mit 99,9 Prozent Wahrscheinlichkeit bei knapp 60 Prozent Abdeckung („Selective Classification for Deep Neural Networks“, NIPS 2017, arXiv:1705.08500). Eine Top-5-Fehlerquote auf einem Bild-Benchmark ist keine Ausschussrate. Der Preis sind rund 40 Prozent der Fälle, die an Menschen gehen.

Die Gegenprobe scheiterte. Gesucht war der Anteil der Fehler oberhalb der Konfidenzschwelle, also das, was eine Vorauswahl „unsicherer Fälle“ der prüfenden Person nie vorlegt. Für die industrielle Sichtprüfung gibt es diesen Wert nicht; die Kalibrierungsliteratur zeigt überkonfidente Netze, aber keine übertragbare Quote. Welche Fälle die prüfende Person nie zu sehen bekommt, entscheidet damit das System, dessen Fehler sie finden soll.

Die Flugzeugzulassung prüft die Annahme über die Besatzung mit drei bis fünf Crews#

Wer in der Sicherheitsanalyse eines Verkehrsflugzeugs annimmt, dass die Besatzung einen Fehler erkennt, muss das belegen; die europäische Luftfahrtbehörde beschreibt dafür ein Prüfdesign mit drei bis fünf Besatzungen, die nicht vorab gebrieft werden (EASA Certification Memorandum CM-SA-002, Issue 02 vom 10. Mai 2023, Seite 10 easa.europa.eu ↗). Geschrieben wurde es, weil dieselbe Behörde auf Seite 5 festhält: „Most applicants do not conduct any systematic and structured activity to demonstrate the validity of FHA assumptions.“ Das Memorandum gilt für große Flugzeuge nach CS-25 und ist nicht bindend.

Die Normen, die attributive Prüfprozesse und die Gebrauchstauglichkeit eines Bediensystems messbar machen, sind kostenpflichtig und ohne öffentliche Fundstelle; deshalb stammt der Vergleich hier aus der Luftfahrt.

In der Medizin ist die verbreitetste Aufsichtsmaßnahme überhaupt geprüft worden, ein zweiter Mensch sieht drüber. Für die Medikamentengabe im Krankenhaus fanden die Autoren über 13 Studien mit Literatur bis 2019 „insufficient evidence“, dass Doppelkontrolle mit weniger Medikationsfehlern oder weniger Schaden einhergeht (Koyama u. a., BMJ Quality & Safety 29, 2020, S. 595–603⁵). Angeordnet worden war sie lange vorher.

Rechtstexte nach EUR-Lex (eur-lex.europa.eu): Verordnung (EU) 2024/1689, Artikel 12 Absatz 3, Artikel 14, Artikel 15, Artikel 26, Artikel 72 Absatz 3 und Anhang IV Nummer 2; die Pflichten für Hochrisiko-Systeme nach Artikel 6 Absatz 1 gelten ab dem 2. August 2027. Effektgröße, Erhebungsrahmen und Bedingungen aus Vaccaro, Almaatouq und Malone, „When combinations of humans and AI are useful: a systematic review and meta-analysis“, Nature Human Behaviour 8 (2024), 2293–2303, DOI 10.1038/s41562-024-02024-1; gesichtet wurden 5 126 Arbeiten in ACM Digital Library, Web of Science und AIS eLibrary, der Moderator-Befund zu „explanation“ steht in der frei zugänglichen Fassung arXiv:2405.06087 (arxiv.org). Automatisierungsbias: Goddard, Roudsari und Wyatt, JAMIA 19 (2012), 121–127, DOI 10.1136/amiajnl-2011-000089, 13 821 gesichtete und 74 eingeschlossene Arbeiten. Annahme von Erklärungen: Bansal u. a., CHI ’21, DOI 10.1145/3411764.3445717. Normungsbewertung: JRC132833, „Analysis of the preliminary AI standardisation work plan in support of the AI Act“, EUR 31518 EN, doi:10.2760/5847, Seiten 3 und 12 (publications.jrc.ec.europa.eu). Prüfdesign und Zitat zur Sicherheitsanalyse: EASA Certification Memorandum CM-SA-002 Issue 02 vom 10. Mai 2023, Seiten 5 und 10 (easa.europa.eu). Doppelkontrolle: Koyama u. a., BMJ Quality & Safety 29 (2020), 595–603, DOI 10.1136/bmjqs-2019-009552. Abstinenzschwelle: Geifman und El-Yaniv, „Selective Classification for Deep Neural Networks“, NIPS 2017, arXiv:1705.08500. Alle Belegstellen abgerufen am 8. September 2026.