Wie viel Genauigkeit schreibt der AI Act eigentlich vor?

„Ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit“ soll jedes Hochrisiko-KI-System erreichen, das in der Europäischen Union betrieben wird. So steht es in Artikel 15 des AI Act, der EU-Verordnung über künstliche Intelligenz, anwendbar gemäß Artikel 113 seit dem 2. August 2026, drei Wochen zum jetzigen Stand. Eine Zahl nennt der Artikel nicht: Absatz 3 verpflichtet Anbieter nur, den erreichten Genauigkeitsgrad in der Gebrauchsanweisung anzugeben, nicht, einen Mindestwert zu erreichen. Beziffern ist genau die Aufgabe, an der Gesetzgeber, Staat und die gängige Kennzahl selbst gleichermaßen scheitern, obwohl Einkäufer und IT-Leitungen im Mittelstand sie in einem Lastenheft brauchen, bevor sie ein System abnehmen können.

Ein System, das nichts prüft, erreicht 98 Prozent Genauigkeit#

Bei 10.000 Fällen und einer Grundrate von 2 Prozent positiver Fälle, also 200 tatsächlichen Treffern, erreicht ein Modell, das grundsätzlich „nein“ antwortet, 9.800 von 10.000 richtigen Entscheidungen: 98,0 Prozent Genauigkeit, ganz ohne einen einzigen echten Fall zu finden. Seine Trefferquote unter den 200 echten Fällen liegt bei 0 Prozent. Ein System, das für sich „95 Prozent Genauigkeit“ beansprucht, liegt in dieser Rechnung unter diesem untauglichen Nullmodell, obwohl der Zahlenwert das Gegenteil suggeriert. Erst eine zweite Kennzahl neben der Grundrate, etwa Trefferrate oder Falsch-Positiv-Rate, trennt ein arbeitendes System von einem funktionslosen. Der AI Act selbst lässt offen, an welcher dieser Größen sich „ein angemessenes Maß“ bemisst.

Artikel 15 überträgt die fehlende Schwelle an die EU-Kommission#

Artikel 15¹ überträgt die eigentliche Aufgabe der EU-Kommission: Sie soll in Zusammenarbeit mit „einschlägigen Interessenträgern und Organisationen wie Metrologie- und Benchmarking-Behörden“ erst noch die Entwicklung von Benchmarks und Messmethoden fördern. Eine Frist dafür nennt der Absatz nicht, während die Pflicht aus Absatz 1 längst gilt.

Der Bundesrechnungshof stellte 2023 fest bundesrechnungshof.de ↗, gestützt auf 155 auswertbare Antworten von Bundesbehörden und -einrichtungen, dass 63 Prozent der geprüften KI- und Datenanalyseverfahren der Bundesverwaltung ohne Wirtschaftlichkeitsbetrachtung liefen, also ohne „überprüfbare, messbare Indikatoren“ für eine Erfolgskontrolle. Je Behörde gerechnet, verzichteten 64 Prozent auf eine solche Betrachtung für jedes ihrer Verfahren, nur 13 Prozent erstellten sie durchgängig. Das Wort „Genauigkeit“ selbst kommt im gesamten Bericht nur ein einziges Mal vor, als Zitat der damals neuen KI-Verordnung, nicht als eigene Prüfgröße des Rechnungshofs. Die Erhebung stammt aus dem Jahr 2021, vor dem Boom generativer Sprachmodelle und vor der KI-Verordnung; der Befund lässt sich nicht unbesehen auf heutige Projekte übertragen. Eine Kleine Anfrage im Bundestag vom 10. August 2026 dserver.bundestag.de ↗ fragt für den „Agentic AI Hub“ der Bundesregierung, ein aktuelles KI-Vorzeigeprojekt, wörtlich nach „messbaren Zielwerten“ unter anderem für die Fehlerquote, dieselbe Frage, die der Rechnungshof für die Bundesverwaltung insgesamt schon drei Jahre zuvor aufgeworfen hatte. Zum Stand dieses Textes, 13 Tage nach der Einreichung, liegt eine Antwort darauf nicht vor.

Eine Zurückweisungsschwelle verschiebt nur die unsicheren Fälle zum Menschen#

Eine Bauform braucht die fehlende Schwelle nicht: Das System bearbeitet nur, was es mit hoher Sicherheit einordnen kann, und reicht den Rest an einen Menschen weiter. Sie zeigt, wo eine automatisierte Antwort nicht genügt, statt es mit einer geschönten Gesamtquote zu überdecken. Auch dabei entscheidet ein Wert über das Ergebnis: Je höher die Sicherheitsschwelle für die automatische Bearbeitung gesetzt wird, desto weniger Fälle bleiben beim System, aber auch desto weniger sagt eine hohe Genauigkeit unter den restlichen Fällen über die Gesamtleistung aus. Konsequent umgesetzt wird sie trotzdem selten, und ihr Nutzen hängt daran, was mit den weitergereichten Fällen geschieht. Wird die Freigabe zur Formalie², prüft am Ende niemand mehr nach, und der Unterschied zwischen automatisiert und kontrolliert verschwindet auf dem Papier.

Im eigenen Beispiel bleiben alle 200 echten Fälle unentdeckt#

Im Nullmodell oben entstehen keine falschen Alarme, aber alle 200 tatsächlichen Fälle bleiben unentdeckt. In der Praxis kosten beide Fehlerarten fast nie dasselbe: Ein falscher Alarm bindet ein paar Minuten Prüfzeit, ein übersehener Fehler in einer Rechnung oder einer Bonitätsprüfung kann ein Vielfaches davon kosten. Bei einer Bonitätsprüfung etwa wächst der übersehene Fehler mit der Kredithöhe, während der falsche Alarm nur eine zusätzliche manuelle Prüfung nach sich zieht.

Wird über mehrere Klassen gemittelt, kann eine hohe Gesamtquote genau die Klasse mit der schwächsten Erkennung verdecken; wie stark, hängt davon ab, ob makro- oder mikrogemittelt wird, zeigt eine Untersuchung zu mehrklassigen Klassifikationsverfahren bei Klassenungleichgewicht doi.org ↗. Makrogemittelt zählt jede Fallgruppe gleich viel, mikrogemittelt jeder Einzelfall: Dasselbe System kann in der einen Rechnung gut und in der anderen schwach aussehen, ohne dass sich am System etwas ändert. Denselben Effekt zeigt eine Erfolgsquote in die andere Richtung, die ebenfalls nicht verrät, in welchen Fallgruppen die Chance höher oder niedriger liegt: Bei Widersprüchen gegen Jobcenter-Bescheide lag sie zuletzt bei 29 Prozent, mit fallender Tendenz³.

Eine belastbare Angabe bräuchte vier Teile, die im AI Act ebenso fehlen wie in der Praxis der Bundesverwaltung: eine benannte Kennzahl, etwa Trefferrate oder Falsch-Positiv-Rate statt der bloßen Gesamtgenauigkeit; einen Schwellenwert für diese Kennzahl; eine Stichprobe, an der er geprüft wird, aufgeteilt nach den relevanten Fallgruppen und regelmäßig erneuert, weil sich Datenlage und Grundrate über die Zeit verschieben können; und eine Zuständigkeit, die haftet, wenn der Wert unterschritten wird. Diese vier Festlegungen gehören vor den ersten Testlauf ins Lastenheft, nicht in den Streit danach, wenn der erste Fehler bereits passiert ist.

Primärquellen: Artikel 15 der KI-Verordnung (Verordnung (EU) 2024/1689), konsolidierte Fassung auf eur-lex.europa.eu. Bundesrechnungshof, „Verfahren der Datenanalyse und der künstlichen Intelligenz in der Bundesverwaltung“, 21. März 2023. Deutscher Bundestag, Drucksache 21/7535, Kleine Anfrage vom 10. August 2026, Dokumentationsserver dserver.bundestag.de. Farhadpour, Warner, Maxwell, „Selecting and Interpreting Multiclass Loss and Accuracy Assessment Metrics for Classifications with Class Imbalance“, Remote Sensing 16(3), 2024, DOI 10.3390/rs16030533.