Autonomiestufen bei KI-Agenten: Die Freigabe wird zur Formalie

Mehr als 40 Prozent aller Agentic-AI-Projekte in Unternehmen sollen laut einer Analyse der Marktforschung Gartner gartner.com ↗ vom Juni 2025 bis Ende 2027 wieder eingestellt werden; als Hauptgrund nennt die Analyse unzureichende Risikokontrolle. Verkauft werden solche Projekte meist über eine vierstufige Autonomieleiter: Ein Agent liest zunächst nur mit, dann empfiehlt er, dann handelt er nach Genehmigung, zuletzt vollständig autonom. Einen Schritt zurück, von einer hohen Stufe auf eine niedrigere, sieht dieses Modell nirgends vor, und dafür gibt es eine vierzig Jahre alte Erklärung.

Warum die Freigabepflicht auf hohen Autonomiestufen zur Formalie wird#

Lisanne Bainbridge web.archive.org ↗ beschrieb den Mechanismus dahinter schon 1983: Automatisierung entzieht dem Menschen genau die laufende Übung, die er für den seltenen, kritischen Eingriff bräuchte. Wer über Monate nur noch die Vorschläge eines Systems freigibt, verlernt in derselben Zeit selbst zu entscheiden, und hat die dafür nötige Praxis bereits verloren, sobald er auf „empfehlen“ zurück will.

Wie wenig eine formale Freigabepflicht im Ernstfall trägt, zeigte im Juli 2025 ein dokumentierter Vorfall bei Replit: Ein KI-Coding-Agent löschte während eines ausdrücklich angeordneten Entwicklungsstopps eine Produktivdatenbank mit Datensätzen zu mehr als 1.200 Führungskräften und rund 1.190 Unternehmen, erfand zusätzlich rund 4.000 Nutzerdatensätze und verschleierte den Vorgang zunächst, wie Fortune berichtete¹.

Fehlerbudgets und Runbooks lösen dieselben Alarme ohne Modell-KI#

Die Grundprinzipien von GitOps² verlangen, dass jede Änderung an einem System deklarativ, versioniert und aus einer einzigen, nachvollziehbaren Quelle kommt und automatisiert mit ihr abgeglichen wird; ein Agent, der direkt in ein Produktivsystem eingreift, unterläuft dieses Prinzip. Ergänzt um Fehlerbudgets aus dem Site-Reliability-Engineering, die Ausfallzeit vorab begrenzen statt sie hinterher zu erklären, und um Runbooks, die den Großteil wiederkehrender Vorfälle deterministisch abarbeiten, senkt das die Alarmlast an der Wurzel, ganz ohne ein System, das selbst entscheidet.

Ein Agent mit Schreibrechten ist eine Identität ohne Personalakte#

Ein Agent, der Tickets schließt oder Konfigurationen ändert, braucht dafür einen eigenen Zugang, und solcher maschinellen Identitäten gibt es inzwischen weit mehr als menschlicher: Fünf 2026 veröffentlichte Berichte von Sicherheitsanbietern beziffern das Verhältnis zwischen 10 zu 1 und 144 zu 1, keiner legt seine Methodik offen, eine amtliche Erhebung fehlt. Die Bandbreite selbst ist der Befund, nicht eine der Zahlen darin.

Genau diese Lücke greift seit Februar 2026 ein Konzeptpapier des NIST-Kompetenzzentrums NCCoE nccoe.nist.gov ↗ auf: Es umreißt Identifizierung, Autorisierung und Rückverfolgbarkeit von Agenten-Identitäten und liegt öffentlich zur Kommentierung vor. Das größte Einzelrisiko im laufenden Betrieb bleibt dabei Prompt Injection³, seit zwei Ausgaben in Folge auf Platz eins des einschlägigen Sicherheitskatalogs für Sprachmodell-Anwendungen gelistet, ohne dass eine generisch wirksame Abwehr dagegen dokumentiert ist. Im Dezember 2025 erlaubte eine als hoch eingestufte Sicherheitslücke⁴ im verbreiteten Agenten-Framework LangChain über gewöhnliche, von außen kontrollierbare Nutzdaten das Abgreifen von Umgebungsvariablen und Zugangsgeheimnissen. Protokolliert ein solcher Agent Bearbeitungszeiten und Eingriffe, ist zudem der Betriebsrat im Boot: Systeme zur Verhaltens- und Leistungskontrolle sind nach § 87 BetrVG mitbestimmungspflichtig. Kompromittiert ein Angriff einen Agenten, der in einem fremden System handelt, bleibt zusätzlich offen, welches Haftungsrecht dann greift⁵.

AI Act und DORA verlangen Aufsicht, die die wenigsten Agenten überhaupt brauchen#

Für Hochrisikosysteme schreibt Artikel 14 des AI Act eur-lex.europa.eu ↗ vor, dass Betreiber Ausgaben übersteuern können und über eine Stopp-Funktion verfügen müssen. Die Pflicht bindet aber nach Artikel 3 Nummer 14 und Anhang III nur Systeme, deren Ausfall Gesundheit oder Sicherheit von Personen gefährdet; eine Ticket-Triage oder Runbook-Auswahl im IT-Betrieb erfüllt das in aller Regel nicht, menschliche Aufsicht bleibt hier freiwillige Selbstbindung, keine Rechtspflicht. Auch die DORA-Verordnung eur-lex.europa.eu ↗, seit Januar 2025 für den Finanzsektor anwendbar, verlangt IKT-Risikomanagement und Sorgfalt bei Drittanbietern, aber technologieneutral: Der Verordnungstext nennt an keiner Stelle künstliche Intelligenz oder autonome Systeme.

Was die mittlere Wiederherstellzeit über den Agenten selbst verschweigt#

Die Kennzahl, an der Teams solche Systeme messen, ist meist die mittlere Wiederherstellzeit, kurz MTTR: Minuten bis ein System nach einem Ausfall wieder läuft. Der gelöschte Datenbestand bei Replit erscheint darin nur als kurze Ausfallzeit, die anschließend wieder sank, nicht als der eigentliche Vorfall. Nach einer Prüfung des Bundesrechnungshofs⁶ erfüllten weniger als 10 Prozent der untersuchten Rechenzentren des Bundes die eigenen Mindeststandards des BSI, eine ressortübergreifende Strategie dafür fehlte, ganz ohne dass ein Agent beteiligt war. Ein unbesetztes Notfallmanagement stand fünf Monate vor einem Cyberangriff auf die Berliner Verwaltung auf Rot⁷, sichtbar in den eigenen Kennzahlen, ohne Folgen.

Die Freigabestufe schützt nur so lange, wie der Agent sie nicht selbst protokolliert und sich damit die eigene Kontrolle bescheinigt. Wo er das kann, ist sie ein Eintrag im Log, kein Sicherheitsnetz.

Die Abbruchquote für Agentic-AI-Projekte stammt aus einer Pressemitteilung der Marktforschung Gartner (25. Juni 2025). Der Mechanismus hinter dem fehlenden Rückweg geht auf Lisanne Bainbridge zurück („Ironies of Automation“, Automatica 19(6), 1983, 775–779, DOI 10.1016/0005-1098(83)90046-8, im Volltext über eine Web-Archive-Kopie zugänglich). Der Datenbankvorfall ist bei Fortune (23. Juli 2025) dokumentiert. Die GitOps-Prinzipien stammen von OpenGitOps/CNCF. Die Spannbreite der Maschinenidentitäten beruht auf fünf 2026 veröffentlichten Anbieterberichten ohne offengelegte Methodik. Das Konzeptpapier zu Agenten-Identitäten stammt vom Kompetenzzentrum NCCoE (NIST, 5. Februar 2026), die Einordnung von Prompt Injection vom OWASP Top 10 for LLM Applications (2025). Die Sicherheitslücke in LangChain ist als GHSA-r399-636x-v7f6 (CVE-2025-68665) in der GitHub Advisory Database verzeichnet. Die Rechtsgrundlagen (recherchiert über EUR-Lex, europa.eu) sind Art. 14, 3 Nr. 14 und Anhang III der Verordnung (EU) 2024/1689 (AI Act) sowie die Verordnung (EU) 2022/2554 (DORA); § 87 BetrVG regelt die Mitbestimmung. Der Rechenzentrumsbefund des Bundesrechnungshofs ist über Haufe (23. Juli 2025) öffentlich zugänglich.