Zum Inhalt springen

KI-Vorfälle ohne Meldepflicht: nur Selbstauskunft zählt

Kein Register zählt KI-Vorfälle, keine Meldepflicht greift: Der OpenAI/Hugging-Face-Fall zeigt, warum Aufsicht bisher Selbstauskunft der Firmen bleibt.

Von 5 Min. Lesezeit

Über den Autor

Christopher Helm arbeitet seit 2014 mit maschinellem Lernen. Hier schreibt er privat über KI, Sicherheit im Netz und Medien.

Diesen Blog bei Google als bevorzugte Quelle wählenGoogle zeigt Beiträge dieser Seite dann häufiger unter Top Stories. Die Wahl lässt sich jederzeit zurücknehmen.

Presseschau

Worüber deutsche Medien gerade berichten, geordnet nach Ereignis. So sieht man, wer eine Nachricht bringt und wer nicht.

Zur Presseschau

Woher weiß die Öffentlichkeit, was im Juli zwischen OpenAI und Hugging Face geschah? Aus genau zwei Blogposts, und beide haben die Beteiligten selbst geschrieben. Am 16. Juli beschrieb Hugging Face, wie fremde KI-Modelle aus einem Sicherheitstest ausgebrochen und in die eigene Infrastruktur eingedrungen waren; am 21. Juli erklärte OpenAI, es seien die eigenen gewesen. Kein Register führt den Fall, keine Aufsichtsbehörde kommt in einer der beiden Darstellungen vor, keine Meldepflicht griff. Wer zählen will, wie viele KI-Vorfälle es gibt, findet keine Stelle, die zählt.

Die gestrige Ausgabe hatte an diesem Fall die Haftungsseite geprüft: Keine der naheliegenden Haftungsnormen trägt den Schaden, von der EU-Produkthaftung bis zum US-Computerbetrugsgesetz; „Verantwortung übernehmen“ blieb eine Sprachwahl ohne Rechtsfolge. Vor der Haftungsfrage liegt aber eine ältere: Was weiß die Öffentlichkeit über KI-Vorfälle nur deshalb, weil die Verursacher es erzählen wollten, und wer erfährt es, wenn sie nicht wollen? Diese Frage bleibt über den Tag hinaus offen, denn eine Pflicht, solche Vorfälle irgendwo zu melden, existiert bis heute nicht.

Der Agenten-Vorfall ist aktenkundig nur bei den Beteiligten#

Die Zahlen zum Hergang stammen sämtlich vom Geschädigten. In ihrer Offenlegung vom 16. Juli protokolliert die Plattform mehr als 17.000 Aktionen der eingedrungenen Modelle, eine Selbstauskunft, für die es keine zweite Quelle gibt. Den Verursacher nannte der Text nicht; die Zuordnung zu OpenAI kam fünf Tage später von OpenAI selbst. Als einzige externe Meldung nennt die Offenlegung eine freiwillige Anzeige bei Strafverfolgungsbehörden. Keine Datenschutzaufsicht, kein Vorfallsregister, keine KI-Behörde taucht in einem der beiden Texte auf. Selbst der Prüfstand, auf dem der Ausbruch geschah, ist eine Auskunft der Branche über sich selbst: Der Benchmark mit seinen 898 Angriffsaufgaben stammt aus einem Industrie-Paper vom Mai, zu dessen Autoren Forscher von OpenAI gehören.

Die Meldepflicht ab August hätte den Fall nicht erfasst#

Die gestrige Ausgabe ließ einen Punkt ausdrücklich offen: ob die Meldepflicht des Art. 73 der KI-Verordnung einen solchen Fall künftig erfasst hätte. Der Verordnungstext beantwortet ihn. Art. 73 knüpft an Hochrisiko-Systeme, die in Verkehr gebracht oder in Betrieb genommen sind; Tests unter Realbedingungen regelt Art. 60 gesondert. Ein rein internes Testlabor fällt unter keine der beiden Vorschriften; zu diesem Ergebnis kommt auch der Leitlinienentwurf der EU-Kommission vom September 2025. Durchsetzbar wird die Pflicht ohnehin erst ab dem 2. August 2026, mit Bußgeldern bis 35 Millionen Euro oder sieben Prozent des Weltjahresumsatzes; für diesen Vorfall hätten sie keine Rolle gespielt. Zur selben Einschätzung kommt die US-Kanzlei Vorys in einer Analyse vom 22. Juli: Die Offenlegung sei freiwillig erfolgt, keine Abschalt- oder Meldepflicht habe gegriffen.

Dazu kommt, auf wen die neue Pflicht treffen wird. Nach einer Research Note der Cloud Security Alliance labs.cloudsecurityalliance.org ↗ vom März 2026 führt mehr als die Hälfte der untersuchten Organisationen kein systematisches KI-Inventar; von 106 geprüften Unternehmens-KI-Systemen ließen sich 40 Prozent nicht eindeutig als hochriskant oder nicht hochriskant einordnen. Wer nicht weiß, was er betreibt, kann nicht melden.

Gezählt wird das Medienecho, nicht der Vorfall#

Ein amtliches Register, das der Fall hätte betreten können, existiert ohnehin nicht. Die OECD hielt bereits im Februar 2025 in einem Rahmenpapier fest, dass ein verpflichtender internationaler Melderahmen für KI-Vorfälle fehlt. Was existiert, ist der AI Incidents Monitor der OECD: Er verzeichnet den OpenAI-Fall seit dem 21. Juli, gespeist aus 1.225 Presseartikeln, die sämtlich auf die zwei Firmen-Blogposts zurückgehen. Nach eigener Methodik wertet der Monitor automatisiert Nachrichtenartikel aus, versteht sich ausdrücklich nicht als Melderegister und beschreibt seinen Bestand als Teilmenge aller Vorfälle weltweit. Gezählt wird das Echo der Selbstauskünfte.

Die Ausgabe vom 15. Juli hat damit ihren Testfall bestanden. Ihre These, dass niemand misst, wie viele KI-gebaute Apps ein Datenleck haben, gilt auch nach diesem Vorfall unverändert: Er betrat keine amtliche Statistik. Auch die Meldewege, die es gibt, messen nicht; die 72-Stunden-Meldung nach Art. 33 DSGVO entfällt, wenn eine Verletzung voraussichtlich kein Risiko birgt, das unbemerkte oder risikolos eingestufte Leck betritt also ebenfalls keine Zählung. Im Schwachstellen-Register hat sich seither etwas bewegt, nur nicht in Richtung Messung: Der dort geprüfte Eintrag CVE-2025-48757 ist inzwischen als „Disputed“ markiert, der Hersteller bestreitet die Einstufung mit dem Argument, für die Datensicherheit ihrer Anwendungen seien die Kunden selbst verantwortlich. Und die einzige öffentliche Zählung betroffener Projekte, 1.645 geprüfte und rund 170 offene, stammte von einem Forscher, dessen Arbeitgeber Replit ein direkter Wettbewerber des betroffenen Anbieters ist; an ihrer ursprünglichen Quelle ist sie heute nicht mehr auffindbar und bleibt eine Momentaufnahme.

Was übrig bleibt, ist die Voreinstellung der Anbieter#

Solange niemand zählt, entscheidet über die Sicherheit der Masse die Grundeinstellung der Werkzeuge. Die Ausgabe vom 14. Juli beschrieb, warum für Laien die Voreinstellung des Anbieters die einzig wirksame Sicherung ist. An den dort geprüften Terminen hat sich nichts verschoben: Seit dem 30. Mai 2026 exponiert Supabase die Tabellen neuer Projekte nicht mehr automatisch über die Schnittstelle, Bestandsprojekte folgen zum 30. Oktober; der Zugriffsschutz auf Zeilenebene bleibt unverändert Sache der Nutzer. Dokumentiert ist dieser Zeitplan an genau einer Stelle, im Changelog des Anbieters, der damit in eigener Sache berichtet. Auch die letzte Verteidigungslinie ist eine Selbstauskunft.

Das ist der Befund, den keine der drei Ausgaben allein zeigen konnte: Jede Prüfkette endet bei einer Selbstauskunft eines Beteiligten. Der Hergang stand nur in den Blogs der zwei Firmen, der Benchmark stammt von der Industrie, die Leck-Zählung von einem Wettbewerber, die Sicherheits-Voreinstellung aus dem Anbieter-Changelog, und das einzige internationale Verzeichnis wertet Presseartikel aus, die auf ebenjene Blogs zurückgehen.

Ändern könnte das nur, wer verbindlich erheben lässt. Ab dem 2. August müssen Betreiber von Hochrisiko-Systemen schwere Vorfälle den Behörden melden, ab September folgt für Produkte mit digitalen Elementen die 24-Stunden-Frühwarnung des Cyber Resilience Act. Ob diese Regime erfassen, was heute unsichtbar bleibt, lässt sich erst dann nachprüfen. Bis dahin bestimmt, wer verursacht, auch darüber, wer davon erfährt.


Anlass war die Ausgabe „Kein KI-Haftungsrecht deckt OpenAIs Angriff auf Hugging Face“, Am Rand gelesen, 22.07.2026 (christopher-helm.com). Ebenfalls herangezogen: „Wer zählt die KI-Apps mit einem Datenleck?“ (15.07.2026, christopher-helm.com) und „Die Voreinstellung ist die einzige Sicherheit für Laien“ (14.07.2026, christopher-helm.com). Die Angaben zum Hergang stammen aus der Offenlegung von Hugging Face vom 16. Juli 2026 (huggingface.co huggingface.co ↗); der Benchmark ist in einem Industrie-Preprint vom Mai 2026 dokumentiert (arxiv.org). Die erneut geprüften Angaben zu Art. 73 und Art. 60 der KI-Verordnung folgen dem Gesetzestext (artificialintelligenceact.eu) und dem Leitlinienentwurf der EU-Kommission vom 26. September 2025, die Kanzlei-Einschätzung der Analyse von Vorys vom 22. Juli 2026 (vorys.com vorys.com ↗), die Readiness-Zahlen der Research Note der Cloud Security Alliance vom 13. März 2026 (cloudsecurityalliance.org labs.cloudsecurityalliance.org ↗). Der Registerbefund beruht auf dem AI Incidents Monitor der OECD samt Methodik-Seite (Stand 23. Juli 2026, oecd.ai oecd.ai ↗) und dem OECD-Rahmenpapier „Towards a common reporting framework for AI incidents“ vom Februar 2025; die Meldeschwelle der DSGVO stammt aus Art. 33 (gdpr-info.eu), der Stand des Eintrags CVE-2025-48757 aus der National Vulnerability Database (Stand 23. Juli 2026, nvd.nist.gov), die Supabase-Stichtage aus dem Changelog des Anbieters (supabase.com supabase.com ↗). Der Ausblick auf die 24-Stunden-Frühwarnung des Cyber Resilience Act folgt der Fachberichterstattung vom Juli 2026.

Quellen

  1. Security incident disclosure — July 2026 huggingface.co ↗
  2. OpenAI’s Autonomous AI Agent Escape and Attempted Intrusion of Hugging Face – and Why it Matters to You vorys.com ↗
  3. Research Note der Cloud Security Alliance labs.cloudsecurityalliance.org ↗
  4. OECD AI Incidents Monitor, an evidence base for trustworthy AI oecd.ai ↗
  5. ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? arXiv.org ↗
  6. Article 73: Reporting of Serious Incidents | EU Artificial Intelligence Act EU AI Act Explorer ↗
  7. Art. 33 GDPR – Notification of a personal data breach to the supervisory authority - General Data Protection Regulation (GDPR) gdpr-info.eu ↗
  8. NVD - Home nvd.nist.gov ↗
  9. Breaking Change: Tables not exposed to Data and GraphQL API automatically Supabase ↗

Über den Autor

Christopher Helm arbeitet seit 2014 mit maschinellem Lernen. Hier schreibt er privat über KI, Sicherheit im Netz und Medien.

Diesen Blog bei Google als bevorzugte Quelle wählenGoogle zeigt Beiträge dieser Seite dann häufiger unter Top Stories. Die Wahl lässt sich jederzeit zurücknehmen.

Presseschau

Worüber deutsche Medien gerade berichten, geordnet nach Ereignis. So sieht man, wer eine Nachricht bringt und wer nicht.

Zur Presseschau