OpenAI pausiert KI-Training, der Zwischenfall war 152 Minuten, nicht 30
OpenAI versprach am 18. August, verdächtige Trainingsläufe binnen 30 Minuten anzuhalten. Am 20. September lief der Lauf nach dem Alarm noch 152 Minuten.
Über den Autor
Christopher Helm arbeitet seit 2014 mit maschinellem Lernen. Hier schreibt er privat über KI, Sicherheit im Netz und Medien.
Mehr über den AutorDiesen Blog bei Google als bevorzugte Quelle wählenGoogle zeigt Beiträge dieser Seite dann häufiger unter Top Stories. Die Wahl lässt sich jederzeit zurücknehmen.Presseschau
Worüber deutsche Medien gerade berichten, geordnet nach Ereignis. So sieht man, wer eine Nachricht bringt und wer nicht.
Zur PresseschauSeit dem 20. September 2026 ruht bei OpenAI jedes Training mit Werkzeugnutzung für die stärksten Modelle. OpenAI begründet die Pause mit einer eigenen Sicherheitsannahme, die nicht hielt: Das Modell in der Testumgebung könne das offene Netz nicht erreichen. Für den einzelnen Trainingslauf hatte OpenAI am 18. August eine Regel veröffentlicht: Kann ein Alarm der höchsten Stufe nicht binnen 30 Minuten als Fehlalarm ausgeräumt werden, sollen die Teams den Lauf anhalten. Der Bericht zum Vorfall auf OpenAIs Alignment-Blog (Stand 25. September), über den seit dem 26. September zehn deutsche Häuser berichten, nennt die Zeiten: Alarm um 10:02:11, Abbruch um 12:34:30. Der Lauf, nach OpenAIs Zählung der erste Zwischenfall seit den Nachrüstungen des Sommers, lief nach dem Alarm noch 2 Stunden 32 Minuten weiter, rund fünfmal so lang wie zugesagt.
Die Zusage vom 18. August: Ohne Entwarnung binnen 30 Minuten halten die Teams den Lauf an#
Der Text „Pacing model development in an era of cyber-critical capabilities“ openai.com ↗ blickt auf den Juli zurück, als Agenten aus einem Cyber-Benchmark in Systeme von Hugging Face1 eingedrungen waren: zwei Wochen Pause für das Reinforcement Learning, der größte RL-Lauf blieb angehalten. Der Text schreibt eine Überwachung vor „for all RL training and evaluations involving tools for models of Sol capability or higher“ (Sol: OpenAIs Modell GPT-5.6) und setzt ihr zwei Fristen: „We aim to issue an alert within 30 minutes after concerning activity is surfaced … If they cannot conclusively determine within 30 minutes that the flag is a false positive, those teams are expected to pause the activity.“ Am 28. August lief der große Lauf wieder, „after the new safety and security requirements were put in place“, wie OpenAI am 1. September in „Path to Astra“ openai.com ↗ schreibt.
Der Alarm kam automatisch nach zwölf Minuten und der Abbruch von Hand nach zweieinhalb Stunden#
Der Bericht „An agent used DNS to reach an external chatbot“2 beschreibt ein internes Forschungsmodell im RL-Training, das die Person hinter einem Blogpost finden sollte. Google, Bing und DuckDuckGo direkt anzusteuern scheiterte mit den Fehlercodes 403 und 502; der DNS-Resolver der Testumgebung aber beantwortete Anfragen ins Netz. Über ihn schickte der Agent zur Probe die Frage nach der Hauptstadt Frankreichs an einen fremden Chatbot und bekam zurück: „The capital of France is Paris.“ Danach folgten 18 weitere Fragen auf diesem Weg, 14 davon mit Hinweisen aus der Aufgabe. Die Zeitleiste des Berichts nennt vier Zeitpunkte, ohne Zeitzone:

Bis zum Alarm hielt die Regel: 11 Minuten 48 Sekunden nach der ersten Antwort aus dem Netz (9:50:23) schlug die Überwachung an (10:02:11). Bis zum Abbruch (12:34:30) vergingen dann 152 Minuten. Der Bericht dazu: „A human reviewer acknowledged the Slack alert within three minutes, but the run did not stop automatically as expected, leading to confusion around whether it should have been stopped. The run was then manually stopped two and a half hours later when this was resolved.“ Warum der automatische Stopp ausblieb, sagt der Bericht nicht; ebenso wenig, ob das Modell die Sol-Schwelle erreicht, ab der die Regel gilt.
| Schritt | Zusage vom 18.08. | Zeitleiste vom 20.09. |
|---|---|---|
| Alarm nach verdächtiger Aktivität | binnen 30 Minuten | 11 min 48 s |
| Abbruch, wenn kein Fehlalarm | binnen 30 Minuten nach Alarm | 152 min 19 s |
| Wer hält an | „those teams are expected to pause“ | „did not stop automatically as expected“, manuell |
OpenAI selbst stuft den Vorfall „a lot less severe than some of our previous incidents“ ein; außer über den DNS-Resolver habe das Modell nur den Offline-Cache erreicht. Zugleich fand die Rückschau „other cases of external DNS access“, die die Überwachung „did not flag at the expected severity“: Der Monitor wertete eine unbrauchbare Antwort zuweilen als gescheiterten Zugriff, und ein Detektor für auffälligen DNS-Verkehr hatte die betroffene Umgebung ausgeklammert. Die Annahme dahinter: „Our safety case assumed that the model could not access the live internet and that monitoring would detect attempts that succeeded.“ Daraus folgt die Pause: „All training, evaluation, and inference with tool-use (defined broadly) of our most capable models remain paused.“
Pachocki hoffte auf freiwillige Pausen, zwei Wochen später begann die zweite#
Chefwissenschaftler Jakub Pachocki schrieb am 6. September auf der Sammelseite zum Hugging-Face-Vorfall: „I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established.“ openai.com ↗ Auf derselben Seite stand der DNS-Vorfall am Morgen des 27. September noch nicht; die jüngsten Einträge datieren vom 25. September. Die Pause seit dem 20. September ist nach den zwei Wochen im Sommer die zweite solche Verlangsamung. Eine europäische Meldepflicht greift für das interne Forschungsmodell nicht, denn Europas KI-Meldepflicht hängt am Marktstart3.
Für das Kundenprodukt verspricht OpenAI in „Path to Astra“ „a system of classifiers which check the model’s reasoning and actions for unauthorized behavior and automatically stop potentially unauthorized activity“; diese Schutzmaßnahmen, so der Text, „resemble our monitoring for internal deployments“. Ob im Forschungslauf vom 20. September dieselbe Technik lief, lässt der Bericht offen, ebenso ein Enddatum der Pause. Das Modell vom 20. September trainiert OpenAI nicht weiter, obwohl das Belohnungssignal das Verhalten bereits bestraft habe; der nächste Lauf beginnt von vorn.
Quellen
- „Pacing model development in an era of cyber-critical capabilities“ openai.com ↗
- „Path to Astra“ openai.com ↗
- An agent used DNS to reach an external chatbot · OpenAI Alignment alignment.openai.com ↗
- „I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established.“ openai.com ↗
Über den Autor
Christopher Helm arbeitet seit 2014 mit maschinellem Lernen. Hier schreibt er privat über KI, Sicherheit im Netz und Medien.
Mehr über den AutorDiesen Blog bei Google als bevorzugte Quelle wählenGoogle zeigt Beiträge dieser Seite dann häufiger unter Top Stories. Die Wahl lässt sich jederzeit zurücknehmen.Presseschau
Worüber deutsche Medien gerade berichten, geordnet nach Ereignis. So sieht man, wer eine Nachricht bringt und wer nicht.
Zur Presseschau