Anomalieerkennung spart Fehlerdaten, kostet aber Prüfzeit

Das Wichtigste in Kürze

• Ein Modell, das nur den Normalzustand kennt, meldet auch die neue Charge und den gewechselten Lieferanten.
• Für Leitwarten gilt als Richtwert höchstens ein Alarm je zehn Minuten im Normalbetrieb.
• Ein Landesamt befragte 2012 und 2013 sechzehn Betriebsbereiche und bekam auf die Frage nach der Zahl ihrer Alarme häufig keine Angabe.
• Im Mammographie-Screening bestätigt sich der Verdacht bei 14,9 Prozent der Frauen, die zur Abklärung einbestellt werden.

Wenn in einer Fertigung eine Anomalieerkennung anschlägt, geht ein Mensch zur Anlage, nimmt das Bauteil heraus, misst es, hält das Maß gegen die Zeichnungstoleranz, entscheidet, quittiert die Meldung und dokumentiert das Ergebnis, alles im Takt. Die Meldung sagt nur, dass dieser Signalverlauf nicht zu den gelernten passt.

Für die Anomalieerkennung sieht die neue Charge aus wie ein Lagerschaden#

Ein Modell, das an vier Wochen unauffälliger Produktion gelernt hat, kennt den Normalzustand dieser vier Wochen. Läuft danach eine Charge Stahl mit etwas höherer Härte an, ändert sich die Kraftkurve der Presse, und die Meldung kommt. Sie kommt genauso, wenn ein Schneidwerkzeug seinem Standzeitende zugeht oder ein Lieferant das Schmiermittel wechselt. Das Modell hat nie einen Fehler gesehen, nur Normales; es kann Abweichung und Ursache nicht trennen, weil in seinen Trainingsdaten keine Ursache steht. In Beschreibungen solcher Verfahren verschmelzen „Abweichung“ und „Fehler“ regelmäßig zu einem Wort, und wer den Unterschied entscheidet, steht dort nicht.

Ein Landesamt fragte 16 Betriebsbereiche nach der Zahl ihrer Alarme#

Das Arbeitsblatt 27 des Landesamtes für Natur, Umwelt und Verbraucherschutz Nordrhein-Westfalen lanuk.nrw.de ↗ gibt die Richtwerte des NAMUR-Arbeitsblattes NA 102 wieder: „Maximal ein Alarm innerhalb von 10 Minuten im Normalbetrieb“, „Maximal zehn Alarme innerhalb von 10 Minuten im Störungsfall“. Sechs Meldungen je Stunde und Bedienperson, mehr ist im ruhigen Betrieb nicht vorgesehen. Dasselbe Blatt nennt die Bedingung, unter der eine Meldung überhaupt als Alarm zählt: „Relevanz: Das Ereignis, das zum Alarm führt muss sicher eingetreten sein.“ Eine gelernte Abweichungsmeldung erfüllt dieses Kriterium konstruktionsbedingt nie; ob ein Ereignis eingetreten ist, steht erst nach der Prüfung fest.

Der Leitfaden entstand aus einer Vor-Ort-Befragung von 16 Betriebsbereichen in Nordrhein-Westfalen zwischen dem 25. September 2012 und dem 29. Mai 2013, 15 davon mit erweiterten Pflichten nach § 16 der 12. BImSchV. 13 der 16 bestätigten Fehlalarme, zwei nannten sie selten, einer verneinte. Auf die Frage nach der Menge kam die Auskunft, dass ständig Alarme und Fehlalarme auftreten, „aber eine Anzahl häufig nicht genannt werden konnte“. An der Reaktion lag es nicht: „Dass Alarme durch das Leitwartenpersonal ignoriert werden, verneinten die Betreiber.“ Welchen Anteil der Betriebsbereiche des Landes diese 16 ausmachen, ließ sich aus keiner abrufbaren Behördenseite gewinnen; deshalb steht hier kein Prozentsatz.

Die britische Health and Safety Executive hält in ihrem Informationsblatt zum Alarmmanagement fest, was in den letzten elf Minuten vor der Explosion einer Raffinerie auflief: 275 Alarme, die zwei Operateure erkennen, quittieren und bearbeiten mussten. Das sind 25 pro Minute für zwei Personen.

Wie oft eine Meldung überhaupt entsteht, entscheidet die gesetzte Schwelle. Das NIST/SEMATECH-Handbuch zur Prozesskontrolle rechnet vor, dass eine Drei-Sigma-Regelkarte im ungestörten Prozess alle 371 Punkte einen Fehlalarm auslöst, die empfindlicheren WECO-Regeln dagegen alle 91,75 Punkte, dafür aber kleine Verschiebungen früher finden. Die Wahl überlässt das Handbuch ausdrücklich dem Anwender: „The user has to decide whether this price is worth paying.“ In der Fertigung heißt der Preis Stillstand gegen Ausschuss: Eine enge Schwelle hält die Linie öfter an und fängt mehr schlechte Teile ab, eine weite lässt beides laufen.

Wyk auf Föhr berechnet 300 Euro für den Fehlalarm einer Brandmeldeanlage#

Die Feuerwehrgebührensatzung der Stadt Wyk auf Föhr¹ setzt fest: „Bei Fehlalarm einer Brandmeldeanlage beträgt die Gebühr 300,00 Euro.“ Die Muster-Kostenersatzsatzung der Landesfeuerwehrschule Baden-Württemberg, ein Empfehlungstext für Gemeinden und kein geltendes Recht, rechnet denselben Einsatz dem Betreiber der Anlage zu, ohne Verschuldenselement, und zählt zu den erfassten Ursachen die „diagnostische Schwäche bei Alarmierung ohne Vorliegen von Hitze und Rauch“. Technikoffen erstreckt sie die Regel auf „derartige oder vergleichbare technische Systeme, die mit Risiken der Fehlalarmierung behaftet sind“.

Die Fehlmeldung eines gelernten Modells hat keinen solchen Adressaten. Sie kostet Zeit statt einer Gebühr, und die Zeit fällt in der Schicht an, die keine Rechnung schreibt. Beziffert wird meist die Ersparnis vor der Einführung, nicht der Aufwand danach; dass eine Zahl über Meldungen je Schicht fehlt, ist dabei ein Verdacht und kein Beweis. Harmlose Gründe gibt es genug: ein Betriebsgeheimnis, das Format des Textes, oder schlicht, dass niemand mitzählt. Die 16 befragten Betriebsbereiche zeigen, dass der letzte vorkommt.

Der Versuch, die Prüfzeit über amtliche Stundensätze in Euro umzurechnen, ist an der Beschaffung gescheitert: Die einschlägigen Sätze für Feuerwehreinsätze in Baden-Württemberg stehen in einer Landesrechtsdatenbank, die maschinelle Abrufe für jede Kennung sperrt. Die KI-Verordnung ordnet menschliche Aufsicht an, ohne eine Größe für deren Wirkung zu nennen². Wie viel Zeit ein Mensch für eine Meldung hat, beziffert keine der beiden Regelungen.

Knapp jeder siebte Verdacht bestätigt sich im Mammographie-Screening#

Im Jahresbericht Evaluation 2022 g-ba.de ↗ des Mammographie-Screenings stehen 3,6 Prozent falsch-positive Befunde, 6,2 entdeckte Karzinome je 1.000 untersuchte Frauen und ein positiv prädiktiver Wert der Abklärungsdiagnostik von 14,9 Prozent. Auf sieben Einbestellungen zur Abklärung kommt gut ein bestätigter Befund, und diese Rechnung steht im Bericht selbst.

Ohne diese zweite Zahl sagt eine Erkennungsrate über den Nutzen nichts, und sie misst noch weniger: nicht die Fehlalarmrate im Dauerbetrieb, nicht die Minuten je Prüfung, nicht die Quittierungsquote, nicht die Zahl der Meldungen, die jemand stummgeschaltet hat. Gezählt hat das eine Klinik: Auf fünf Intensivstationen liefen in 31 Tagen 2.558.760 Alarme³ auf, 187 hörbare je belegtem Bett und Tag, also rund acht in der Stunde, und 88,8 Prozent der annotierten Arrhythmie-Alarme waren falsch. Dass 85 bis 99 Prozent aller klinischen Alarmsignale falsch seien, steht in vielen Fachtexten; ihre Ausgangspublikation ist nicht frei einsehbar.

In den gängigen Testdatensätzen der Anomalieerkennung besteht teils mehr als die Hälfte der Testdaten aus zusammenhängend markierten Anomalien⁴, obwohl die Ereignisrate im Betrieb kaum über null liegt. Unter dem verbreiteten Auswerteprotokoll Point Adjustment erreicht schon ein zufällig gewürfelter Anomaliewert den Stand der Technik. Wie weit Labor und Feld auseinanderliegen, zeigt auch der Fall eines KI-Detektors, der im Labor praktisch nie irrt und bei TOEFL-Aufsätzen 61 Prozent Fehlalarm produziert⁵.

Das ernsthafte Gegenmodell heißt Rückmeldung: Jede geprüfte Meldung wird mit ihrem Ergebnis erfasst, bestätigt oder verworfen. Der Weg kostet ein ausgefülltes Feld je Meldung, eine Stelle, die auswertet, und die Disziplin, das auch dann zu tun, wenn die Meldung folgenlos bleibt.

Für die Brandmeldeanlage steht ein Betrag in einer Satzung, für die Leitwarte ein Richtwert von sechs Meldungen je Stunde, für die Abklärung im Screening ein bestätigter Befund je sieben Einbestellungen. Wer eine Anomalieerkennung in Betrieb nimmt, hat für die eigene Anlage keine davon. Sie entstehen erst, wenn jemand die Meldungen einer Schicht zählt und das Ergebnis jeder Prüfung festhält. Wer das tut, hat am Ende genau den Fehlerdatensatz, dessen Fehlen der Grund war, ein Modell allein auf dem Normalzustand zu trainieren.

Belege: Alarm-Richtwerte, Relevanzkriterium und Befragungsergebnisse aus dem Arbeitsblatt 27 „Leitfaden Alarmmanagement“, Landesamt für Natur, Umwelt und Verbraucherschutz Nordrhein-Westfalen, Recklinghausen 2015 (lanuk.nrw.de). Die 275 Alarme in elf Minuten aus dem Chemicals Information Sheet No. 6 der Health and Safety Executive (hse.gov.uk). Die Fehlalarmabstände 371 und 91,75 aus dem NIST/SEMATECH e-Handbook, Abschnitt 6.3.2 (itl.nist.gov). Die 300,00 Euro aus der Feuerwehrgebührensatzung der Stadt Wyk auf Föhr vom 13. Mai 2011, § 6 Abs. 4 (amtfa.de), die Zurechnungsregel ohne Verschuldenselement aus der Muster-Feuerwehr-Kostenersatz-Satzung der Landesfeuerwehrschule Baden-Württemberg, § 3 Abs. 1 Nr. 6. Die Screening-Zahlen aus dem Jahresbericht Evaluation 2022 der Kooperationsgemeinschaft Mammographie, veröffentlicht beim Gemeinsamen Bundesausschuss (G-BA). Die Alarmzahlen der Intensivstationen aus Drew et al., PLoS ONE 9(10):e110274 (2014, doi.org); die 88,8 Prozent beziehen sich auf die 12.671 annotierten Arrhythmie-Alarme. Die Benchmark-Kritik aus Wu und Keogh (arXiv:2009.13807), Kim et al. (arXiv:2109.05257) sowie Saito und Rehmsmeier, PLoS ONE 10(3):e0118432.