Man muss immer das KI-Gesamtsystem denken

Ein Interview mit André Steimers, Professor an der Hochschule Koblenz und dort Experte für vertrauenswürdige Künstliche Intelligenz

Herr Steimers, welche Rolle spielt KI im Bereich der Anlagensicherheit?

Eine große und überwiegend hilfreiche: KI und maschinelles Lernen können Anlagenbetreiber dabei unterstützen, komplexe  Datenströme zu analysieren, Muster zu erkennen – und eben auch Musterabweichungen.

Risiken erkennen: Meinen Sie Störfälle und Attacken?

Nicht nur diese, sondern auch den Wartungsbedarf. Die Vorhersagemodelle ermöglichen Predictive Maintenance, also  vorausschauende Instandhaltung. Ein informierter Anlagenbetreiber ergreift früh genug Maßnahmen, um Ausfälle zu vermeiden und  so die Verfügbarkeit und Zuverlässigkeit zu steigern. Doch natürlich: Mit der zunehmenden Vernetzung und Digitalisierung industrieller  Anlagen wächst auch die Bedrohung durch ausgefeilte Cyberangriffe. Im Zuge von Industrie 4.0 liefern vernetzte Sensoren in Industrieanlagen Unmengen von Daten. Wenn man diese mit KI-Methoden analysiert, ergeben sich viele fortschrittliche  Überwachungs-, Steuerungs- und Diagnosefunktionen. Die Betreiber können frühzeitig Risiken erkennen, die Effizienz verbessern und  schneller auf Sicherheitsbedrohungen reagieren.

Was tun Unternehmen konkret, um mit KI ihre überwachungsbedürftigen Anlagen sicherer zu machen?

KI-Algorithmen können helfen, Anomalien oder ungewöhnliche Verhaltensweisen in den Anlagen zu erkennen. IBM beispielsweise  setzt in der sogenannten Industrial Security KI-gestützte Lösungen ein, um Angriffe auf industrielle Steuerungssysteme zu bekämpfen.  In der Fertigungsindustrie verwendet Siemens KI-basierte Bildverarbeitungssysteme für die visuelle Inspektion von  Produktionsanlagen, um früh Defekte festzustellen. Auch BASF nutzt KI, um Betriebsprozesse in Chemieanlagen zu optimieren und die Sicherheit zu verbessern.

Wie unterstützen Dienstleister auf diesem Feld?

Der TÜV SÜD bietet etwa mit dem Asset Monitoring Artifical Intelligence Support – kurz AMAIS – eine KI-Lösung für die sensorgestützte  Überwachung von Anlagenzuständen. Mit solchen Innovationen lassen sich zum Beispiel in der chemischen Industrie auch kritische Bereiche permanent prüfen, die schwer zugänglich sind. Wie verändern sich Wandstärken durch Korrosion und Erosion? Wie entwickelt  sich ein Riss? Dem Betreiber werden alle Informationen und Handlungsoptionen auf einem Dashboard angezeigt, bei Überschreiten  definierter Schwellenwerte löst das System Alarm aus. Weil die KI auch Zusammenhänge erkennt, kann sie Hinweise zu einer angepassten Prozessführung liefern. Das sind schon große Vorteile. All das macht ein Anlagenbetreiber aus eigenem Interesse.

Hat ein externer Prüfer noch weitere KI-Tools in seinem Instrumentenkasten?

Wenn ein Prüfer eine Kamera an eine Drohne hängt und Bilder auswertet,  kann er natürlich auch KI einsetzen, um kleine Dinge  aufzuspüren, die das menschliche Auge nicht sieht. Auch autonome Roboter könnte man mit Kamerasystemen und Sensoren herumfahren lassen. Solche kleinen KI-Helferlein könnten durchaus von Vorteil sein. Aber die Experten der Zugelassenen  Überwachungsstellen, der ZÜS, laufen ja nicht nur vor Ort durch die Anlagen. Sie müssen sich auch durch einen Wust von Dokumenten arbeiten, die Anlagenbetreiber auf unterschiedlichste Art aufbereiten. Hier kann KI per Wissensmanagement und unter Einsatz von  Large Language Models sehr helfen, auf die relevanten Stellen zu stoßen.

Ein ChatGPT, um Vorschriften aufzubereiten und mögliche Gefährdungen zu identifizieren?

Könnte man so nennen. Es gibt das vielversprechende Forschungsprojekt MetA-HAZOP des Center of Safety Excellence, CSE, das all  diejenigen mit KI unterstützen will, die technische Risikoanalysen anfertigen müssen. Bisher sitzen interdisziplinäre Teams mehrere  Monate an dieser hochkomplexen Aufgabe. Im Projekt werden nun existierende HAZOP-Studien – das steht für Hazard and Operability,  also Gefährdung und Betriebsfähigkeit – herangezogen, um automatisiert neue Tabellen für neue Anlagen vorzuschlagen. So will man  die Risikoanalyse beschleunigen und objektivieren.

Über KI spricht man seit 50 Jahren. Woher rührt die Tempoverschärfung?

Der KI-Hype der letzten Jahre betrifft vor allem Deep Learning, also eine Unterkategorie des maschinellen Lernens, die sich mit tiefen  neuronalen Netzen beschäftigt. Drei Faktoren haben die Fortschritte beschleunigt: Heute verfügt man erstens über die nötige  Rechenleistung, um solch komplexe Modelle zu trainieren. Zweitens sammeln unzählige Sensoren an Produktionsanlagen genügend  Daten. Und drittens teilt die Wissenschaftscommunity heute Software stärker mit anderen. Dank des kollaborativen Open-Source- Ansatzes lassen sich fertig programmierte Netze nutzen und zeitsparend auf spezifische Aufgaben weiter trainieren.

Der Durchbruch erfolgt rasant, niemand will zurückstehen – sehen Sie auch Risiken?

Der Vorteil tiefer neuronaler Netze ist zugleich ihr Nachteil: ihre unglaubliche Komplexität. Bei Hunderten Millionen Parametern haben  Sie keine Chance mehr, zu verstehen, welche Verknüpfungen wirklich ablaufen. Das Problem der Erklärbarkeit, die sogenannte  Explainability, bereitet massive Schwierigkeiten bei der Prüfbarkeit. Man sollte sich mitunter fragen, ob man nicht besser auf eine  andere Methode des maschinellen Lernens setzt, etwa Entscheidungsbäume, die Decision Trees. Die haben dieses  Erklärbarkeitsproblem nicht.

Man sollte den Fortschritt nicht unbedingt voll ausreizen?

Genau. Mein wichtigster Grundsatz:Wenn man etwas mit einer klassischen Technologie machen kann, sollte man es damit auch machen.  KI sollte man erst dann einsetzen, wenn die Aufgabe so komplex ist, dass man mit dem klassischen Verfahren nicht mehr  weiterkommt. Das wird heute oft übersehen, weil eben tiefe neuronale Netze der Hype sind.

Wie funktioniert die bewährte Alternative?

Entscheidungsbäume, als altbekanntes Verfahren des maschinellen Lernens, liefern in vielen Bereichen noch immer sehr gute  Ergebnisse, die vor allem für einen Menschen wunderbar nachvollziehbar sind. Etwa bei Kesselabschaltungen: Stufe für Stufe kann man  definieren, was unter welchen Bedingungen zu tun ist – mit Parametern wie Druck, Temperatur oder Vibration. Das lässt sich  beliebig tief gestalten – und überprüfen. Würde in diesem Baum die Schuhgröße des Prüfingenieurs als Entscheidungskriterium stehen,  also totaler Unsinn, kann man es relativ einfach rausschmeißen. Bei tiefen neuronalen Netzen hat man hingegen kaum eine Chance mehr, das herauszubekommen. Höchstens über exzessive Testungen.

Was bedeutet das für die Denkweise in der Anlagensicherheit?

Wir müssen bei KI immer sehr viele  Versuche durchführen, um genau die Grenzen des Systems auszuloten. Es geht nicht darum, zu  beweisen, dass es funktioniert. Sondern eher herauszubekommen, wo es gerade nicht mehr funktioniert.

Ist menschliches Vorstellungsvermögen  nötig, um diese Negativfälle zu antizipieren?

Absolut. Diese Kreativität ist schon beim  Zusammenstellen der Datensätze nötig. Dann aber auch auf der Prüferseite. Der Prüfer muss sich die gleichen Gedanken machen, was  im Detail zu Schwierigkeiten führen kann.Bei kameragestützten Systemen ist es oft der  fehlende Kontrast – was im Fall von selbstfahrenden Autos schon mehrfach tödlich endete und noch nicht im Griff ist.

Was lehrt uns das für Anlagensicherheit und den dortigen Umgang mit KI?

Es zeigt uns, dass man immer das KI-Gesamtsystem denken muss, inklusive der Hardwareprobleme, zum Beispiel bei Kameras. Im KI- Bereich hat man überwiegend mit programmieraffinen Informatikern zu tun. Die denken nicht unbedingt so weit, dass die Hardware ein  Problem haben könnte. Doch falls das so ist, kann unser KI-Modell so gut sein, wie es will…

Ganz simpel gefragt: Kann man Künstlicher Intelligenz vertrauen?

Die lange Antwort hätte Schnittmengen zur Philosophie. Die EU-Kommission identifiziert jedenfalls drei wesentliche Elemente für eine vertrauenswürdige KI: Sie muss rechtmäßig sein, ethisch und robust. Gerade beim Punkt Ethik sollten wir uns verstärkt Gedanken  machen über Kontrollfragen: Wie automatisiert soll ein System überhaupt sein? Bei bestimmten Anwendungen will man einfach, dass  der Mensch eingreifen kann oder Entscheidungen am Ende freigeben muss.

Zum Beispiel?

Nehmen Sie Personalentscheidungen, bei denen Diskriminierungsfreiheit geboten ist. Vielleicht ist es da schön, wenn eine  assistierende KI mal Empfehlungen ausspricht. Aber im Grunde braucht es keinen hohen Automatisierungsgrad und viele Beispiele belegen die Gefahr: Denn wenn die historischen Trainingsdaten auf Vorurteilen beruhen, wird Diskriminierung reproduziert.

Bei der Anlagensicherheit geht es ja nicht um Recruiting, sondern um Druckkessel und Aufzüge. Dürfen wir dort KI etwas sorgloser  einsetzen?

So einfach ist es nicht. Auch bei Anlagensicherheitkann Diskriminierungsfreiheit schnell relevant werden – etwa beim Einsatz von  Kamerasystemen in Schutzzonen, die niemand betreten soll. Das berührt neben Fairness- Fragen zugleich die Zuverlässigkeit, wenn  Trainingsdaten vor allem auf weißen Männern beruhen. Reden wir über die Maschinenüberwachung mit Sensoren, ist das tatsächlich weniger relevant.

Also ist es vor allem ein Problem der Arbeitssicherheit?

Ja. Ein konkretes Beispiel betrifft einen Hersteller von Formatkreissägen für Schreinereibetriebe. Bei dieser Arbeit muss man ein Werkstück durch das Sägeblatt schieben  – Lichtschranken bringen zum Schutz wenig. Ein Hersteller hatte die Idee, mit Deep-Learning-Modellen Hände zu erkennen und ihre Bewegungspfade vorherzusagen. Ein Ausrutschen würde blitzschnell das Sägeblatt stillsetzen.  Das KI-gestützte Assistenzsystem erhöht die Sicherheit. Aber auch hier: Was ist mit tätowierten Händen? Oder solchen, die schon nicht  mehr über fünf Finger verfügen? Es besteht bei KI immer die Gefahr, dass sie die seltenen Fälle übersieht.