Transparenz von Neuronalen Netzen für Schüttgutförderung

Formale Verifikation des Ausgabenbereichs tiefer Neuronaler Netze im Produktionsumfeld

Ausgangssituation

Schüttgutförderanlagen wurden in der Vergangenheit manuell geregelt und je nach Material separat konfiguriert. AZO hat in diesem Kontext ein neuronales Netz trainiert, das die Regelung der Schüttgutförderanlage übernehmen soll und zu einem optimalen Materialfluss führt. Momentan werden für die Regelung der Förderanlage noch zu viele Sensoren verwendet. Außerdem ist nicht ganz klar, wie sich das Netz verhält, wenn die Sensoren Verschleißerscheinungen zeigen, da diese nicht in den Trainingsdaten abgebildet sind.

Lösungsidee 

Um Ein- und Ausgaberaum des Neuronalen Netzes zu untersuchen, können Methoden der formalen und der statistischen Verifikation verwendet werden. Bei der formalen Verifikation werden Algorithmen verwendet, die mathematisch eindeutig beweisen oder widerlegen können, dass eine bestimmte Relation zwischen Ein- und Ausgabe erfüllt ist. Somit können Robustheit oder das Einhalten von Sicherheitsbereichen für das Netz untersucht werden. Dies geht einher mit einem erhöhten Rechenaufwand. Die statistische Verifikation kann im Gegenzug keine absoluten Aussagen treffen, kommt aber meist mit viel weniger Rechenaufwand aus. Hier werden künstlich Datenpunkte erzeugt, mit deren Hilfe ebenfalls Aussagen über Ein- und Ausgabebereich des Neuronalen Netzes getroffen werden können, die allerdings statistischer Art sind.

© Fraunhofer IPA

Nutzen

Wird ein Neuronales Netz in sicherheitskritischen Bereichen eingesetzt, so ist eine genaue Betrachtung des Wertebereichs vonnöten, den das Netz potenziell erreichen kann. Im Realbetrieb können Daten von den ursprünglichen Trainingsdaten abweichen, wodurch a priori zunächst keine Aussagen über Stabilität und Robustheit des Netzes getroffen werden können. Mithilfe formaler und statistischer Verifikationsverfahren kann ein KI-System über die Betrachtung der Genauigkeit hinaus auf sicherheitskritische Aspekte untersucht werden, um dieses im praktischen Betrieb einsetzen zu können.

Umsetzung der KI-Applikation

Zunächst erfolgte eine formale Verifikation für einen bestimmten Ausgabebereich. Da der Eingaberaum 18 Sensoreingaben umfasst, besteht eine potenziell recht große Vielfalt in den Datenpunkten. Dies wirkt sich negativ auf die formale Verifikation aus. Ein streng begrenzter Eingaberaum kann nur schwer festgelegt werden und die Verifikation dauert in diesem Fall sehr lange. Hinzu kommt, dass Algorithmen der formalen Verifikation momentan lediglich für klassische Neuronale Netze funktionieren und keine rekurrenten Schichten oder Ähnliches unterstützen. Wesentlich geeigneter für die vorliegende Problemstellung sind Methoden der statistischen Verifikation. Die Trainingsdatenverteilung wird zunächst mit einer multivariaten Gaußverteilung approximiert. Darauf aufbauend kann dann der Einfluss oder der Defekt unterschiedlicher Sensoren untersucht werden. Untersucht wurden unter anderem verstärktes Sensorrauschen, wie es im Verschleißfall auftreten kann, sowie ein kompletter Sensorausfall. Anhand der Ergebnisse konnten im Folgeschritt wichtige und unwichtige Sensoren identifiziert werden. Darauf aufbauend können in Zukunft Strategien abgeleitet werden, bei denen ein Sensordefekt kompensiert werden kann. Für die meisten Sensoren konnte jedoch mit einem konstanten Sensormittelwert eine stabile Förderung gewährleistet werden.

Transparenz von Neuronalen Netzen für Schüttgutförderung

Ausgangssituation

Anlagen zur Schüttgutförderung müssen je nach Förderungsmaterial speziell konfiguriert werden, um eine optimale Fördermenge zu garantieren. Je nach Umgebungsparametern, wie Luftfeuchtigkeit und Temperatur sowie Schwankungen in der Materialbeschaffenheit ist die Konfiguration der passenden Parameter für die Anlage keine einfache Aufgabe. Selbst ein Mitarbeiter mit Domänenwissen kann meist keine optimale Parameterkonfiguration finden. Die Firma AZO hat zu diesem Zweck ein Neuronales Netz trainiert, welches unter Beachtung äußerer Sensoreingaben eine Regelung der Schüttgutförderanlage vornimmt. Die Ausgaben des Netzes sind jedoch aufgrund des Black-Box-Charakters Neuronaler Netze für den Menschen nicht erklärbar oder nachvollziehbar.

Lösungsidee 

Das Forschungsfeld Explainable AI (xAI) erlangt in letzter Zeit immer größeres Interesse. In diesem Gebiet werden Methoden und Algorithmen untersucht, die versuchen, Machine-Learning-Modelle transparent und erklärbar zu machen. Beispielsweise geben Feature-Attribution-Methoden für eine Entscheidung des Neuronalen Netzes den Einfluss der zugehörigen Eingabedaten an. Damit kann dann im Kontext der Schüttgutförderanlage die Wichtigkeit der einzelnen Sensoren bestimmt und eventuell reduziert werden. Zwei Methoden, die sich dafür besonders eignen, sind die Algorithmen LIME und SHAP. Diese werden im Verlauf des Quick Checks auf ihre Möglichkeiten untersucht, das Neuronale Netz zur Schüttgutförderung zu erklären.

© Fraunhofer IPA

Nutzen

Der Nutzen von xAI im produzierenden Umfeld besteht in der Schaffung von Transparenz und Vertrauen gegenüber den Menschen. Oft besteht bei der Nutzung von KI in der Praxis noch eine gewisse Unsicherheit oder Misstrauen gegenüber der neuen Technologie. Mit transparenten, nachvollziehbaren Entscheidungen kann dieses Misstrauen stückweise aufgelöst werden. Außerdem können beispielsweise Fehler aufgedeckt werden, die das Netz enthält, die aber nur in Ausnahmesituationen zum Tragen kommen. Die im Quick Check erarbeiteten Ergebnisse lassen sich auf Machine-Learning-Verfahren übertragen, die in den unterschiedlichsten Bereichen eingesetzt werden.

Umsetzung der KI-Applikation

Die Umsetzung erfolgte mit unterschiedlichen Datensätzen der Firma AZO. Die beiden Verfahren SHAP und LIME wurden auf Gemeinsamkeiten und Unterschiede bei der Erklärung des Neuronalen Netzes untersucht. Dabei stand vor allem die Gewichtung der Eingabesensorik im Fokus. Die Ergebnisse, die die beiden xAI-Verfahren liefern, sind sehr ähnlich und können von einem Mitarbeiter nachvollzogen werden, der Wissen über die Schüttgutförderanlage besitzt. Die Verfahren eignen sich daher gut, um sie für Machine-Learning-Modelle dieser Art einzusetzen.