»Dank des Fraunhofer IPA konnten wir im Quick Check einen Überblick über die am Markt verfügbaren KI-Beschleuniger gewinnen, deren Leistungsfähigkeit betrachten und erste Eindrücke bzgl. der Konvertierung von Standard-KI-Modellen auf die Zielhardware gewinnen.«
Achim Machura
Berghof Automation GmbH
Kontakt am KI-Fortschrittszentrum
Christian Jauch
Machine Learning mit Embedded Devices
Ausgangssituation
Die Kunden deutscher Maschinenbauer stehen zunehmend vor dem Problem, dass das Expertenwissen der Maschinenbedienerinnen stetig abnimmt. Fachpersonal wird rar, Anlernkräfte ersetzen daher zunehmend Facharbeiterinnen. KI, insbesondere ML, kann das fehlende Wissen/Erfahrung der Maschinenbediener*innen kompensieren und Einlernzeiten signifikant verkürzen.
Beispiele hierfür wären unter anderem Bäckerei-, Holzbearbeitungs-, und Spritzgussmaschinen, Anlagenbauer im Logistikbereich und viele weitere. In all diesen Maschinen übernimmt in der Regel eine SPS die Steuerungsaufgaben. Der Markt ist sehr preissensibel weshalb ein leistungsfähiger PC mit Grafikkarten für die KI einen Wettbewerbsnachteil darstellt. Berghof Automation GmbH hat mit seiner Steuerungs/IPC- Generation MC/BC-PI eine Raspberry-PI 4 basierende industrielle Steuerung entwickelt, welche sowohl als Echtzeit-CODESYS-Steuerung wie auch als offene IPC-Lösung verwendet wird. EtherCAT als Standard-IO-Bus und eine Vielzahl an direkt
anschließbaren I/O‘s ermöglichen ein breites Einsatzgebiet.
Lösungsidee (QC)
Der Einsatz von KI-Beschleuniger-Chips, welche per PCI Express-Schnittstelle an bestehende Rechner wie den Raspberry Pi angebunden werden können, soll signifikant niedrigere Latenzen und Durchsatzraten für unterschiedlichste KI-Anwendungen ermöglichen. Im Kontext von industriellen SPS und Echtzeitanforderungen wurden diese KI-Beschleuniger-Chips bisher nicht explizit evaluiert, weshalb eine genaue Untersuchung in Bezug auf diese Anforderungen essentiell ist. Daher wird im Rahmen des Quick Checks der Hailo-8 KI-Chip näher untersucht und mit reiner CPU-Ausführung sowie dem Google Coral Edge TPU Chip verglichen.
Umsetzung (QC)
Für die Analyse des Hailo-8 KI-Chips wurde eine Benchmark Software Suite entwickelt, die KI-Chips hinsichtlich relevanter Metriken analysiert. Zu diesen Metriken gehört unter anderem Latenz und Durchsatz der KI-Inferenz sowie die CPU-Last während der Inferenz. Zudem werden dabei mehrere unterschiedliche Modellarchitekturen für die Tests herangezogen. Die Ergebnisse der Evaluation zeigen, dass das Potenzial von KI-Beschleunigern gegenüber reiner CPU-Ausführung enorm ist, insbesondere was die Effizienz betrifft. Die Kompatibilität und die Nutzerfreundlichkeit variiert jedoch von KI-Chip zu KI-Chip.
Lösungsidee (EP)
Die Fähigkeit, mehrere KI-Modelle gleichzeitig ausführen zu können, ist essenziell für den Einsatz von komplexen Bildverarbeitungspipelines. Daher sollten die Kapazitäten des Hailo-8-Chips in Kombination mit dem Raspberry Pi 4 am Beispiel einer mehrstufigen Aktivitätserkennung analysiert werden. Hierbei sollte insbesondere untersucht werden, ob die Ausführungslatenz der Aktivitätserkennung für eine reale Anwendung wie bspw. eine Aktivitäts- oder Gestenerkennung ausreicht. Dafür müssen mehrere KI-Modelle implementiert und für den Hailo-8-Chip optimiert werden.
Umsetzung (EP)
Zur tiefergehenden Evaluation des Hailo-8 KI-Chips wurde eine Aktivitätserkennungs-Pipeline eigesetzt. Diese besteht aus einem Objektdetektor zur Erkennung der Personen, einem Posenschätzer für die Schätzung der Skelettbewegungen und einem abschließenden Aktivitätsklassifikator zur Bestimmung der tatsächlich durchgeführten Aktivität. Die Modelle wurden in PyTorch entwickelt und trainiert. Anschließend wurden sie in das ONNX-Zwischenformat exportiert und abschließend vom Hailo-Converter übersetzt und quantisiert. Durch den Einsatz des Hailo-8 Chips war es möglich, eine rechenintensive Aktivitätserkennung mit hinreichender Latenz auszuführen.
Nutzen
KI-Lösungen bieten ein hohes Innovations- und Kosteneinsparpotential für den Maschinen- und Anlagenbau, jedoch sind diese ohne spezialisierte Hardware nicht effizient einsetzbar auf SPS. Aktuell sind KI-Anwendungen auf SPS noch nicht verbreitet. Beispiele für mögliche KI-Lösungen, die durch SPS mit spezieller KI-Hardware ermöglicht werden könnten:
- Objekterkennung zur Positionserfassung, Raumüberwachung, etc.
- Personen und Getsenerkennung
- Energieeinsparung durch effiziente Ausführung von KI-Modellen
- Maschinenstillstand reduzieren durch Anomalieerkennung/
- Predictive Maintenance, um Ausfälle vorherzusagen
- Selbstoptimierende Temperaturregelungen
- Vorverarbeitung von Maschinendaten um Bandbreite zu übergeordneten Systemen zu sparen
- Anwenderunterstützung mit Expertenwissen, um Facharbeiter*innenmangel zu kompensieren und Einarbeitungszeiten verkürzen
- kollektives Lernen (Maschine A profitiert von Maschine B)