Knorr-Bremse Systeme für Nutzfahr- zeuge
Kontakt am KI-Fortschrittszentrum
Andreas Frommknecht
Adaption eines großen trainierten Modells für neue Sensor- und Label-Daten
Ausgangssituation
Ein neuronales Netz (NN) spielt die Rolle eines fortschrittlichen Steuersystems, indem es sichere Fahrtrajektorien für ein fahrendes Fahrzeug vorhersagt und reguliert. Ein gutes NN-Modell wird oft mit einer Vielzahl von verschiedenen Sensoren stammenden Daten trainiert, z. B. von Kameras und GPS-Messsensoren. Eine der Schwierigkeiten besteht darin, verschiedene Sensoren für jeden Datenerfassungsprozess zu kalibrieren, wobei zu berücksichtigen ist, dass die Kamera immer an exakt derselben Position und mit externen Parametern (Richtung, Standort) platziert wird. Motiviert durch das quelloffene autonome Fahrsystem »Openpilot« von CommaAI wird das präzise autonome Fahren im Anwendungsfall eines LKWs in Angriff genommen. Dies geschieht durch die Anpassung des bereits end-to-end trainierten neuronalen Netzes von openpilot namens »Supercombo«. Dieses Modell wurde beim Fahren eines Autos trainiert, hier für das Fahren eines LKWs modifiziert. Unterschiede zwischen Auto und LKW sind z. B., dass die Kamera in einem LKW höher angebracht ist als in einem Auto. Außerdem ist die Dynamik der Sensorbewegung aufgrund der Befestigung an der Fahrerkabine anders, da die Kabine in der Regel stärkere Nickbewegungen aufweist. Grundlegende Fragen sind, wie gute Modelle, die für einen Pkw trainiert wurden, auf einen Lkw übertragbar und welche Maßnahmen für eine solche Anpassung notwendig sind.
Lösungsidee
Nach dem Prinzip des »Fine-Tuning« werden kleine Mengen neuer Daten, GPS-Messungen, verwendet. Daraus ergibt sich die tatsächlich über die Zeit gefahrene Position des LKWs. Diese wird in das lokale Koordinatensystem von x und y Trajektorien des Lkw umgerechnet. Die trainierten Modellparameter von Supercombo im Pkw-Bereich werden als Ausgangsmodellparameter für den Lkw-Bereich verwendet. Wenn man mit dem Training der Lkw-Domäne und trainierten Modellparametern aus der Pkw-Domäne beginnt, können die Low-Level-Merkmale für dieselbe Aufgabe in die Lkw-Domäne übertragen werden. So wird eine neue Trainingsfunktion für die Lkw-Domäne entwickelt. Ein wichtiger Schritt der Trainingsfunktion ist, dass lediglich die Trajektorien-Hypothese über die zukünftige Bewegung mit der kleinsten Abweichung zu den GPS-Mess-Trajektorien im nächsten Trainingsschritt zur Parameteroptimierung verwendet werden. Am Ende wird eine aussagekräftige Bewertungsmethode entwickelt.
Nutzen
Dieses Projekt bewies den Erfolg der Anpassung eines trainierten Modells an eine etwas andere Domäne nur mit einem kleinen partiellen Trainingsdatensatz (10 Minuten Fahrzeit als Trainingsdatensatz) für den Anwendungsfall des autonomen Fahrens. Die Supercombo-Architektur, die in Tensorflow 1 geschriebene Trainingsfunktion und die fein abgestimmten Modellparameter sind bereit für die neuen Anwendungsfälle des autonomen Fahrens. Die Anwendung dieser Modelle auf Lastkraftwagen würde einen großen Beitrag zur Kosten- und Aufwandsersparnis bei der Entwicklung von autonom fahrenden Lastkraftwagen leisten, da solche Systeme in kürzerer Zeit entwickelt und eingesetzt werden können. Dies reduziert unter anderem die Notwendigkeit, zusätzliche Strecken mit Lkw zu fahren, um riesige Trainingsdatensätze zu generieren, und ermöglicht das Training unserer eigenen Modelle auf der Basis eines vortrainierten neuronalen Netzes.
Umsetzung der KI-Applikation
In diesem Projekt wird die „Fine-Tuning“ als grundlegender KI- Ansatz verwendet, um das trainierte Supercombo onnx-Modell von CommAI an den LKW-Bereich anzupassen. Technisch gesehen ist die Trainingsfunktion für die Feinabstimmung in Tensorflow 1 geschrieben. Die Architektur verwendet ein gemeinsames Backbone, das sich in mehrere Fahrspur- und Wegvorhersagen aufteilt. Die Netzwerkschichten haben viele Sprungverbindungen mit dimensionaler Kodierung und GRU- ähnlichen Schichten zur Modellierung von Zeitreihendaten.