Eisenbahn-Multimodal-LiDAR und 2D-Annotation
Wie Shaip eines der annotationsartenreichsten Projekte im Bereich der Eisenbahn-KI realisierte – die Kombination von 2D-Kamerabildern und 3D-LiDAR-Punktwolken über mehr als 39 Objektklassen und 8 verschiedene Labeltypen hinweg, um autonome Zugwahrnehmungs- und Eisenbahnsicherheitssysteme zu ermöglichen.
Projektübersicht
Da die autonome Zugwahrnehmung in Richtung Serieneinsatz geht, benötigte der Kunde eine groß angelegte, multimodale Annotationspipeline, die in der Lage ist, die gesamte Bahnumgebung sowohl anhand von 2D-Kamerabildern als auch von 3D-LiDAR-Punktwolkendaten mit gleichbleibender räumlicher Genauigkeit zu kennzeichnen.
Shaip entwickelte die durchgängige multimodale Annotationspipeline, die 8 verschiedene Labeltypen, mehr als 39 Objektklassen und mehr als 25 Signalzustandsklassifizierungen in den H/V- und Ks-Signalsystemen abdeckt – und liefert so kreuzvalidierte, modellfertige Datensätze für die Autonomie und Sicherheit im Eisenbahnwesen mittels KI.
Schlüsselstatus
Objektklassen
39+
Anmerkungstypen
8
Signalzustände
25+
Modalitäten
2D + 3D
Challenges
- Handhabung 2D + 3D multimodale Annotation mit kreuzvalidierter räumlicher Konsistenz
- Kommentieren Mehr als 39 Objektklassen die sich auf Menschen, Fahrzeuge, Infrastruktur, Tiere und Sicherheitseinrichtungen erstrecken.
- Quer operieren 8 Annotationstypen — 2D/3D-Begrenzungsrahmen, Quader, Polylinien, Polygone
- Klassifizierung Mehr als 25 verschiedene Signalzustände über die deutschen Hoch- und Hochspannungs- sowie K-Signalsysteme
- Anwendung Logik der Menschenmengenschwelle und durchgehende Gleisannotation unter Waggonobjekten
Lösung
Multimodale Annotationspipeline
Shaip konfigurierte eine parallele Pipeline zur Annotation von 2D-Kamera- und 3D-LiDAR-Daten mit Kreuzvalidierung zwischen den Modalitäten. Die Annotatoren arbeiteten gleichzeitig mit beiden Datenquellen, um räumliche Konsistenz zu gewährleisten, wobei Verdeckungszustände ausschließlich anhand von Punktwolkendaten und nicht anhand von 2D-Bildern bewertet wurden.
39+ Klassenontologie
Die Annotationsontologie umfasste Personen (mit Altersgruppe, Mobilitätshilfe, funktioneller Rolle, Körperhaltung, mitgeführten Gegenständen und Ablenkungsattributen), Fahrzeuge (Fahrräder, Motorräder, Straßenfahrzeuge nach Unterkategorie), 18 Tierarten sowie die Eisenbahninfrastruktur einschließlich Gleise, Weichen, Oberleitungsmasten, Signale, Prellböcke, Signalbrücken, Schleppschuhe und reflektierende Testobjekte.
Signalzustandsklassifizierung
Die Signale wurden anhand detaillierter Aspektklassifizierungen der H/V- und Ks-Signalsysteme annotiert, wobei über 25 verschiedene Signalzustände erfasst wurden. Die Annotatoren identifizierten die exakten Signalaspekte sowohl aus der Vorder- als auch aus der Rückansicht und unterschieden dabei zwischen Licht- und Formsignalen in verschiedenen deutschen Eisenbahnsignalsystemen.
Schwellenwert für Menschenmengen und Gruppenlogik
Für die Annotation von Menschenmengen war ein Mindestschwellenwert von sechs sich überlappenden Personen erforderlich, bevor von der Einzel- zur Gruppenannotation gewechselt wurde. Gruppen von Fahrrädern und Tiergruppen folgten der gleichen Schwellenwertlogik mit einheitlichen Regeln für Pose und Art innerhalb der Gruppen. Dies gewährleistete eine effiziente Annotation von Szenen mit hoher Personendichte, ohne dabei Details zu verlieren.
Kontinuierliche Gleisannotation
Die Gleise wurden lückenlos annotiert, selbst unterhalb von Zug- oder Waggonobjekten, wobei Weichenbereiche und Prellböcke präzise erfasst wurden. Diese durchgehende Ebene ist unerlässlich für nachgelagerte Modelle zur Gleisplanung und Hinderniserkennung.
Projektumfang
| Datensatztyp | Modalitäten | Klassen | Etikettentypen | Signalzustände | Systeme und Techniken |
|---|---|---|---|---|---|
| Wahrnehmung der Bahnumgebung | 2D + 3D LiDAR | 39+ | 8 (Quader, Quader, Polylinien, Polygone) | 25+ | H/V, Ks |
Ergebnisse:
- Gegründet a Multimodale 2D + 3D LiDAR-Annotationspipeline für autonome Zugwahrnehmung
- Standardisiert Ontologie von über 39 Objektklassen die Menschen, Fahrzeuge, Tiere und die Schieneninfrastruktur umfasst.
- Erfolgreicher Abschluss von Mehr als 25 Signalzustandsklassifizierungen über H/V- und Ks-Signalsysteme hinweg
- Umgesetzt Logik der Menschenmengenschwelle und durchgehende Gleismarkierung unterhalb der Waggons
- Die Client-Einstellungen wurden aktiviert. Autonomes Zugfahren, Sicherheit und Hinderniserkennung KI Fahrplan
Insgesamt trug Shaip dazu bei, eine multimodale Anforderung an die Wahrnehmung von Schienenverkehr in eine strukturierte, produktionsreife Annotationspipeline umzuwandeln – eine Pipeline, die in der Lage ist, den autonomen Zugbetrieb, KI für die Eisenbahnsicherheit und Signalerkennungssysteme mit kreuzvalidierter 2D-3D-räumlicher Konsistenz in großem Umfang zu unterstützen.
Shaip bewältigte eine Annotationskomplexität, die die meisten Anbieter nicht angehen. Über 39 Klassen, 8 Labeltypen, über 25 Signalzustände, 2D- und 3D-Kreuzvalidierung – und all das wurde in einer einzigen, koordinierten Pipeline umgesetzt. Dadurch konnten unsere Modelle zur Bahnerkennung schneller trainiert werden.
