Transformation des Eisenbahnszenenverständnisses durch LiDAR & 2D-Annotation
Erfahren Sie, wie die LiDAR-, Kamera- und 2D-Datenannotationsdienste von Shaip KI-Modellen helfen, Objekte zu erkennen, Eisenbahnumgebungen zu verstehen und die Wahrnehmung autonomer Mobilität zu verbessern.
Projektübersicht
Moderne Bahnerkennungssysteme erfordern mehr als nur die allgemeine Objektkennzeichnung. Sie benötigen schienenspezifische Kontextinformationen, präzise Geometriedaten und eine zuverlässige sensorübergreifende Konsistenz zwischen LiDAR-Punktwolken und synchronisierten Kameraansichten.
Um diesem Bedarf gerecht zu werden, wurde Shaip mit einem LiDAR-Datenannotationsprojekt für Eisenbahninfrastrukturszenen beauftragt. Der Leistungsumfang umfasste die Annotation von LiDAR-Punktwolken, unterstützt durch fünf synchronisierte 2D-Referenzbilder pro Szene, unter Verwendung einer 29-Klassen-Taxonomie mit obligatorischen und optionalen Klassen.
Attribute für jede Klasse.
Ziel war es, einen strukturierten, qualitätskontrollierten Datensatz zu erstellen, der in der Lage ist, Modelle zur Wahrnehmung von Eisenbahnstrecken für die Objekterkennung, das Szenenverständnis, die Gleiserkennung und die Infrastrukturinterpretation zu trainieren und zu validieren.
Schlüsselstats
Sensor-Setup
LiDAR-Punktwolke
Taxonomie
29 schienenspezifische Klassen
Qualitätsziele
≥99% Gesamtgenauigkeit der Annotationen
Sensorübergreifende Konsistenz
≥99% LiDAR – 2D-Ausrichtung
Challenges
- Einheitliche Annotation multimodaler Bahnszenen in LiDAR- und 2D-Bildern
- Verwaltung einer schienenspezifischen Taxonomie von 29 Klassen mit detaillierten Attributen und Objektbeziehungen
- Aufrechterhaltung der sensorübergreifenden Konsistenz zwischen 3D- und 2D-Annotationen
- Erhaltung der geometrischen Präzision für lineare Strukturen wie Schienen und Kabel
- Einhaltung strenger Genauigkeitsschwellen für Klassenbezeichnungen, Geometrie und Attribute in einer Pilotumgebung
Lösung
Shaip entwarf einen auf die technischen Anforderungen des Projekts zugeschnittenen Annotationsworkflow mit Fokus auf Eisenbahnwesen.
Datenstrategie
Es wurde eine multimodale Annotationspipeline definiert, die LiDAR-Punktwolkendaten und fünf synchronisierte 2D-Referenzbilder pro LiDAR-Frame umfasst.
Annotationsframework
Mehrere Annotationsmethoden wurden basierend auf Objekttyp und Szenenstruktur angewendet:
- 3D-Quader-Annotation für diskrete volumetrische Objekte
- 3D-Polylinien-Annotation für lineare, schienenbezogene Strukturen
- 2D-Begrenzungsrahmen zur Objektlokalisierung in Bildern
- 2D-Polygon für unregelmäßige Objektgrenzen
- 2D-Polylinie für Schienen, Kabel und Markierungen
- 3D-Quader in 2D-Ansichten, bei denen Orientierung und Tiefenkontext erforderlich waren
Bahnspezifisches Taxonomiedesign
Es wurden 29 vordefinierte Klassen annotiert, die Personen, persönliche Gegenstände, Fahrzeuge, Züge, Waggons, Tiere, Gleise, Weichen, Oberleitungsmasten, Signalmasten, Signale, Signalbrücken, Prellböcke, reflektierende Testobjekte und andere Elemente der Eisenbahnszene umfassen.
Attributreiche Annotation
Erfasst wurden sowohl obligatorische als auch optionale Attribute, darunter:
- Okklusionsniveaus
- Bundesland und Art
- Konnektivität über connectedTo
- Gleis- und Gleismarkierungen
- Objektordnung und Orientierung
- Signalfläche, Aspekt und strukturelle Eigenschaften
Identitäts- und Beziehungsintegrität
Es wurde sichergestellt, dass jede Annotation eine eindeutige Annotations-ID und jedes Objekt eine eindeutige Objekt-ID im UUID-Format besitzt, mit bidirektionalen connectedTo-Beziehungen auf sensorbewusste Weise.
Präzisionsregeln und Qualitätssicherung
Implementierte Annotationsregeln, einschließlich:
- Okklusionsschätzung in 2D und 3D
- 2D-Beschriftungsschwelle für Objekte mit einer Höhe oder Breite von ≥25 Pixeln
- 2D-Toleranz von ±3 px
- 3D-Toleranz von bis zu 10 cm
- Rotationsausrichtung um die Z-Achse für konsistente Objektausrichtung
- Dreistufige Qualitätssicherung mit Korrekturschleifen für Unterschwellenausgaben
Projektumfang
| Datensatzelement | Normen |
|---|---|
| Primäre Modalität | LiDAR-Punktwolkendaten |
| Referenzmodalität | 5 synchronisierte 2D-Bilder pro LiDAR-Frame: 3 IR-Bilder und 5 RGB-Bilder |
| Gesamtklassen | 29 schienenspezifische Klassen |
| 3D-Anmerkungstypen | 3D-Quader, 3D-Polylinie |
| 2D-Anmerkungstypen | 2D-Begrenzungsrahmen, 2D-Polygon, 2D-Polylinie, 3D-Quader in 2D-Ansichten |
| Pilotvolumen | 2 Sequenzen |
| ID-Standard | UUID-basierte Annotations-ID und Objekt-ID |
| Genauigkeitsziele | ≥99 % Gesamtkonsistenz, ≥99 % Attributkonsistenz, ≥99 % sensorübergreifende Konsistenz |
Beispiel für Klassenabdeckung
| Kategorie | Beispielklassen | Anmerkungstyp |
|---|---|---|
| Mensch und Mobilität | Person, Rollstuhl, Roller, Fahrrad, Menschenmenge | 2D-BB / 4-Punkt-Polygon / 3D-BB |
| Schienenanlagen | Zug, Zugfront, Waggons, Gleis, Weiche, Schleppschuh | Umrisspolygon / Polylinie / 3D-BB |
| Signalisierung und Oberleitung | Signal, Signalmast, Signalbrücke, Kettenlinie | 2D-BB / Umrisspolygon / 3D-BB |
| Umwelt & Sonstiges | Straßenfahrzeug, Tier, Tiergruppe, reflektierende Testobjekte, Rauch, Flamme | je nach Klasse variierte |
Ergebnisse:
- Es wurde ein schienenspezifisches multimodales Annotationsframework für LiDAR- und Bilddaten entwickelt.
- Eine Eisenbahntaxonomie mit 29 Klassen und detaillierter Attributverarbeitung wurde definiert.
- Qualitätsstandards von ≥99 % hinsichtlich Annotationsgenauigkeit, Attributen und sensorübergreifender Konsistenz festlegen
- Es wurde eine pilotreife Grundlage für den Aufbau hochzuverlässiger Wahrnehmungsmodelle für Eisenbahnen geschaffen.
Strategisch gesehen positioniert dieses Projekt die KI-Systeme des Kunden im Bereich der Bahntechnik mit einem besseren Verständnis der Szene in Bahnumgebungen, in denen Geometrie, Objektkontinuität und Infrastrukturkontext von entscheidender Bedeutung sind.
Shaips multimodaler Annotationsansatz half uns, einen hochspezialisierten Eisenbahndatensatz mit der für die Entwicklung von Wahrnehmungsmodellen erforderlichen Präzision zu strukturieren. Ihr Fokus auf Taxonomietiefe, geometrische Genauigkeit und sensorübergreifende Konsistenz schuf eine solide Grundlage für unsere KI-Pipeline im Eisenbahnbereich.
