3D-LiDAR-Bounding-Box-Annotation für autonomes Fahren
Wie Shaip präzise 3D-Quader-Begrenzungsrahmen-Annotationen für 14 Objektklassen mit ~53 Rahmen pro Frame auf Einzelbild-Punktwolkendaten lieferte – kalibriert anhand von 2D-Bildern für die autonome Fahrzeugwahrnehmung im Produktionsmaßstab.
Projektübersicht
Da die Wahrnehmung für autonomes Fahren immer näher an den Serieneinsatz rückt, benötigte der Kunde eine hochspezialisierte 3D-LiDAR-Annotationspipeline, die in der Lage ist, präzise quaderförmige Begrenzungsrahmen in der für reale AV-Trainingsdaten erforderlichen Dichte zu platzieren – mit Multiattribut-Labeling und 2D-Bildkalibrierung.
Shaip entwickelte die durchgängige Annotationspipeline, die die Platzierung von 3D-Quadern, die Durchsetzung von Standardgrößen, die Kennzeichnung mit mehreren Attributen, die Behandlung von Umgebungs-Grenzfällen und die Validierung anhand von Referenzbildern umfasst – und liefert so modellfertige AV-Wahrnehmungsdatensätze für 14 Objektklassen.
Schlüsselstatus
Objektklassen
14
Kästchen pro Rahmen
~ 53
Attributebenen
5
Okklusionsstufen
4
Challenges
- Erteilung ~53 3D-Quader pro Rahmen mit präziser, enger Passform an den Rändern der Punktwolke
- Handhabung 14 Objektklassen über Fahrzeuge, Fußgänger, Tiere und bewegliche Objekte hinweg
- Zusammen Arbeiten gleichzeitig mit 2D-Kalibrierungsbildern und 3D-Punktwolken frustrierten
- Management Geisterpunktwolken, Bodenreflexionen, Nebel, Dunst und Wasserspritzer
- Durchsetzung Standardgrößenabmessungen pro Klasse für rahmenübergreifende Konsistenz
Lösung
Workflow zur Platzierung von 3D-Quadern
Die Annotatoren platzierten präzise 3D-Quader-Begrenzungsrahmen auf den Punktwolkendaten einzelner Bilder, parallel zu einer 2D-Kalibrierungsbildreferenz. Jede Klasse verfügte über definierte Standardabmessungen für die Begrenzungsrahmen, um eine einheitliche Größe über alle Bilder hinweg zu gewährleisten: Autos 3.4–5.1 m, Lkw 3.4–14 m, Fußgänger 0.4–1.2 m breit.
Multiattribut-Etikettierung
Über die Platzierung des Begrenzungsrahmens hinaus erhielt jedes annotierte Objekt Attributbezeichnungen, die den Fahrzeugzustand (fahrend/geparkt), den Zustand von Zweirädern (mit/ohne Fahrer), den Fußgängerzustand (stehend/sitzend/liegend), den Verdeckungszustand (4 Stufen: keine, teilweise, größtenteils, vollständig) und den Zustand der Extremitäten (hervorstehende Objekte, offene Türen, angebrachte Ausrüstung) abdeckten.
Umgang mit umweltbedingten Grenzfällen
Strenge Regeln regelten die Annotation stark verdeckter oder weit entfernter Objekte, Geisterpunktwolken aufgrund von Fehlkalibrierungen zweier LiDAR-Systeme, Bodenreflexionen und Umgebungsgeräusche durch Wasserspritzer, Nebel und Dunst. Seitenspiegel, offene Türen, Kranarme, Dachgepäckträger und Gepäck von Fußgängern wurden ausdrücklich ausgeschlossen; Sirenen und Ladeflächencontainer von Lkw wurden hingegen berücksichtigt.
Bestätigung der engen Passform der Box
Die Kästchen mussten eng an die Ränder der Punktwolken anliegen, mit minimalen sichtbaren Lücken. Die Ausrichtung wurde anhand von Kalibrierungsdaten und dem Kontext der Fahrspur überprüft, wenn die Punktwolken nicht eindeutig zuzuordnen waren. Nacht- und Regenszenen wurden für eine einheitliche Annotation wie Tagesaufnahmen behandelt.
Crossmodale Qualitätssicherung
Alle Annotationen wurden anhand von 2D-Referenzbildern validiert, um korrekte Größe und Ausrichtung zu überprüfen. Diese modalitätsübergreifende Qualitätssicherungsebene deckte Fehlausrichtungen auf, die allein anhand der Punktwolke nicht sichtbar gewesen wären, und gewährleistete so eine produktionsreife Genauigkeit für das nachfolgende Training des AV-Wahrnehmungsmodells.
Projektumfang
| Datensatztyp | Klassen | Kisten/Rahmen | Attribute | Okklusionsstufen | Validierung |
|---|---|---|---|---|---|
| 3D-LiDAR-AV-Wahrnehmung | 14 | Durchschnittlich ~53 | 5 Attributebenen | 4 (0–100 %) | 2D-Bild-Querschnitt |
Ergebnisse:
- Gegründet a Pipeline für dichte 3D-LiDAR-Annotationen mit ~53 Kästchen pro Rahmen bei Produktionsgenauigkeit
- Standardisiert 14-Klassen-Objektontologie mit standardmäßiger Größenerzwingung pro Klasse
- Erfolgreicher Abschluss von 5 Attributebenen einschließlich der 4-stufigen Okklusionsklassifizierung
- Umgesetzt Crossmodale Qualitätssicherung Validierung von 3D-Boxen anhand von 2D-Kalibrierungsbildern
- Die Client-Einstellungen wurden aktiviert. autonome Fahrzeugwahrnehmung, ADAS und selbstfahrende Fahrzeuge Modelltraining
Insgesamt trug Shaip dazu bei, eine komplexe Anforderung an die 3D-LiDAR-Wahrnehmung in eine strukturierte, produktionsreife Annotationspipeline umzuwandeln – eine Pipeline, die in der Lage ist, die Entwicklung von autonomem Fahren, ADAS, Robotaxis und selbstfahrenden Lkw mit kalibrierungsgenauer Präzision unter anspruchsvollen realen Bedingungen zu unterstützen.
Shaip kümmerte sich um die AV-Grenzfälle, die die meisten Annotationspipelines zum Scheitern bringen – Nebel, Geisterpunktwolken, dichte Verdeckung und ca. 53 Boxen pro Frame. Ihre 2D-3D-Kreuzvalidierung lieferte uns verlässliche Trainingsdaten für die Wahrnehmung.
