Objektannotation in Innenräumen für Servicerobotik und verkörperte KI – Fallstudie
Wie Shaip für ein führendes Robotik-Innovationsunternehmen eine umfassende Annotation von Innenraumszenen lieferte – die Erkennung und Kennzeichnung jedes Objekts in Raumumgebungen mit räumlicher Beziehungskennzeichnung –, die als produktionsreifer Datensatz für die robotergestützte Wahrnehmung und Navigations-KI in Privathaushalten, Büros, Lagerhallen und Gesundheitseinrichtungen erstellt wurde.
Projektübersicht
Da die Robotik zunehmend in Privathaushalten, Büros, Lagerhallen und Krankenhäusern eingesetzt wird, benötigte der Kunde eine umfassende Annotationspipeline, die in der Lage ist, jedes sichtbare Objekt in dicht bebauten Innenräumen zu kennzeichnen – mit einer Attributvielfalt, die für die Interaktion mit Robotern ausreicht.
Shaip entwickelte die durchgängige Annotationspipeline, die Begrenzungsrahmen und Polygonsegmentierung, dichte Objektintegration, Kennzeichnung räumlicher Beziehungen und die Behandlung reflektierender Oberflächen umfasst – und erzeugt so modellfertige Datensätze für die Roboterwahrnehmung, Navigation und Mensch-Umwelt-Interaktion.
Schlüsselstats
Objekte / Bild
100er-Jahre
Kategorien
Dicht
Methoden
Rechteck + Polygon
Attributebenen
4
Challenges
- Kommentieren jedes sichtbare Objekt in dicht überfüllten Raumbildern – Hunderte pro Bild
- Die richtige Methode wählen — Begrenzungsrahmen vs. Polygonsegmentierung — basierend auf der Objektkomplexität
- Einschließlich kleine Objekte wie Schalter, Stecker und Dekorationsgegenstände, die für die Roboterinteraktion unerlässlich sind
- Handhabung reflektierende Oberflächen (Spiegel, Glastische) ohne Geisterbeschriftungen
- Tagging räumliche Beziehung und Objektzustände für kontextsensitive Roboter-KI
Lösung
Umfassende Objektinklusion
Jedes sichtbare Objekt in jedem Raumbild wurde einzeln in einer Vielzahl von Kategorien annotiert – Möbel (Stühle, Tische, Sofas, Betten, Regale), Haushaltsgeräte (Fernseher, Kühlschränke, Mikrowellen, Lampen), persönliche Gegenstände (Taschen, Bücher, Flaschen, Kleidung), Bauelemente (Türen, Fenster, Wände, Böden) und Kleinteile (Fernbedienungen, Tassen, Teller, Tastaturen, Schalter, Stecker).
Methodenauswahl pro Objekt
Objekte wurden je nach Form und Komplexität präzise mithilfe von Begrenzungsrahmen oder Polygonsegmentierung gekennzeichnet. Rechtecke wurden für regelmäßige Objekte verwendet; Polygone erfassten organische Formen und dicht gedrängte Objekte, bei denen sich Begrenzungsrahmen zu stark überlappen würden. Diese objektbezogene Methodenauswahl gewährleistete klare Konturen auch in unübersichtlichen Szenen.
Tagging räumlicher Beziehungen
Jedes annotierte Objekt wurde mit Attributen angereichert, die den Objektzustand (offen oder geschlossen bei Türen und Schubladen), räumliche Beziehungsmarkierungen (die Nähe und Position relativ zu anderen Objekten angeben), den Verdeckungsstatus und den Zustand des Objekts umfassen. Diese räumliche Intelligenzebene ermöglicht es robotergestützten KI-Systemen, den Kontext zu verstehen und nicht nur Objekte zu erkennen.
Abdeckung kleiner Objekte und interaktionskritischer Aspekte
Die Annotatoren befolgten strenge Kriterien, um jedes sichtbare Objekt unabhängig von seiner Größe zu kennzeichnen – einschließlich kleiner Gegenstände wie Schalter, Stecker und Dekorationselemente, die für die Interaktion mit Robotern unerlässlich sind. Da diese Elemente oft darüber entscheiden, ob ein Roboter seine Aufgabe erfüllen kann, durften sie nicht vernachlässigt werden.
Umgang mit reflektierenden Oberflächen
Reflektierende Oberflächen wie Spiegel und Glastische erforderten eine besondere Behandlung, um doppelte oder fehlerhafte Annotationen zu vermeiden. Spezifische Richtlinien legten fest, ob reflektierte Objekte separat annotiert, ignoriert oder markiert wurden – so wurde sichergestellt, dass nachfolgende Modelle nicht von fehlerhaften Annotationen lernten.
Projektumfang
| Datensatztyp | Abdeckung | Methoden | Kategorien | Attribute | Besondere Behandlung |
|---|---|---|---|---|---|
| Objektannotation für eine Innenraumszene | Jedes sichtbare Objekt | Quader + Polygon | Möbel, Haushaltsgeräte, persönliche Gegenstände, Baumaterialien, Kleinteile | 4 Ebenen (Zustand, Raum, Verdeckung, Bedingung) | Regeln für reflektierende Oberflächen |
Ergebnisse:
- Etablierte ein Pipeline für objektdichte Annotationen für die Roboterwahrnehmung in Innenräumen
- Standardisiert Methodenauswahl pro Objekt zwischen Begrenzungsrahmen und Polygonsegmentierung
- Erfolgreicher Abschluss von räumliche Beziehungsmarkierung Ermöglichung kontextsensitiver Roboter-KI
- Umgesetzt Umgang mit reflektierenden Oberflächen um Geisteranmerkungen zu verhindern
- Die Client-Einstellungen wurden aktiviert. Wohn-, Lager-, Einzelhandels- und Gesundheitseinrichtung Einsatz von Robotik und KI
Insgesamt trug Shaip dazu bei, die Anforderungen an die objektdichte Indoor-Annotation in eine strukturierte, produktionsreife Pipeline umzuwandeln – eine Pipeline, die in der Lage ist, Roboternavigation, Pick-and-Place-Automatisierung, intelligente Umgebungsüberwachung und Mensch-Roboter-Interaktion in verschiedenen Indoor-Einsatzumgebungen zu unterstützen.
Shaip annotierte Räume so, wie unsere Roboter sie wahrnehmen – jedes Objekt, jede Beziehung, jedes noch so kleine Detail, das von Bedeutung ist. Dank ihrer Aufmerksamkeit für Schalter, Steckdosen und reflektierende Oberflächen stolperte unser Wahrnehmungsmodell nicht über Dinge, die die meisten Datensätze ignorieren.
