Die meisten Teams im Bereich der physikalischen KI wissen, dass sie Daten benötigen. Nur wenige wissen jedoch, dass sie einen ganzen Stapel davon brauchen. Die Fähigkeiten, die ein eingesetzter humanoider Roboter, ein autonomes Fahrzeug oder ein Lagerroboter benötigt – Wahrnehmung, Handlung, Befolgung von Anweisungen, Ausführung mehrstufiger Arbeitsabläufe – lassen sich jeweils einer anderen Ebene von Trainingsdaten zuordnen, mit unterschiedlichen Erfassungsmethoden, Annotationstiefen und Qualitätskontrollen. Der Datensatzstapel für physikalische KI ermöglicht es, diese Ebenen als ein integriertes System zu betrachten, anstatt vier voneinander unabhängige Beschaffungsentscheidungen zu treffen.
Wichtige Erkenntnisse
- Der physische KI-Datensatzstapel besteht aus vier Schichten, die mit vier realen Fähigkeiten verknüpft sind.
- Schicht 1 umfasst Daten zu menschlichen Aktivitäten und Demonstrationen zur Wahrnehmung und zum Verständnis.
- Schicht 2 erfasst Manipulationsdaten des Roboters zur wiederholbaren Aufgabenausführung.
- Die dritte Ebene bringt Vision, Sprache und Handlung in Einklang, um Anweisungen in großem Umfang befolgen zu können.
- Layer 4 unterstützt die Abwicklung mehrstufiger Aufgaben mit langem Zeithorizont in realen Umgebungen.
- Jede Schicht speist die nächste; Schwächen in den unteren Schichten breiten sich in der Schichtstruktur nach oben aus.
Warum sollte man physische KI-Daten als einen Stapel betrachten?
Physikalische KI-Daten verhalten sich wie ein Stapel, da jede Fähigkeitsebene von den darunterliegenden Ebenen abhängt. Wahrnehmungsdaten ohne Aktionsdaten erzeugen ein Modell, das zwar sieht, sich aber nicht bewegen kann. Aktionsdaten ohne Sprachabgleich erzeugen ein Modell, das sich zwar bewegt, aber keine Anweisungen befolgen kann. Workflow-Daten mit langem Zeithorizont ohne robustes Befolgen von Anweisungen scheitern bereits an der ersten mehrstufigen Aufgabe.
NVIDIAs offener Datensatz für physikalische KI, der der Entwicklergemeinschaft zur Verfügung gestellt wurde, umfasst Tausende Stunden Multikamera-Videomaterial von beispielloser Vielfalt (NVIDIA, 2025). Selbst in diesem Umfang benötigen nachgelagerte Teams noch eigene, aufgabenspezifische Schichten. Vorab-Trainingsdaten sind notwendig, aber nicht hinreichend.
Ebene 1: Was umfasst die Datenerhebung zum menschlichen Verständnis?
Daten zum menschlichen Verständnis umfassen Daten zu menschlichen Aktivitäten und Demonstrationen – Aufnahmen aus der Ich- und der Außenperspektive, die Menschen bei der Ausführung von Aufgaben in realen Umgebungen zeigen. Sie vermitteln dem Modell, wie die Welt aussieht und wie sich Menschen darin bewegen.
Daten zur Demonstration am Menschen: Video- und Sensoraufnahmen von Menschen bei der Ausführung von Aufgaben, mit Anmerkungen, die Beobachtungen mit Handlungen, Absichten oder Ergebnissen verknüpfen.
Diese Ebene speist die Wahrnehmung, das Szenenverständnis und die Absichtserkennung. Folgende Fragen sollten gestellt werden:
- Beziehen sich die Daten auf die Umgebungen, in denen Ihr Roboter eingesetzt wird?
- Werden die Demonstrationen auf der Ebene der einzelnen Aktionen annotiert oder nur pro Clip?
- Ist die Einwilligung der Teilnehmer dokumentiert und nachvollziehbar?
Shaips L1 Datensammlung Die Ebene erfasst Aktivitäten in der realen Welt, beispielsweise in Küchen, Fabriken, Lagerhallen, Gesundheitseinrichtungen und auf Straßen – Umgebungen, die eher Einsatzkontexten als Laborbedingungen entsprechen.
Ebene 2: Was umfassen die Daten zur Aufgabenausführung?
Die Daten zur Aufgabenausführung sind Manipulationsdaten des Roboters – Trajektorien, Gelenkzustände, Objektinteraktionen und Kontaktdynamik für wiederholbare physikalische Aufgaben. Sie lehren das Modell, wie es handeln soll, und nicht nur, was es wahrnehmen soll.
Robotermanipulationsdaten: Zeitgestempelte Sequenzen von Roboterzuständen, Endeffektorpositionen und Objektinteraktionen, die während der Teleoperation, der skriptgesteuerten Ausführung oder der Wiedergabe einer Demonstration aufgezeichnet wurden.
Hier kommt die bauartspezifische Struktur ins Spiel. Gelenkkonfigurationen, Greifergeometrien und Aktionsräume variieren zwischen verschiedenen Robotern, sodass Manipulationsdaten ohne Anpassung selten auf andere Bauarten übertragbar sind. Bauartübergreifende Ansätze – wie beispielsweise Datensätze, die 22 Roboterbauarten unter einem Aktionsschema vereinheitlichen (DeepMind/Stanford et al., 2024) – haben dies etwas erleichtert, doch die Erfassung aufgabenspezifischer Manipulationsdaten bleibt ein aufwendiges Unterfangen.
Schicht 3: Welchen Mehrwert bieten VLA-Daten?
VLA-Daten fügen der Bild- und Handlungsdarstellung eine sprachliche Ausrichtung hinzu – jede Episode enthält eine natürlichsprachliche Anweisung, die mit dem Ablauf verknüpft ist, der diese Anweisung erfüllt.
Vision-Language-Action (VLA)-Daten: Trainingsdaten auf Episodenebene, die synchronisierte visuelle Beobachtungen, Anweisungen in natürlicher Sprache und Handlungsabläufe mit Erfolgskennzeichnungen enthalten.
Diese Schicht ermöglicht das Befolgen von Anweisungen. Ohne sie kann ein Manipulationsmodell nur eine trainierte Aufgabe ausführen; mit ihr kann dasselbe Grundgerüst Hunderte von Anweisungen generalisieren. Der Haken: Sprachbeschreibungen müssen atomar, spezifisch und an den tatsächlichen Aktionsgrenzen ausgerichtet sein – keine vagen Zusammenfassungen. Die Genauigkeit der Annotationen auf dieser Schicht entscheidet darüber, ob ein feinabgestimmtes VLA auf neue Eingabeaufforderungen generalisiert oder den Trainingsdatensatz auswendig lernt.
Ebene 4: Was umfassen Daten zu langfristigen Aufgaben?
Aufgaben mit langem Zeithorizont umfassen mehrstufige Arbeitsabläufe – Sequenzen, in denen der Roboter eine Teilaufgabe abschließen muss, um die nächste zu starten. Beispiele für solche Aufgaben sind das Kochen einer Mahlzeit, das Sortieren einer Lagerpalette und das Zusammenstellen eines Bausatzes. Jede dieser Aufgaben erfordert, dass das Modell den Zustand verfolgt, Fehler in Teilaufgaben ausgleicht und Fähigkeiten miteinander verknüpft.
Ein Forschungsdatensatz zur Manipulation von Tischobjekten über einen längeren Zeitraum umfasste 200 Episoden aus 20 mehrstufigen Aufgaben mit unübersichtlichen Szenen (LHManip-Autoren, arXiv, 2024) – klein im Umfang, aber straff strukturiert. Produktionsteams erstellen typischerweise Evaluierungsdatensätze mit Hunderten bis Tausenden von Episoden über einen längeren Zeitraum sowie Protokollen zur Fehlerbehandlung für die Fehlerbehebung.
Wie die vier Schichten die Bereitstellung unterstützen
| Schicht | Potenzial freigeschaltet | Was Teams typischerweise übersehen |
|---|---|---|
| L1 – Menschliches Verständnis | Wahrnehmung, Absicht, Szenenkontext | Umgebungsanpassung an den Bereitstellungsort |
| L2 — Aufgabenausführung | Wiederholbare Manipulation | Kontaktdynamik, Fehlerbehebung |
| L3 — Anweisung im Anschluss | Aufgabenübergreifende Generalisierung | Atomare, aktionsorientierte Sprachbezeichnungen |
| L4 – Workflow-Abschluss | Mehrstufige Aufgaben aus der realen Welt | Ausnahmebehandlung, Zustandsverfolgung |
Stellen Sie sich ein Team für industrielle Automatisierung vor, das die Ebenen 1 und 2 – saubere Wahrnehmung und reibungslose Manipulation in Tests – perfekt beherrscht, aber Ebene 3 auslässt. Ihr Roboter kann jedes Objekt greifen, auf das man zeigt, aber ohne Codeänderungen keine verbalen Anweisungen befolgen. Das Auslassen von Ebene 4 hat die gleichen Folgen: Das System bewältigt einzelne Aufgaben, scheitert aber beim zweiten Schritt. Jede fehlende Ebene begrenzt das Einsatzpotenzial.
Zertifizierungen und Konformität für physische KI-Daten
Programme zur Verarbeitung physikalischer KI-Daten unterliegen einem zunehmend strengen regulatorischen und vergaberechtlichen Umfeld, insbesondere in den Bereichen Gesundheitswesen, autonomes Fahren und Arbeitssicherheit. Unternehmen fordern daher vermehrt strukturierte Kontrollen, bevor sie Verträge zur Datenerfassung oder -annotation unterzeichnen.
- ISO 27001 für Informationssicherheitsmanagement.
- SOC 2 Typ II für Kontrollen von Dienstleistungsorganisationen.
- HIPAA-konforme Kontrollen für klinische oder Rehabilitations-Bewegungsdaten.
- DSGVO- und CCPA-Rahmenbedingungen für die Einwilligung der Teilnehmer und deren Datenrechte.
Shaip arbeitet im Rahmen dieser jeweiligen Frameworks mit globalen Inkassoprogrammen. Käufer können die Details auf der Website einsehen. Seite „Sicherheit und Compliance“ vor der Planung eines physischen KI-Einsatzes.
Fazit: Der Stack ist die Strategie
Der physische KI-Datensatz-Stack ist keine Beschaffungscheckliste, sondern die Architektur eines einsetzbaren Systems. Teams, die ihn als integriertes System betrachten – menschliches Verständnis speist die Manipulation, Manipulation die Befehlsausführung und all dies die langfristige Ausführung –, entwickeln Roboter, die in der realen Welt funktionieren. Shaip agiert als Dateninfrastrukturpartner auf allen vier Ebenen, einschließlich multimodale KI Arbeitsabläufe, die Wahrnehmung, Sprache und Handlung in einem einzigen Prozess miteinander verbinden.
Was ist der physische KI-Datensatz-Stack?
Der physische KI-Datensatzstapel ist ein vierschichtiges Framework, das Trainingsdatentypen Roboterfähigkeiten zuordnet. Schicht 1 umfasst menschliche Aktivitäten für die Wahrnehmung, Schicht 2 die Robotermanipulation, Schicht 3 Bild-, Sprach- und Aktionsdaten für die Befehlsausführung und Schicht 4 mehrstufige Aufgaben mit langem Zeithorizont. Jede Schicht ermöglicht eine spezifische Einsatzfähigkeit.
Müssen alle vier Schichten immer im eigenen Haus gefertigt werden?
Nicht alle vier Schichten müssen intern erstellt werden. Öffentliche Trainingsdatensätze decken einen Großteil von Schicht 1 ab, während sich interne oder Partnerprogramme auf die selektive Feinabstimmung der Daten für die Schichten 2 bis 4 konzentrieren. Entscheidend ist, ob die Daten zur Einsatzumgebung passen, nicht ob sie selbst erhoben wurden.
Welche Ebene wird von Teams, die sich mit physikalischer KI beschäftigen, am meisten unterschätzt?
Schicht 4 – Aufgabendaten mit langem Zeithorizont – wird am meisten unterschätzt. Teams entwickeln oft leistungsstarke Pipelines zur Datenerfassung und -verarbeitung und gehen dann fälschlicherweise davon aus, dass die Sequenzierung automatisch erfolgt. In der Praxis benötigen mehrstufige Aufgaben jedoch explizite Demonstrationen, Protokolle zur Ausnahmebehandlung und Evaluierungsdatensätze, die Fehlermodi von Teilaufgaben erfassen. Ohne diese Informationen bleibt die Bereitstellung bei Demonstrationen einzelner Aufgaben stecken.
In welchem Verhältnis steht der physische KI-Datensatzstapel zu VLA-Modellen?
Der Datensatzstapel für physikalische KI bezieht sich auf VLA-Modelle der Schicht 3. Die VLA-Trainingsdaten befinden sich in der Befehlsausführungsschicht und basieren auf Wahrnehmungsdaten der Schicht 1 und Manipulationsdaten der Schicht 2. Ein gut implementiertes VLA-Modell benötigt alle drei unteren Schichten, um zu funktionieren; Schicht 4 erweitert es dann zu mehrstufigen, realen Arbeitsabläufen.
Gehören synthetische Daten zum Datensatz-Stack?
Synthetische Daten sind Bestandteil jeder Ebene des Datensatz-Stacks, ersetzen aber reale Daten nur selten vollständig. Die Generierung synthetischer Daten skaliert seltene Ereignisse, Grenzfälle und Varianten realer Systeme. Reale Daten bilden die Grundlage für Kontaktdynamiken, die Übertragung von Simulationen in die Realität und die Mensch-Roboter-Interaktion. Ausgereifte Programme nutzen beide Datentypen und verwenden gepaarte Benchmarks, um die Leistungsdifferenz zwischen Simulation und Realität zu überwachen.
Wie lange dauert der Aufbau des vollständigen physischen KI-Datensatz-Stacks?
Der Aufbau eines vollständigen physischen KI-Datensatz-Stacks dauert in der Regel Monate bis Jahre, abhängig von Umfang und Implementierung. Datenerfassungsprogramme in verschiedenen Umgebungen sind der zeitaufwändigste Teil. Teams beschleunigen den Prozess, indem sie zunächst fokussierte Layer-3-Daten für eine Zielaufgabe feinabstimmen und diese dann auf Layer-4-Workflows und eine breitere Layer-1-Abdeckung ausweiten, sobald sich der Anwendungsfall stabilisiert hat.
