Der Wandel von Chatbots zu Robotern, die auf natürlichsprachliche Befehle reagieren, erfolgt über eine bestimmte Modellklasse: VLA-Modelle (Vision-Language-Action-Modelle). Diese Modelle vereinen visuelle Wahrnehmung, Sprachverständnis und Aktionsgenerierung in einem einzigen neuronalen Netzwerk. Ihr Potenzial ist unbestreitbar, hängt aber fast ausschließlich von den verwendeten Trainingsdaten ab. Dieser Leitfaden erklärt, was VLA-Trainingsdaten tatsächlich beinhalten, was Teams oft unterschätzen und wie man einen Datensatz plant, der ein einsatzfähiges Modell hervorbringt.
Wichtige Erkenntnisse
- VLA-Modelle bilden visuelle und sprachliche Eingaben direkt auf Roboteraktionen in einem Netzwerk ab.
- Die Trainingsdaten müssen synchronisierte visuelle Beobachtungen, sprachliche Anweisungen und Handlungen umfassen.
- Für ein erfolgreiches Lernen diskreter Aktionstoken sind umfangreiche Demonstrationsdaten erforderlich.
- Egozentrische Videos von Menschen werden zunehmend als kostengünstige Quelle für das Vortraining von VLAs genutzt.
- Robuste Evaluierungsphasen sind für einen zuverlässigen Einsatz genauso wichtig wie Trainingsdaten.
- Die Feinabstimmung von VLA gelingt oder scheitert an der Genauigkeit der Annotationen, nicht allein am Rohvolumen.
Was ist ein VLA-Modell?
Ein VLA-Modell ist ein robotisches Grundlagenmodell, das Bilder und natürlichsprachliche Anweisungen als Eingabe verwendet und Roboteraktionen ausgibt. Im Gegensatz zu herkömmlichen Pipelines, die Wahrnehmung, Planung und Steuerung in verschiedene Module aufteilen, lernen VLA-Modelle eine durchgängige Abbildung in einem einzigen Netzwerk.
VLA-Modell: Ein neuronales Netzwerk, das synchronisierte visuelle Beobachtungen und natürlichsprachliche Anweisungen verarbeitet und daraus Sequenzen von Roboteraktionen oder Aktionstoken erzeugt.
Dieses einheitliche Design ermöglicht es VLA-Modellen, die Fähigkeiten zum logischen Denken aus umfangreichen Vortrainings mit Bildverarbeitungs- und Sprachdaten zu übernehmen und um motorische Steuerung zu erweitern. Für den praktischen Einsatz bedeutet dies, dass ein Modell prinzipiell viele Aufgaben ausführen kann – jedoch nur, wenn seine Trainingsdaten diese mit der richtigen Struktur abdecken.
Was genau beinhalten die VLA-Trainingsdaten?
Die Trainingsdaten für VLA enthalten pro Episode vier Kernbestandteile: visuelle Beobachtungen, eine natürlichsprachliche Anweisung, einen Handlungsablauf und eine Erfolgs- oder Misserfolgskennzeichnung. Zusätzlich ergänzen die Teams diese Daten um Zeitstempel, propriozeptive Informationen und Bewertungskriterien.
Die vier obligatorischen Schichten:
- Visuelle Beobachtungen — RGB-Bilder, oft kombiniert mit Tiefen- oder Handgelenkkamera-Ansichten.
- Sprachanweisungen — prägnante, natürlichsprachliche Befehle wie „Gieße Wasser in die Tasse“.
- Aktionstrajektorien — diskretisierte oder kontinuierliche Aktionssequenzen, die den Freiheitsgraden des Roboters zugeordnet sind.
- Ergebnisbezeichnungen — explizite Erfolgs-, Misserfolgs- oder Teilabschlussmarkierungen pro Episode.
Ein offenes VLA-Modell mit 7 Milliarden Parametern wurde anhand von über einer Million Episoden aus 22 verschiedenen Robotermodellen trainiert (Stanford et al., 2024). Dies verdeutlicht die für die aufgabenübergreifende Generalisierung zu erwartende Diversität. Ohne diese Breite neigen VLA-Modelle dazu, spezifische Objekte zu memorieren, anstatt zu generalisieren.
Warum ist die Annotation von Aktionen schwieriger als die von Bildern?
Die Annotation von Aktionen ist schwieriger, da Aktionen in kontinuierlichen, hochdimensionalen Räumen stattfinden und von der Verkörperung des Roboters abhängen, nicht nur vom Bildinhalt. Die Kennzeichnung eines Begrenzungsrahmens auf einer Tasse ist unkompliziert; die Kennzeichnung einer Trajektorie, die diese Tasse mit einem bestimmten Greifer an einem bestimmten Kontaktpunkt erfolgreich greift, ist es nicht.
Aktionstoken: Eine diskretisierte Darstellung einer Roboterbewegung oder Endeffektorverschiebung, die ein VLA-Modell wie ein Sprachtoken vorhersagen kann.
Annotationsteams müssen jedes Aktionstoken mit seiner synchronisierten Beobachtung abgleichen, Kontaktzeitpunkte markieren, die Fehlerbehebung erfassen und die atomaren Grenzen der Sprachanweisung kennzeichnen. Shaips Datenanmerkung Workflows bewältigen dies in großem Umfang, mit strukturierten Taxonomien, die auf robotische Aktionsräume und aufgabenspezifische Akzeptanzschwellen abgestimmt sind.
Welchen Stellenwert hat egozentrisches menschliches Video im VLA-Training?
Egozentrische Videos von Menschen eignen sich als skalierbare Vortrainingsquelle und schließen Lücken, die reale Roboterdaten nicht abdecken können. Aufnahmen aus der Ich-Perspektive von Menschen beim Kochen, Pflücken und Montieren erfassen Verhaltensweisen in einem Umfang, den die Roboterfernsteuerung niemals erreichen wird.
Eine kürzlich erschienene Studie transformierte unstrukturierte, egozentrische Videos von Menschen in VLA-formatierte Episoden – 1 Million Segmente und 26 Millionen Frames –, indem die menschliche Hand als geschickter Endeffektor behandelt wurde (Wu et al., arXiv, 2025). Derartige Daten zur Verkörperungsübereinstimmung sind mittlerweile Standard in VLA-Vortrainingsrezepten.
Der Haken: Rohvideo ist kein Trainingsdatenmaterial. Es muss segmentiert, sprachlich beschrieben, anhand der Handpose neu ausgerichtet und qualitätsvalidiert werden, bevor es in eine VLA-Pipeline gelangt. Shaips Physische KI Die Datenverarbeitung umfasst die egozentrische Erfassung, die Real2Sim-Konvertierung und die VLA-ausgerichtete Annotation in einer einzigen Lieferung.
Wie erstellt man Evaluierungssets, die VLA-Fehlermodi aufdecken?
Evaluierungsdatensätze decken VLA-Fehlermodi auf, wenn sie vor dem Training und nicht danach entworfen werden. Drei Strukturen sind dabei besonders wichtig: Benchmarks für den Erfolg innerhalb der Verteilung, Generalisierungstests außerhalb der Verteilung und risikogestaffelte Sicherheitsszenarien.
Stellen Sie sich ein VLA-Modell für den Haushalt vor, das umfassend mit Küchenaufgaben trainiert wurde. Ein sinnvoller Evaluierungssatz würde Folgendes testen: bekannte Aufgaben in bekannten Küchen (Einteilung), bekannte Aufgaben bei ungewohnter Beleuchtung (leichte OOD), unbekannte Objekte mit bekannten Anweisungen (Konzeptgeneralisierung) und seltene Ereignisse wie versehentliches Verschütten (Sicherheitsstufe). Ohne diese Tests bleibt das Einsatzrisiko unberücksichtigt.
Eine nützliche, neutrale Ressource zur Organisation der Risikostufenabdeckung ist die NIST AI Risk Management Framework, wodurch die Wirkungsstufen so getrennt werden, dass sie sich nahtlos in die Gestaltung des Bewertungssets einfügen lassen.
VLA-Schulungsdaten: Was Sie einplanen sollten
| Schicht | Was es beinhaltet | Häufige Fehler |
|---|---|---|
| Visuelle Beobachtungen | RGB-Mehransicht, Tiefeninformationen, Handgelenkkamera | Fehlende oder nicht synchronisierte Zeitstempel |
| Sprache | Anweisungen, atomare Beschreibungen | Unklare Formulierungen, die keine konkreten Handlungen nach sich ziehen. |
| Aktionstrajektorien | Einzelmarken oder kontinuierliche Kontrollen | Keine Ausrichtung mit der Roboter-Ausführung |
| Evaluierung | Episoden, OOD-Untersuchungen, Sicherheitsstufen | Zu spät entworfen, nach dem Einfrieren der Modelle. |
Fazit: VLA-Modelle sind im Datensatz entweder erfolgreich oder nicht.
Die Leistungsfähigkeit eines VLA-Modells wird durch seine Trainingsdaten bestimmt – deren Umfang, Annotationstiefe und Evaluierungsgenauigkeit. Teams, die den Datensatz wie ein Produkt und nicht als nachträgliche Überlegung planen, erreichen als Erste die Implementierung. Teams, die Videos sammeln und auf spontane Fähigkeiten hoffen, schaffen das in der Regel nicht.
Worin besteht der Unterschied zwischen einem VLA-Modell und einer robotergestützten Strategie?
Der Unterschied liegt im Umfang. Eine herkömmliche Roboterstrategie ordnet Beobachtungen Aktionen für eine einzelne Aufgabe oder eine kleine Aufgabenfamilie zu. Ein VLA-Modell hingegen ist eine Strategie im Foundation-Stil, die darauf abzielt, viele Aufgaben für viele Objekte zu bewältigen, basierend auf natürlichsprachlichen Anweisungen. Beide sind Strategien; VLA-Modelle sind lediglich die generalistischere Variante, die mit umfassenderen, sprachlich abgestimmten Daten trainiert wird.
Wie viele VLA-Trainingsdaten werden typischerweise für einen Feinabstimmungslauf benötigt?
Ein Feinabstimmungslauf benötigt typischerweise einige Tausend bis einige Hunderttausend hochwertige Demonstrationen, abhängig von der Aufgabenkomplexität und der Leistungsfähigkeit des Basismodells. Vortrainierte VLA-Backbones reduzieren den Datenbedarf erheblich. Entscheidend sind die Qualität der Annotationen und die Präzision der Sprachinstruktionen, nicht die reine Anzahl der Episoden.
Kann man ein VLA-Modell vollständig mit simulierten Daten trainieren?
Das Training eines VLA-Modells ausschließlich mit simulierten Daten ist zwar möglich, aber für den Einsatz selten ausreichend. Simulationen berücksichtigen Diversität und seltene Ereignisse gut; reale Messungen bilden die Kontaktdynamik und die Übertragung von Simulationsergebnissen auf reale Daten ab. Die meisten Produktionspipelines kombinieren beides und verwenden gepaarte Benchmarks, die die Leistungsdifferenz zwischen Simulation und Realität explizit messen.
Welche Sensormodalitäten sind für die VLA-Trainingsdaten erforderlich?
Für das VLA-Training werden mindestens synchronisierte RGB-Videodaten und eine Bewegungstrajektorie benötigt. Leistungsstarke Pipelines ergänzen diese je nach Aufgabenklasse um Tiefeninformationen, Ansichten einer Handgelenkskamera, Audio, IMU-Daten sowie Kraft- oder Drehmomentmessungen. Unabdingbar ist die zeitliche Synchronisierung aller Modalitäten – ohne sie driften die Sprach- und Aktionssignale im Training auseinander.
Wie beurteilt man die Qualität eines VLA-Datensatzes vor dem Training?
Die Evaluierung eines VLA-Datensatzes erfolgt anhand von vier Kriterien: Genauigkeit der Sprach-Aktions-Zuordnung, Konsistenz der Episodensegmentierung, Abdeckung des Aktionsraums und Repräsentation von Sonderfällen. Eine stichprobenbasierte manuelle Überprüfung mit Kalibrierung anhand eines Goldsets ist der zuverlässigste Ausgangspunkt. Eine Übereinstimmung von über 95 % zwischen den Annotatoren bei den Aktionsbezeichnungen gilt üblicherweise als Produktionsschwelle.
Sind VLA-Trainingsdaten identisch mit Imitationslerndaten?
Die VLA-Trainingsdaten stellen eine Obermenge der Imitationslerndaten dar. Imitationslerndaten konzentrieren sich auf Beobachtungs-Aktions-Paare aus Demonstrationen. VLA-Daten ergänzen diese um Sprachanweisungen, Multitasking-Strukturen und eine umfassende Abdeckung verschiedener Verkörperungen, sodass das Modell über gespeicherte Bewegungsabläufe hinaus generalisieren kann.
