Die Entwicklung einer praxistauglichen Roboterstrategie ist kein reines Computerproblem mehr, sondern ein Datenproblem. Teams im Bereich der verkörperten KI haben drei Möglichkeiten, ihre Modelle mit Daten zu versorgen: Teleoperation, Simulation und Videoanalyse von menschlichen Interaktionen. Jede dieser Optionen hat unterschiedliche Kosten, eine unterschiedliche Genauigkeit und unterschiedliche Grenzen für das Lernvermögen des Roboters. Die Wahl der falschen Datenquelle kann sechs Monate und ein siebenstelliges Budget verschlingen, bevor man die Folgen bemerkt. Dieser Leitfaden analysiert die einzelnen Datenquellen für verkörperte KI, ihre Stärken und Schwächen und zeigt, wie sie zu einer produktionsreifen Trainingsdatenstrategie für Roboter kombiniert werden können.
Wichtige Erkenntnisse
- Die Teleoperation liefert die präzisesten Daten, stößt aber bei 5–50 Episoden pro Bedienerstunde an ihre Grenzen.
- Simulationen erzeugen zwar auf kostengünstige Weise Millionen von Episoden, führen aber zu einer Diskrepanz zwischen Simulation und Realität, die bei Aufgaben mit hohem Kontaktaufkommen zum Scheitern führt.
- Videos von Menschen lassen sich mühelos skalieren, es fehlen jedoch Beschriftungen für Roboteraktionen und es besteht eine Lücke in der Verkörperung.
- Aktuelle Forschungsergebnisse zeigen, dass etwa 8 Simulationsbeispiele den Wert eines teleoperierten Beispiels für Aufgaben innerhalb des Anwendungsbereichs liefern.
- Die meisten Produktions-Pipelines für verkörperte KI kombinieren alle drei Quellen, anstatt sich für eine zu entscheiden.
Warum sind Daten der Flaschenhals bei verkörperter KI?
Daten stellen den Engpass bei verkörperter KI dar, da aktionsbezogene sensomotorische Daten nicht im Internetmaßstab verfügbar sind. Ein Sprachmodell kann zwar eine Billion aus dem Web extrahierte Textbausteine verarbeiten, doch eine Roboterstrategie benötigt synchronisierte Gelenkwinkel, Greiferkräfte, Kamerabilder und den Aufgabenkontext – allesamt während der physischen Manipulation aufgezeichnet. Nichts davon ist kostenlos.
Die Diskrepanz ist eklatant. Weltweit sind über 3.9 Millionen Industrieroboter im Einsatz (IFR World Robotics, 2024), doch der größte öffentlich zugängliche Datensatz für Robotermanipulation umfasst lediglich etwa 1 Million Episoden (Open X-Embodiment, Padalkar et al., 2023). Die Hardware ist allgegenwärtig, die Daten hingegen nicht. Jede neue Roboterform – ob einarmiger Manipulator, zweihändiger Humanoider oder mobile Basis mit Arm – erfordert neue Datenanforderungen, da für einen Formfaktor trainierte Richtlinien selten ohne Weiteres auf einen anderen übertragbar sind.
Verkörperungslücke: Der Leistungsverlust, der auftritt, wenn eine für die physische Konfiguration eines Roboters trainierte Richtlinie auf einem anderen Roboter eingesetzt wird.
Deshalb denken Teams für maschinelles Lernen heute nicht nur an die Datenerfassung, sondern auch an Datenstrategien. Die richtige Kombination aus Teleoperation, Simulation und Videoanalyse durch Menschen bestimmt, was Ihr Modell leisten kann, wie schnell es entwickelt werden kann und wie hoch die Kosten dafür sind.
Was sind Teleoperationsdaten und wann sind sie aussagekräftig?
Teleoperationsdaten werden aufgezeichnet, wenn ein menschlicher Bediener einen Roboter in Echtzeit über einen Führungsarm, ein VR-Headset, ein Exoskelett oder eine am Handgelenk befestigte Schnittstelle steuert, während das System synchron jeden Gelenkwinkel, jede Kraftmessung und jedes Kamerabild protokolliert.
Teleoperation: Echtzeit-Steuerung eines Roboters durch einen Menschen mit synchronisierten sensomotorischen Daten, die während der Manipulation aufgezeichnet werden.
Teleoperation überzeugt durch ihre Genauigkeit. Da die Daten von einem erfahrenen Menschen generiert werden, der die exakte Aufgabe am exakten Roboter ausführt, ist die Übereinstimmung von Aktion und Zustand perfekt und die Verkörperungslücke minimal. Imitationslernen, Verhaltensklonen und die Feinabstimmung von Richtlinien profitieren allesamt von einwandfreien Teleoperationsdemonstrationen.
Die Kosten werden erst bei großem Umfang sichtbar. Ein erfahrener Teleoperator produziert je nach Aufgabenkomplexität 5–50 Episoden pro Stunde, und die Qualität nimmt mit zunehmender Ermüdung der Bediener ab. Ein Roboter, ein Bediener – das ist die Obergrenze. Deshalb konzentrieren sich offene Plattformen wie ALOHA, UMI und auf Exoskeletten basierende humanoide Systeme (AgiBot, Fourier GR-1) eher auf Kostensenkung und Durchsatzsteigerung als auf radikale Skalierung.
Shaips Physische KI-Datendienste Teleoperationszellen parallel zu multimodalen Datenerfassungsabläufen betreiben, sodass Robotikteams keine Bedienerpipelines von Grund auf neu entwickeln müssen.
Was sind Simulationsdaten und in welchem Bereich ist ihre Skalierung möglich?
Die Simulationsdaten werden von Physik-Engines – MuJoCo, NVIDIA Isaac Sim, Isaac Lab, PyBullet – generiert, die virtuelle Roboter rendern, welche Aufgaben in Tausenden paralleler Instanzen ausführen. Ein einzelner GPU-Cluster kann über Nacht Millionen von Episoden nahezu ohne zusätzliche Kosten erzeugen.
Simulationen punkten in puncto Skalierbarkeit und Sicherheit. Grenzfälle, Kollisionsfehler und gefährliche Konfigurationen lassen sich untersuchen, ohne die Hardware zu beschädigen. Domänenrandomisierung – die zufällige Variation von Beleuchtung, Texturen, Reibung und Gelenksteifigkeit während des Trainings – erzeugt Strategien, die realen Schwankungen standhalten, anstatt sich an eine einzelne visuelle Konfiguration anzupassen.
Diskrepanz zwischen Simulation und Realität: Der Leistungsabfall, der entsteht, wenn eine in der Simulation trainierte Strategie auf physischer Hardware eingesetzt wird, wird üblicherweise durch Kontaktdynamik, Sensorauschen und Unterschiede in der visuellen Wiedergabetreue verursacht.
Die Kosten zeigen sich erst bei der Implementierung. Simulatoren bilden weder die Reibung eines feuchten Seifenstücks noch die Nachgiebigkeit von Schaumstoffverpackungen oder die optische Veränderung von spiegelndem Metall unter Leuchtstoffröhren ab. Gerade bei Aufgaben mit vielen Kontakten stößt die Simulation häufig an ihre Grenzen. Eine 2025 veröffentlichte Studie quantifizierte diesen Zielkonflikt: Etwa acht Simulationsbeispiele liefern den gleichen Nutzen wie ein einziges ferngesteuertes Beispiel für Manipulationsaufgaben im realen Anwendungsbereich (Data Utilization Law for Robotic Manipulation, 2025).
Fotorealistische Rendering-Plattformen wie NVIDIA Cosmos und 3D Gaussian Splatting verringern die visuelle Lücke, aber die dynamische Lücke – Reibung, Verformung, Nachgiebigkeit – bleibt das größere Problem.
Was sind menschliche Videodaten und welche Erkenntnisse ermöglichen sie?
Human Video-Daten sind Aufnahmen von Personen, die manipulative Tätigkeiten ausführen – Wäsche falten, Geschirr stapeln, Bauteile zusammenbauen –, die von egozentrischen Kameras, aus Überwachungsperspektiven oder in kuratierten Demonstrationssets aufgenommen wurden.
Videoaufnahmen mit menschlichen Protagonisten sind kostengünstig und vielseitig. Eine einzelne Person mit einem Smartphone kann an einem Nachmittag Hunderte von Demonstrationen in Küchen, Garagen, Fabriken und Büros aufzeichnen. Weder Roboter noch Labore oder Bedienerschulungen sind erforderlich. Große, mit Videoaufnahmen von menschlichen Protagonisten vortrainierte Bild- und Sprachmodelle erwerben ein allgemeines Szenenverständnis, das sich vor der Feinabstimmung gewinnbringend auf Roboterrichtlinien übertragen lässt.
Die Einschränkung besteht in der fehlenden Aktionskennzeichnung. Das Video zeigt eine Hand, die eine Tasse greift; es erfasst jedoch weder die angewendete Kraft noch die Gelenkwinkel, die ein Roboterarm zur Nachahmung dieser Bewegung benötigen würde. Inverse Dynamikmodelle und die Neuausrichtung der Handbewegung auf den Endeffektor können diese Kennzeichnungen teilweise ableiten, die resultierenden Pseudo-Aktionen sind jedoch verrauscht.
Stellen Sie sich ein Startup vor, das einen Küchenroboter entwickelt. Es hat 80,000 Dollar zur Verfügung. Zwanzig Stunden geübte Teleoperation könnten 200 saubere Bewegungsabläufe am Zielarm ermöglichen. Zwanzig Stunden Videoaufnahmen von Nutzern in verschiedenen Privatküchen liefern hingegen mehrere tausend nutzerzentrierte Clips. Die Teleoperation liefert schärfere, die Videoaufnahmen umfassendere Ergebnisse. Der Roboter benötigt beides, in unterschiedlichen Verhältnissen und je nach Trainingsphase.
Teleoperation vs. Simulation vs. menschliches Video: ein direkter Vergleich
| Abmessungen | Teleoperation | Simulation | Menschliches Video |
|---|---|---|---|
| Kosten pro Folge | Hoch (Bediener- + Roboterzeit) | Sehr niedrig (nur Berechnung) | Sehr gering (Zeitaufwand der Mitwirkenden) |
| Durchsatz | 5–50 Episoden/Stunde | Tausende/Stunde pro GPU | Hunderte pro Stunde pro Mitarbeiter |
| Fidelity | Höchste (Null-Ausführungslücke) | Mittel (Abweichung zwischen Simulation und Realität) | Mittel (keine Aktionsbezeichnungen) |
| Aufgabenvielfalt | Begrenzt durch die Betriebszeiten | Durch die Umgebungsgestaltung eingeschränkt | Höchste (reale Vielfalt) |
| Am besten geeignet, | Feinabstimmung, kontaktreiche Aufgaben | Vorschulung, Grenzfälle, Sicherheit | Vortraining, Szenenverständnis |
| Hauptschwäche | Lässt sich nicht skalieren | Sim-to-Real-Transfer | Verkörperungs-Retargeting |
| Typischer Produktionsmix | 5–20 % der Gesamtmenge | 60–80 % der Gesamtmenge | 10–30 % der Gesamtmenge |
Wie wählt man die richtige Datenstrategie für verkörperte KI?
Die Wahl der richtigen Strategie für Trainingsdaten eines Roboters beginnt mit dem Einsatzziel, nicht mit der Datenquelle. Ein Pick-and-Place-Roboter in der Fabrik, ein humanoider Haushaltsroboter und ein OP-Assistent haben grundverschiedene Anforderungen an Genauigkeit, Sicherheit und Darstellung – und daher auch grundverschiedene ideale Datenmischungen.
Ein praktischer Drei-Schritte-Plan:
- Vorbereitendes Training anhand von Simulationen und Videoaufnahmen von Menschen. Nutzen Sie Simulationen, um Szenen, Objekte und Sicherheitsgrenzfälle umfassend abzudecken. Ergänzen Sie diese durch egozentrische Videos von Menschen, um natürliche Manipulationsmuster und realistische visuelle Vielfalt zu berücksichtigen. Diese Phase ist kostengünstig und deckt einen großen Umfang ab.
- Anker mit Teleoperation am Zielbauteil. Sammeln Sie 500 bis 2,000 hochwertige Teleoperations-Episoden genau des Roboters, den Sie einsetzen möchten. Diese Phase ist zwar kostspielig, aber unersetzlich – sie verankert die Strategie in der realen Dynamik.
- Iteriere mit dem Daten-Flywheel. Nach der Bereitstellung sollten autonome Rollouts und Fehlerfälle erfasst werden. Diese Daten fließen zusammen mit neuen Teleoperations- und Benutzervideos in den nächsten Trainingszyklus ein.
Man kann es sich wie die Ausbildung eines Kochs vorstellen. Simulation ist wie eine Kochschule – breit gefächert, kostengünstig und fehlertolerant. Videoanalyse bedeutet, Tausende von Kochvideos anzusehen – ein breiter Kontext, aber keine eigene Küche. Teleoperation ist das praktische Praktikum in der Küche, in der man später arbeiten wird – langsam, teuer und unersetzlich. Kein ernsthafter Koch verzichtet auf eine dieser drei Methoden.
Shaips multimodale Datenerfassung und Annotations-Workflows Sie sind so konzipiert, dass sie alle drei Ebenen unterstützen – Teleop-Zellenoperationen, Simulationskennzeichnung und egozentrische Videoerfassung durch ein globales Netzwerk von mehr als 500 Mitwirkenden –, damit Robotikteams eine Hybridstrategie orchestrieren können, ohne fünf Anbieter miteinander verbinden zu müssen.
Fazit
Die Debatte um Teleoperation, Simulation und menschliche Videoanalyse wird 2026 eine klare Antwort finden: Es geht nicht um eine Wahl, sondern um die Kombination verschiedener Technologien. Teleoperation ermöglicht hohe Genauigkeit, Simulation Skalierbarkeit und menschliche Videoanalyse Vielfalt. Produktionsfähige KI-Pipelines kombinieren alle drei Ansätze, gewichtet nach Einsatzziel, Implementierung und Budget. Die Teams, die im nächsten Jahrzehnt des maschinellen Lernens erfolgreich sein werden, sind nicht diejenigen, die die günstigste Lösung wählen, sondern diejenigen, die die intelligenteste Kombination zusammenstellen.
Worin besteht der Unterschied zwischen Teleoperations- und Simulationsdaten für das Robotertraining?
Teleoperationsdaten werden während der Echtzeitsteuerung eines physischen Roboters durch einen Menschen aufgezeichnet und erzeugen hochpräzise Aktions-Zustands-Paare ohne jegliche Diskrepanz zwischen Simulation und Realität. Simulationsdaten werden in Physik-Engines wie MuJoCo oder NVIDIA Isaac Sim generiert, was zwar eine hohe Skalierbarkeit zu geringen Kosten ermöglicht, aber eine Diskrepanz zwischen Simulation und Realität mit sich bringt. Teleoperation eignet sich am besten zur Feinabstimmung einer Strategie, während Simulationen optimal für das Vortraining und Grenzfälle sind.
Wie viele Teleoperationsdaten benötigt man, um eine Roboterstrategie zu trainieren?
Die Anforderungen an die Teleoperation hängen davon ab, ob das Modell vortrainiert oder von Grund auf neu trainiert wurde. Eine anhand von Simulationen und Videos von Menschen vortrainierte Strategie konvergiert typischerweise mit 500–2,000 Teleoperations-Episoden pro Zielaufgabe. Ohne Vortraining steigt der Bedarf sprunghaft auf über 10,000 Episoden. Cross-Embodiment-Vortrainingsdatensätze wie Open X-Embodiment reduzieren den Teleoperationsaufwand in der Feinabstimmungsphase erheblich.
Kann menschliches Video die Teleoperation beim Training verkörperter KI ersetzen?
Menschliche Videoaufnahmen können die Teleoperation nicht vollständig ersetzen, da ihnen die expliziten Aktionsdaten des Roboters fehlen – wie Kraftmesswerte, Gelenkwinkel und Greiferzustände –, die für das Imitationslernen erforderlich sind. Inverse Dynamikmodelle können zwar partielle Aktionsdaten ableiten, doch die darauf basierenden Strategien sind weniger leistungsfähig als jene, die durch reale Teleoperation feinabgestimmt wurden. Menschliche Videoaufnahmen sind daher am wertvollsten als Grundlage für das Vortraining und das Verständnis der Szene, die in einer Phase der Feinabstimmung der Teleoperation eingesetzt werden.
Worin besteht die Diskrepanz zwischen Simulation und Realität und wie lässt sie sich schließen?
Die Simulations-Real-Lücke beschreibt den Leistungsabfall, der auftritt, wenn eine in der Simulation trainierte Strategie auf physischer Hardware eingesetzt wird. Zu den Methoden, diese Lücke zu schließen, gehören Domänenrandomisierung (Variation von Beleuchtung, Texturen und Reibung während des Trainings), fotorealistische Rendering-Plattformen wie NVIDIA Cosmos, 3D-Gaussian-Splatting zur Szenenrekonstruktion und Systemidentifikation zur Anpassung an die physikalischen Parameter des realen Roboters. Die meisten Produktionspipelines kombinieren mehrere Methoden und eine Feinabstimmungsphase per Teleoperation.
Welche Datenquelle eignet sich am besten für das Training humanoider Roboter im Jahr 2026?
Das Training humanoider Roboter profitiert am meisten von einer mehrschichtigen Strategie: Simulation für Fortbewegung und Ganzkörpersteuerung, Exoskelett-basierte Teleoperation für präzise Manipulation und große egozentrische Videodatensätze für das Verständnis natürlicher Szenen. Offene Datensätze wie AgiBot World und Open X-Embodiment ermöglichen ein plattformübergreifendes Vortraining, während benutzerdefinierte Teleoperationszellen die Strategie an die spezifische Kinematik des Zielhumanoiden anpassen.
