KI-Agenten

Reduzierung der Latenz von Roboter-Agenten durch Pipelining von Denken und Bewegung

Ingenieure haben die Bearbeitungszeiten für reale Roboteraufgaben von 18 auf 6 Minuten verkürzt, indem sie das Agent-Harness optimierten. Dabei wurden persistente Kernel und pipelinede Ausführung genutzt, um die Modell-Latenz hinter den physischen Bewegungen z

Illustration eines Roboterarms, der ein Handtuch faltet, neben einer digitalen Pipeline, die die Code-Ausführung darstellt.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Roboter-Agenten erzielen in Simulations-Benchmarks beeindruckende Ergebnisse, sind jedoch bei der Bereitstellung auf physischer Hardware immer noch unpraktisch langsam. Eine aktuelle technische Analyse zeigt, dass Modelle wie GPT-6 Astra zwar traditionelle Richtlinien in simulierten Umgebungen übertreffen können, die reale Ausführung jedoch durch die Zeit begrenzt wird, die der Roboter im Leerlauf wartet, bis das Modell Code generiert. Durch die Neugestaltung des Software-Harness anstelle des Modells selbst konnten Forscher die Medianzeit für eine Aufgabe zum Falten eines Handtuchs von 18 Minuten auf nur sechs Minuten reduzieren.

Was passiert ist

Das Kernproblem liegt darin, wie Standard-Benchmarks die Leistung von Robotern bewerten. Simulatoren wie RoboDojo verwenden einen synchronen Evaluierungs-Loop, bei dem die Simulationsuhr pausiert, bis die Richtlinie ihre nächste Aktion zurückgibt. In diesem Setup ist die Zeit, die ein großes Sprachmodell benötigt, um Eingaben zu verarbeiten und Ausgaben zu generieren – bekannt als Time to First Token (TTFT) – effektiv unsichtbar. Der Benchmark misst den Erfolg anhand der Anzahl der ausgeführten Schritte, nicht der verstrichenen Echtzeit. Folglich erscheinen rechnerisch aufwendige, aber logisch korrekte Agenten in der Simulation hocheffizient, auch wenn sie dazu führen würden, dass ein realer Roboter zwischen den Bewegungen lange stillsteht.

Wenn dieselben Agenten auf physischer Hardware bereitgestellt werden, stoppt die Uhr nie. Der Roboter bleibt stationär, während das Modell visuelle Daten verarbeitet, über den nächsten Schritt nachdenkt und Python-Code zur Ausführung generiert. In einem beobachteten Fall benötigte ein Roboter etwa eine Stunde, um einen Würfel zu lösen, selbst nachdem Video-Pausen herausgeschnitten worden waren. Diese Latenzlücke macht viele State-of-the-Art-Agenten für Aufgaben unbrauchbar, die eine zeitnahe Interaktion mit der physischen Welt erfordern. Die Forscher konzentrierten sich darauf, diese Lücke zu schließen, indem sie die Infrastruktur rund um das Modell optimierten, insbesondere Tools, Kontextmanagement und Ausführungsplanung.

Das Team verwendete einen Zwei-Arm-Roboter mit vier Kameras und GPT-6 Astra, der über eine API lief. Sie änderten weder die zugrunde liegende Modellarchitektur noch das Training. Stattdessen modifizierten sie das Harness – den Code, der das Modell mit dem Roboter verbindet. Indem sie das Modell als Black Box behandelten und sich darauf konzentrierten, wie Anfragen strukturiert und ausgeführt wurden, reduzierten sie die Leerlaufzeit erheblich. Das Ergebnis war ein System, in dem der Roboter während einer Aufgabe zum Hantieren mit Tassen zu 84 % in Bewegung war, verglichen mit häufigen langen Pausen in früheren Implementierungen.

Wie es funktioniert

Die primäre Optimierung bestand darin, die Anzahl der Round-Trips zwischen dem Agenten und dem Roboterserver zu reduzieren. In typischen Setups verursacht jeder Tool-Aufruf Overhead durch Netzwerklatenz und Modellverarbeitung. Die Forscher minimierten dies durch die Verwendung eines persistenten Python-Kernels. Anstatt für jeden Befehl einen neuen Prozess zu starten, führt der Agent Code in einer langlebigen Umgebung aus, in der Importe nur einmal bezahlt werden. Variablen und Hilfsfunktionen bleiben über Aufrufe hinweg erhalten, sodass das Modell kurze, effiziente Skripte schreiben kann, die zuvor definierte Logik nutzen. Dieser Ansatz verkürzt die Startzeit für jede Aktion von Hunderten Millisekunden auf Zehner Millisekunden.

Weitere Effizienzgewinne ergaben sich aus dem Pipelining von Denken und Bewegung. In einem nicht-pipelineden System wartet der Roboter, bis das Modell die Planung abgeschlossen hat, bevor es sich bewegt. Im optimierten Harness beginnt der Roboter mit der Ausführung der aktuellen Aktion, während das Modell gleichzeitig die nächste plant. Das System nutzt einen Queue-Mechanismus, bei dem Aktionen im Hintergrund geplant werden. Während der Roboter eine Bewegung ausführt, erhält das Modell Feedback vom vorherigen Schritt und generiert den folgenden Befehl. Wenn das Modell früh fertig wird, kann es kommende Aktionen überarbeiten; wenn es langsam ist, setzt der Roboter die Bewegung basierend auf dem letzten gültigen Plan fort. Dies verbirgt den Großteil der Inferenz-Latenz des Modells hinter der physischen Dauer der Roboterbewegungen.

Wichtige Details

  • Die Medianzeit für eine Aufgabe zum Falten eines Handtuchs sank nach der Optimierung des Harness von etwa 18 Minuten auf 6 Minuten.
  • Während einer Aufgabe zum Hantieren mit Tassen war der Roboter zu 84 % in Bewegung, was die Leerlaufzeiten erheblich reduzierte.
  • Das System erfährt weiterhin eine Latenzverzögerung, bei der der Roboter auf visuellen Daten handelt, die etwa 5 Sekunden alt sind.
  • Benchmarks wie RoboDojo spiegeln die reale Latenz nicht wider, da sie die Simulationsuhr während der Modell-Inferenz pausieren.
  • Der Agent verwendet GPT-6 Astra im Ultrafast-Service-Tier mit mittlerem Reasoning-Aufwand, zugegriffen über eine API.
  • Code und Tools für das optimierte Harness, einschließlich eines kleinen Simulators, sind auf GitHub im Repository fast-rua verfügbar.

Warum das wichtig ist

Für Ingenieure, die Embodied-AI-Systeme entwickeln, hebt diese Arbeit eine kritische Unterscheidung zwischen logischer Korrektheit und zeitlicher Effizienz hervor. Ein Modell kann perfekten Code für eine Aufgabe generieren, aber wenn der Generierungsprozess zu lange dauert, kann die physische Möglichkeit, diesen Code auszuführen, verstreichen. Dies ist besonders relevant für dynamische Umgebungen, in denen sich Objekte bewegen oder Bedingungen schnell ändern. Zu verstehen, dass Latenz primär ein Problem des Harness-Engineerings ist und nicht allein ein Problem der Modellgeschwindigkeit, ermöglicht es Teams, sich auf architektonische Optimierungen zu konzentrieren, die sofortige Verbesserungen in der realen Welt bringen, ohne auf schnellere Basismodelle warten zu müssen.

Der Wechsel zur pipelineden Ausführung verändert auch, wie Entwickler Agent-Loops gestalten sollten. Traditionelle Request-Response-Muster sind für Echtzeit-Robotik unzureichend. Systeme müssen so entworfen werden, dass Wahrnehmung, Planung und Ausführung entkoppelt sind und sich überlappen können. Dies erfordert robustes Zustandsmanagement und Sicherheitsmechanismen, wie die im Roboterserver implementierten Workspace-Fences und Distanzprüfungen, um sicherzustellen, dass asynchrone Aktionen nicht zu Kollisionen oder Fehlern führen. Da Roboter-Agenten immer verbreiteter werden, werden diese Optimierungen auf Harness-Ebene entscheidend sein, um sie in Produktionsumgebungen praktikabel zu machen.

Was Sie tun können

  • Überprüfen Sie Ihr Agent-Harness, um unnötige Round-Trips zwischen dem Modell und externen Tools zu identifizieren.
  • Implementieren Sie persistente Ausführungsumgebungen für codegenerierende Agenten, um wiederholte Import- und Startkosten zu vermeiden.
  • Entwerfen Sie Aktions-Warteschlangen, die es ermöglichen, dass die physische Ausführung fortschreitet, während das Modell die nächsten Schritte plant.
  • Messen Sie neben der Schrittzahl auch die Echtzeit, wenn Sie Roboter-Agenten evaluieren, um die tatsächliche Latenz zu erfassen.
  • Verwenden Sie White-Box-Tool-APIs, die es dem Modell ermöglichen, Quellcode zu lesen und Hilfsfunktionen dynamisch zu generieren.
  • Testen Sie Agenten in Echtzeit-Simulatoren, die während der Inferenz nicht pausieren, um die Leistung bei der physischen Bereitstellung besser vorherzusagen.
  • #robotics
  • #llm ops
  • #latency
  • #agent engineering
  • #automation

Tools aus dem Bytechap-Shop

Weiterlesen

KI-Agenten

Code-Review im Zeitalter von KI-Agenten neu denken

Robert C. Martin und Branchenführer argumentieren, dass Ingenieure vom zeilenweisen Lesen des Codes zum Überprüfen von Absichten, Kriterien und architektonischen Entscheidungen wechseln müssen, da KI immer mehr Software generiert.

KI-Agenten

ClawDOS: KI-Coding-Agent auf historischer IBM-PC-Hardware

Ein neues Projekt ermöglicht es Claude, Code direkt auf einem IBM PC mit 8088-Prozessor zu schreiben, zu kompilieren und auszuführen – eine Brücke zwischen modernen KI-APIs und den Hardware-Beschränkungen der 1980er-Jahre.

Alle Artikel