Giảm độ trễ của tác nhân robot bằng cách xử lý song song giữa suy luận và chuyển động
Các kỹ sư đã giảm thời gian hoàn thành nhiệm vụ thực tế của robot từ 18 phút xuống còn 6 phút nhờ tối ưu hóa khung chạy (harness) của tác nhân, sử dụng kernel thường trú và cơ chế thực thi theo đường ống để che giấu độ trễ của mô hình đằng sau các chuyển động
Được dịch tự động từ bản gốc tiếng Anh.
Các tác nhân điều khiển robot đã đạt được điểm số ấn tượng trong các bài kiểm tra mô phỏng, nhưng chúng vẫn quá chậm khi triển khai trên phần cứng thực tế. Một phân tích kỹ thuật gần đây cho thấy mặc dù các mô hình như GPT-6 Astra có thể vượt trội hơn so với các chính sách truyền thống trong môi trường mô phỏng, việc thực thi ngoài đời thực lại bị nghẽn cổ chai bởi khoảng thời gian robot phải chờ đợi vô ích trong khi mô hình tạo ra mã lệnh. Bằng cách tái thiết kế phần mềm khung chạy (software harness) thay vì bản thân mô hình, các nhà nghiên cứu đã giảm thời gian trung vị cho nhiệm vụ gấp khăn từ 18 phút xuống chỉ còn sáu phút.
Chuyện gì đã xảy ra
Vấn đề cốt lõi nằm ở cách các tiêu chuẩn đánh giá hiệu suất robot hiện hành được thực hiện. Các trình mô phỏng như RoboDojo sử dụng vòng lặp đánh giá đồng bộ, nơi đồng hồ mô phỏng tạm dừng cho đến khi chính sách trả về hành động tiếp theo. Trong cấu hình này, thời gian cần thiết để một mô hình ngôn ngữ lớn xử lý đầu vào và tạo đầu ra, được gọi là thời gian cho token đầu tiên (TTFT), trở nên vô hình đối với phép đo. Tiêu chuẩn đánh giá dựa trên số lượng bước thực hiện, chứ không phải thời gian thực tế trôi qua. Do đó, những tác nhân tốn nhiều tài nguyên tính toán nhưng hợp lý về mặt logic trông có vẻ rất hiệu quả trong mô phỏng, ngay cả khi chúng khiến robot thực tế đứng yên trong thời gian dài giữa các lần di chuyển.
Khi những tác nhân tương tự được triển khai trên phần cứng vật lý, đồng hồ không bao giờ dừng lại. Robot vẫn đứng yên trong khi mô hình xử lý dữ liệu hình ảnh, lập luận về bước tiếp theo và tạo ra mã Python để thực thi. Trong một trường hợp quan sát được, một robot giải khối rubik mất khoảng một giờ, ngay cả sau khi cắt bỏ các đoạn video tạm dừng. Khoảng trống độ trễ này khiến nhiều tác nhân công nghệ cao trở nên vô dụng cho các nhiệm vụ đòi hỏi tương tác kịp thời với thế giới vật lý. Các nhà nghiên cứu tập trung vào việc thu hẹp khoảng cách này bằng cách tối ưu hóa hạ tầng xung quanh mô hình, cụ thể là các công cụ, quản lý ngữ cảnh và lịch trình thực thi.
Nhóm nghiên cứu đã sử dụng hệ thống robot hai cánh tay với bốn camera và mô hình GPT-6 Astra chạy qua API. Họ không thay đổi kiến trúc mô hình gốc hay quá trình huấn luyện. Thay vào đó, họ sửa đổi khung chạy (harness)—phần mã kết nối mô hình với robot. Bằng cách coi mô hình như một hộp đen và tập trung vào cách các yêu cầu được cấu trúc và thực thi, họ đã giảm đáng kể thời gian chờ đợi. Kết quả là một hệ thống mà robot hoạt động liên tục trong 84% thời gian khi thực hiện nhiệm vụ cầm nắm cốc, so với những khoảng nghỉ dài thường xuyên trong các phiên bản trước đó.
Cách thức hoạt động
Tối ưu hóa chính liên quan đến việc giảm số lượng vòng giao tiếp (round trips) giữa tác nhân và máy chủ robot. Trong các cấu hình thông thường, mỗi lần gọi công cụ đều gây ra chi phí phát sinh do độ trễ mạng và xử lý của mô hình. Các nhà nghiên cứu đã giảm thiểu điều này bằng cách sử dụng kernel Python thường trú. Thay vì khởi động một quy trình mới cho mỗi lệnh, tác nhân chạy mã trong một môi trường tồn tại lâu dài, nơi các thư viện import chỉ được tải một lần duy nhất. Các biến và hàm hỗ trợ được lưu giữ giữa các lần gọi, cho phép mô hình viết các script ngắn gọn, hiệu quả tận dụng logic đã định nghĩa trước đó. Cách tiếp cận này cắt giảm thời gian khởi động cho mỗi hành động từ hàng trăm mili giây xuống còn vài chục mili giây.
Hiệu quả cải thiện thêm nhờ cơ chế xử lý song song giữa suy nghĩ và chuyển động. Trong hệ thống không dùng pipeline, robot phải chờ mô hình hoàn tất việc lập kế hoạch trước khi di chuyển. Trong khung chạy đã được tối ưu hóa, robot bắt đầu thực hiện hành động hiện tại trong khi mô hình đồng thời lập kế hoạch cho hành động tiếp theo. Hệ thống sử dụng cơ chế hàng đợi, nơi các hành động được lên lịch ngầm. Khi robot đang thực hiện một chuyển động, mô hình nhận phản hồi từ bước trước đó và tạo ra lệnh tiếp theo. Nếu mô hình hoàn thành sớm, nó có thể chỉnh sửa các hành động sắp tới; nếu mô hình chậm, robot tiếp tục di chuyển dựa trên kế hoạch hợp lệ cuối cùng. Điều này giúp che giấu phần lớn độ trễ suy luận của mô hình đằng sau thời lượng vật lý của các chuyển động robot.
Chi tiết chính
- Thời gian trung vị cho nhiệm vụ gấp khăn giảm từ khoảng 18 phút xuống còn 6 phút sau khi tối ưu hóa khung chạy.
- Trong nhiệm vụ cầm nắm cốc, robot hoạt động liên tục trong 84% thời gian, giảm đáng kể các khoảng thời gian chờ đợi.
- Hệ thống vẫn gặp tình trạng độ trễ, nơi robot hành động dựa trên dữ liệu hình ảnh cũ khoảng 5 giây.
- Các tiêu chuẩn đánh giá như RoboDojo không phản ánh đúng độ trễ thực tế vì chúng tạm dừng đồng hồ mô phỏng trong quá trình suy luận của mô hình.
- Tác nhân sử dụng GPT-6 Astra ở cấp độ dịch vụ ultrafast với mức nỗ lực suy luận trung bình, truy cập qua API.
- Mã nguồn và công cụ cho khung chạy đã tối ưu hóa, bao gồm một trình mô phỏng nhỏ, có sẵn trên GitHub trong kho lưu trữ fast-rua.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng hệ thống AI nhập vai (embodied AI), nghiên cứu này làm nổi bật sự khác biệt quan trọng giữa tính đúng đắn về logic và hiệu quả về mặt thời gian. Một mô hình có thể tạo ra mã lệnh hoàn hảo cho một nhiệm vụ, nhưng nếu quá trình tạo mã mất quá nhiều thời gian, cơ hội vật lý để thực thi mã đó có thể đã trôi qua. Điều này đặc biệt liên quan đến các môi trường động, nơi các vật thể di chuyển hoặc điều kiện thay đổi nhanh chóng. Việc hiểu rằng độ trễ chủ yếu là vấn đề kỹ thuật của khung chạy, chứ không đơn thuần là tốc độ của mô hình, cho phép các nhóm tập trung vào các tối ưu hóa kiến trúc mang lại cải thiện tức thì trong thực tế mà không cần chờ đợi các mô hình nền tảng nhanh hơn.
Sự chuyển dịch sang cơ chế thực thi theo đường ống cũng thay đổi cách các nhà phát triển nên thiết kế vòng lặp tác nhân. Các mẫu yêu cầu-phản hồi truyền thống không đủ tốt cho robotics thời gian thực. Các hệ thống phải được thiết kế để tách biệt cảm nhận, lập kế hoạch và thực thi, cho phép chúng chồng lấn nhau. Điều này đòi hỏi quản lý trạng thái vững chắc và các cơ chế an toàn, chẳng hạn như hàng rào không gian làm việc và kiểm tra khoảng cách được triển khai trên máy chủ robot, để đảm bảo các hành động bất đồng bộ không dẫn đến va chạm hoặc lỗi. Khi các tác nhân điều khiển robot trở nên phổ biến hơn, những tối ưu hóa ở cấp độ khung chạy sẽ là yếu tố then chốt để đưa chúng vào ứng dụng sản xuất.
Bạn có thể làm gì
- Kiểm toán khung chạy của tác nhân để xác định các vòng giao tiếp không cần thiết giữa mô hình và các công cụ bên ngoài.
- Triển khai các môi trường thực thi thường trú cho các tác nhân tạo mã để tránh chi phí lặp lại của việc import và khởi động.
- Thiết kế các hàng đợi hành động cho phép thực thi vật lý diễn ra trong khi mô hình lập kế hoạch cho các bước tiếp theo.
- Đo lường thời gian thực (wall-clock time) bên cạnh số lượng bước khi đánh giá các tác nhân robot để nắm bắt chính xác độ trễ.
- Sử dụng các API công cụ dạng white-box cho phép mô hình đọc mã nguồn và tạo ra các hàm hỗ trợ một cách động.
- Thử nghiệm các tác nhân trong các trình mô phỏng thời gian thực không tạm dừng trong quá trình suy luận để dự đoán chính xác hơn hiệu suất triển khai trên phần cứng thật.



