Chỉnh sửa trọng số trực tiếp giúp tăng hiệu suất robot VLA mà không cần fine-tuning
Một thí nghiệm cho thấy việc tự động điều chỉnh tỷ lệ bốn head attention trong mô hình π0.5 đã cải thiện tỷ lệ thành công khi phân loại đồ vật của robot từ 9 lên 27 trên tổng số 30 lần thử, mà không cần phải huấn luyện lại.
Được dịch tự động từ bản gốc tiếng Anh.
Một bài phân tích kỹ thuật gần đây chứng minh rằng việc thay đổi trực tiếp các trọng số (weights) của mô hình Vision-Language-Action (VLA) có thể cải thiện đáng kể hiệu suất thao tác của robot mà không cần bất kỳ quá trình fine-tuning hay retraining nào. Vào tháng 11 năm 2026, nhà nghiên cứu Abdul Rahim Mirani đã hợp tác với mô hình AI Opus 5.5 để chẩn đoán và khắc phục các chế độ lỗi (failure modes) trong chính sách DROID π0.5 công khai bằng cách tự động điều chỉnh tỷ lệ các head attention cụ thể.
Chuyện gì đã xảy ra
Thí nghiệm tập trung vào hai nhiệm vụ thao tác mô phỏng sử dụng cánh tay Franka và kẹp Robotiq trong môi trường Isaac Sim. Nhiệm vụ chính là phân loại các khối màu vào thùng chứa, trong khi nhiệm vụ phụ yêu cầu đặt cốc vào giỏ. Mô hình gốc gặp khó khăn với nhiệm vụ phân loại, chỉ thành công ở 9 trên 30 lượt thực hiện. Nguyên nhân chính gây thất bại mang tính cơ học: robot di chuyển các khối quá thấp, khiến kẹp vướng vào mép thùng và kéo lê nó khỏi bàn.
Opus 5.5 đã phân tích những thất bại này và xác định rằng việc nhận diện màu sắc rất chính xác, nhưng độ cao quỹ đạo di chuyển lại không đủ. Thay vì huấn luyện lại mô hình trên dữ liệu mới, AI này đã viết mã để kiểm tra các thay đổi ứng viên đối với trọng số nội bộ của mô hình. Nó xác định được bốn head attention cụ thể hoạt động như những "núm vặn" điều khiển độ cao nâng. Bằng cách nhân đầu ra của bốn head này với ba, hành vi của mô hình đã thay đổi mạnh mẽ. Mô hình sau khi chỉnh sửa đạt được 27 lượt phân loại thành công trên tổng số 30, với zero trường hợp làm đổ thùng chứa.
Điều quan trọng là bản chỉnh sửa này được thiết kế chỉ dựa trên dữ liệu của nhiệm vụ phân loại. Khi các nhà nghiên cứu kiểm tra mô hình đã chỉnh sửa trên nhiệm vụ không liên quan là đặt cốc vào giỏ, hiệu suất cũng được cải thiện. Số lần thành công tăng từ 20 lên 27 trên 30 lượt, và thời gian hoàn thành trung bình giảm từ 44 giây xuống còn 32 giây. Robot đã nâng cốc cao hơn, tránh được va chạm, mặc dù nó không khắc phục được tất cả các lỗi, chẳng hạn như thỉnh thoảng vẫn nắm nhầm vật thể.
Cách thức hoạt động
Kiến trúc π0.5 bao gồm hai transformer kết nối với nhau: một mô hình vision-language lớn với 2 tỷ tham số xử lý hình ảnh camera và chỉ dẫn, cùng một "action expert" nhỏ hơn với 300 triệu tham số xuất ra các mục tiêu chuyển động. Tổng cộng, chúng chứa 288 head attention. Mỗi head đóng góp những điều chỉnh nhỏ vào bước di chuyển tiếp theo của robot. Các nhà nghiên cứu đã coi những head này là các tham số có thể điều chỉnh thay vì các đặc trưng cố định đã được học.
Để tìm ra giải pháp phù hợp, Opus 5.5 đã kiểm tra hệ thống từng head bằng cách tắt hoặc nhân đôi ảnh hưởng của chúng và đo lường độ cao vận chuyển khối resulting. Bốn head được xác định là có mối quan hệ tuyến tính với độ cao nâng: việc tăng tỷ lệ của chúng làm tăng độ cao vận chuyển mà không làm thay đổi cách robot nắm giữ vật thể. Nhân bốn head này với ba đã nâng độ cao vận chuyển trung bình thêm 2,3 cm, đủ để vượt qua mép thùng cao 10,5 cm. Quá trình này chỉ thay đổi 1,57 triệu trong số 3,35 tỷ trọng số của mô hình, tương đương chỉ 0,05% tổng số tham số.
Chi tiết chính
- Mô hình sử dụng: Checkpoint công khai
pi05_droid_jointpos, chạy trong Isaac Sim với cánh tay Franka. - Kết quả chính: Tỷ lệ thành công khi phân loại màu tăng từ 9/30 lên 27/30 lượt sau khi chỉnh sửa.
- Kết quả phụ: Tỷ lệ thành công khi đặt cốc vào giỏ tăng từ 20/30 lên 27/30, mặc dù nhiệm vụ này không được dùng trong quá trình thiết kế bản chỉnh sửa.
- Phương pháp: Bốn head attention được nhân với hệ số 3; không sử dụng gradient descent hay dữ liệu huấn luyện.
- Thay đổi trọng số: Chỉ 1,57 triệu trọng số bị thay đổi trong tổng số 3,35 tỷ tham số.
- Hạn chế: Bản chỉnh sửa chỉ được kiểm tra trong môi trường mô phỏng; nó thỉnh thoảng gây ra lỗi phân loại sai màu khi cả hai thùng chứa đều có mặt.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng chính sách robot, phương pháp này thách thức giả định rằng hiệu suất kém luôn đòi hỏi nhiều dữ liệu hơn hoặc các đợt fine-tuning tốn kém. Nếu chế độ lỗi của mô hình nằm gọn trong một đặc điểm hành vi cụ thể, chẳng hạn như độ cao quỹ đạo, thì có thể chẩn đoán và khắc phục nó thông qua thao tác trực tiếp trên trọng số. Phương pháp này nhanh hơn và rẻ hơn đáng kể so với việc huấn luyện lại, vì nó bỏ qua nhu cầu về tài nguyên tính toán quy mô lớn và các bộ dữ liệu được chọn lọc kỹ lưỡng.
Tuy nhiên, kỹ thuật này phụ thuộc nhiều vào khả năng diễn giải (interpretability). Các nhà nghiên cứu đã thành công vì họ có thể cô lập một biến cơ học duy nhất—độ cao vận chuyển—và ánh xạ nó tới các head attention cụ thể. Trong các chế độ lỗi phức tạp hơn nơi nhiều biến tương tác với nhau, việc xác định đúng các "núm vặn" có thể khó khăn hơn nhiều. Ngoài ra, rủi ro về các tác dụng phụ không mong muốn vẫn tồn tại, như thấy trong sự gia tăng nhẹ các lỗi trộn lẫn màu sắc ở mô hình đã chỉnh sửa. Điều này gợi ý rằng chỉnh sửa trực tiếp là một công cụ mạnh mẽ cho các bản vá lỗi nhắm mục tiêu nhưng đòi hỏi sự xác thực nghiêm ngặt qua nhiều kịch bản đa dạng.
Những gì bạn có thể làm
- Phân tích các chế độ lỗi: Trước khi huấn luyện lại, hãy trực quan hóa quỹ đạo của robot để xác định các lỗi cơ học nhất quán, chẳng hạn như khoảng trống dưới gầm quá thấp hoặc tốc độ quá cao.
- Thăm dò các head attention: Sử dụng các nghiên cứu ablation để kiểm tra xem từng head attention riêng lẻ ảnh hưởng thế nào đến các biến đầu ra cụ thể như góc khớp hoặc vị trí end-effector.
- Kiểm tra các bản chỉnh sửa nhỏ: Thử điều chỉnh tỷ lệ hoặc đặt về không các tập con nhỏ của trọng số trong môi trường sandbox để xem liệu chúng có hoạt động như các núm vặn điều khiển cho những hành vi cụ thể hay không.
- Xác thực rộng rãi: Luôn kiểm tra các mô hình đã chỉnh sửa trên các nhiệm vụ chưa từng thấy và các trường hợp biên (edge cases) để đảm bảo bản vá lỗi không làm suy giảm hiệu suất chung hoặc giới thiệu các lỗi mới.
- Theo dõi các tác dụng phụ: Theo dõi các chỉ số ngoài tỷ lệ thành công chính, chẳng hạn như tần suất va chạm hoặc thời gian hoàn thành nhiệm vụ, để phát hiện những suy giảm tinh tế.
- Ghi chép bản đồ trọng số: Giữ hồ sơ về việc head nào kiểm soát hành vi nào để xây dựng một thư viện các thành phần dễ diễn giải cho việc gỡ lỗi trong tương lai.



