Xây dựng với AI

Thay thế việc chỉnh sửa trọng số của tác nhân AI bằng quy hoạch tuyến tính

Nghiên cứu về lập trình không gian trọng số từ MIT CSAIL cho thấy một chương trình quy hoạch tuyến tính đơn giản có thể đạt hiệu quả tương đương với các chỉnh sửa trọng số phức tạp của tác nhân AI, mang lại độ chính xác cao hơn với ít thay đổi hơn.

Một khối thủy tinh với các mũi tên vector ngược chiều nhau đại diện cho việc tối ưu hóa không gian trọng số.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Các nhà nghiên cứu tại MIT CSAIL gần đây đã chứng minh rằng các mô hình ngôn ngữ lớn (LLM) có thể trực tiếp chỉnh sửa trọng số của các mạng nơ-ron nhỏ hơn để cải thiện hiệu suất, một kỹ thuật được họ gọi là lập trình không gian trọng số. Trong một phân tích tiếp theo, người ta chỉ ra rằng phần lớn nỗ lực tính toán mà các tác nhân AI này bỏ ra có thể được thay thế bằng các kỹ thuật tối ưu hóa toán học tiêu chuẩn, cụ thể là quy hoạch tuyến tính.

Phát hiện này gợi ý rằng các vòng lặp suy luận phức tạp mà các tác nhân AI sử dụng để sửa đổi nội bộ mô hình có thể là quá mức cần thiết đối với một số loại bản vá lỗi nhất định. Bằng cách định khung vấn đề chỉnh sửa trọng số thành một bài toán tối ưu hóa có ràng buộc, các kỹ sư có thể đạt được kết quả tương đương trong vài phút thay vì hàng giờ, đồng thời sử dụng ít thay đổi tham số hơn đáng kể.

Chuyện gì đã xảy ra

Nghiên cứu ban đầu, có tựa đề Sparks of Weight-Space Programming, cho thấy GPT-6 Astra có thể nhận diện trò chơi từ các trọng số mạng thô và tạo ra các trọng số mới từ luật chơi mà không cần huấn luyện truyền thống. Đáng chú ý hơn, Astra đã chỉnh sửa trọng số của Qwen3.5-0.8B để cải thiện khả năng toán học của nó. Chỉ bằng cách thay đổi 0,016% trọng số, độ chính xác của mô hình trên benchmark MATH-500 đã tăng vọt từ 7,9% lên 48,1%.

Một phân tích kỹ thuật sau đó tiết lộ rằng quy trình chỉnh sửa của Astra chủ yếu là một tìm kiếm thử-sai để giải quyết một bài toán quy hoạch tuyến tính. Tác nhân này đã dành khoảng tám giờ và 28 lần chạy forward pass để xác định những trọng số nào cần thay đổi. Khi cùng mục tiêu đó được định dạng dưới dạng bài toán quy hoạch tuyến tính và giải bằng các thuật toán tiêu chuẩn, nhiệm vụ hoàn thành chỉ trong khoảng một phút mỗi lần giải. Các chỉnh sửa thu được thay đổi ít hơn gấp tám lần số lượng trọng số so với phương pháp của tác nhân, trong khi vẫn duy trì mức cải thiện hiệu suất tương tự.

Cách thức hoạt động

Vấn đề cốt lõi được giải quyết trong các thí nghiệm này là "các vòng lặp suy nghĩ" (thinking loops), nơi các mô hình suy luận nhỏ bị mắc kẹt lặp đi lặp lại cùng một văn bản mà không đi đến kết luận. Trong các mô hình transformer, mỗi lớp thêm một vector vào luồng dự phòng (residual stream). Khi mô hình bị lặp, luồng này dịch chuyển theo một hướng nhất quán, được gọi là hướng lặp (loop direction). Giải pháp liên quan đến việc chỉnh sửa các ma trận trọng số cụ thể để đẩy luồng dự phòng theo hướng ngược lại, qua đó triệt tiêu vòng lặp.

Về mặt toán học, đầu ra của một perceptron đa lớp (MLP) là tổng có trọng số của các vector cột. Phép chỉnh sửa trừ đi một bội số của hướng lặp khỏi các cột này. Điều này tạo ra một thay đổi hạng 1 (rank-1 change) cho ma trận trọng số, được xác định bởi một vector hướng đơn lẻ và một tập hợp các hệ số. Mục tiêu là tìm ra các hệ số đẩy mạnh các token gây lặp ra xa khỏi hướng lặp, trong khi ảnh hưởng tối thiểu đến các token hữu ích.

Việc tìm kiếm các hệ số này có thể được biểu diễn dưới dạng một bài toán quy hoạch tuyến tính với các bất đẳng thức tuyến tính. Hàm mục tiêu là cực tiểu hóa chuẩn L1 của vector hệ số, điều này khuyến khích tính thưa (sparsity), nghĩa là hầu hết các hệ số sẽ bằng không. Các ràng buộc đảm bảo rằng các token gây lặp bị đẩy đủ xa khỏi hướng lặp, trong khi các token hữu ích hầu như không bị xáo trộn. Việc giải hệ thống này sẽ cung cấp tập hợp trọng số tối ưu cần chỉnh sửa.

Chi tiết chính

  • Chỉnh sửa gốc của Astra đã cải thiện độ chính xác MATH-500 của Qwen3.5-0.8B từ 7,9% lên 48,1% bằng cách thay đổi 0,016% trọng số.
  • Tác nhân AI đã dành khoảng tám giờ để tìm kiếm các thay đổi trọng số tối ưu thông qua phương pháp thử và sai.
  • Một công thức quy hoạch tuyến tính đã giải quyết cùng vấn đề đó trong khoảng một phút bằng cách sử dụng trình giải được tăng tốc bởi GPU.
  • Giải pháp quy hoạch tuyến tính thay đổi ít hơn gấp tám lần số lượng trọng số so với chỉnh sửa của tác nhân, trong khi vẫn đạt hiệu suất tương đương.
  • Bản vá chủ yếu hoạt động như một lực đẩy hằng số dọc theo một hướng cụ thể trong luồng dự phòng, tương tự như một vector dẫn đường (steering vector).
  • Sử dụng một hướng heuristic được suy ra từ dấu vết mô hình, thay vì hướng do Astra tạo ra, đã đạt được 93% mức tăng hiệu suất.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng và tối ưu hóa mô hình AI, phân tích này nhấn mạnh rằng các quy trình làm việc phức tạp dựa trên tác nhân không phải lúc nào cũng cần thiết cho các điều chỉnh nội bộ mô hình. Nếu một hành vi có thể được đặc trưng bởi sự dịch chuyển theo hướng trong không gian kích hoạt, các phương pháp tối ưu hóa tiêu chuẩn có thể tìm ra các chỉnh sửa trọng số cần thiết một cách hiệu quả hơn so với một LLM đang mò mẫm qua thử và sai. Điều này giúp giảm đáng kể chi phí tính toán và thời gian.

Hơn nữa, phát hiện cho thấy phép chỉnh sửa chủ yếu hoạt động như một lực đẩy hằng số gợi ý rằng việc chỉnh sửa trọng số trong một số trường hợp có thể được thay thế bằng các vector dẫn đường tại thời điểm suy luận. Các vector dẫn đường dễ triển khai hơn và không yêu cầu sửa đổi checkpoint của mô hình. Tuy nhiên, chỉnh sửa trọng số tạo ra một tệp mô hình độc lập, điều này có thể được ưa chuộng hơn vì sự đơn giản trong triển khai. Hiểu rõ khi nào nên sử dụng mỗi phương pháp là rất quan trọng để tinh chỉnh mô hình hiệu quả.

Việc phụ thuộc vào xác định đúng các lớp và hướng vẫn còn là một thách thức. Mặc dù quy hoạch tuyến tính xử lý việc lựa chọn hệ số một cách hiệu quả, nhưng việc xác định xem nên chỉnh sửa những lớp nào và nhắm tới hướng nào thường vẫn đòi hỏi kiến thức bên ngoài hoặc sự khám phá dựa trên tác nhân. Các công việc trong tương lai sẽ cần giải quyết cách tự động hóa bước thiết lập ban đầu này mà không phụ thuộc vào các mô hình lớn như Astra.

Bạn có thể làm gì

  • Xác định các chế độ thất bại lặp đi lặp lại trong các mô hình ngôn ngữ nhỏ của bạn, chẳng hạn như vòng lặp suy nghĩ hoặc mẫu từ chối trả lời.
  • Trích xuất các kích hoạt của luồng dự phòng cho cả đầu ra thành công và thất bại để xác định các hướng dẫn đường tiềm năng.
  • Định khung việc chỉnh sửa trọng số thành một bài toán quy hoạch tuyến tính để tìm ra các thay đổi thưa và tối ưu cho các ma trận down-projection của MLP.
  • So sánh hiệu suất của chỉnh sửa trọng số với các vector dẫn đường tại thời điểm suy luận để chọn phương pháp triển khai hiệu quả nhất.
  • Sử dụng các trình giải được tăng tốc bởi GPU như PDHG để xử lý hiệu quả số lượng lớn các ràng buộc token trong quá trình tối ưu hóa.
  • Xác thực các chỉnh sửa trên một tập dữ liệu giữ lại (held-out dataset) để đảm bảo rằng các thay đổi có khả năng khái quát hóa và không làm suy giảm các khả năng khác.
  • #ai optimization
  • #linear programming
  • #model internals
  • #weight editing
  • #transformers

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết