Định tuyến quyết định không cần huấn luyện cho các mô hình MLX cục bộ trên Apple Silicon

Một thư viện Python mã nguồn mở mới mang tên MLX Direct Decider cho phép các nhà phát triển xây dựng công cụ ra quyết định không cần huấn luyện bằng cách sử dụng các mô hình học máy hiện có trên phần cứng Apple Silicon. Được phát hành vào giữa tháng 10 năm 2026, công cụ này giúp các mô hình ngôn ngữ lớn (LLM) chạy cục bộ thực hiện việc lựa chọn hành động, phân loại và định tuyến ngữ nghĩa mà không yêu cầu fine-tuning bổ sung hay trọng số quyết định riêng biệt.

Dự án hướng tới các kỹ sư đang xây dựng ứng dụng AI cục bộ và cần đầu ra có cấu trúc đáng tin cậy từ các mô hình tạo sinh. Bằng cách tận dụng các khả năng gốc của framework MLX, nó cung cấp một phương pháp nhẹ nhàng để chuyển đổi các yêu cầu bằng ngôn ngữ tự nhiên thành các định danh nghiệp vụ ổn định hoặc trạng thái từ chối rõ ràng.

Điều gì đã xảy ra

MLX Direct Decider là một thư viện thử nghiệm được thiết kế để trích xuất các quyết định trực tiếp từ output logits của các checkpoint MLX-LM và MLX-VLM tương thích. Thay vì tạo ra các đoạn văn bản nối tiếp phải được phân tích sau đó, thư viện đọc điểm số của các ứng viên từ chính head output gốc không thay đổi của mô hình. Cách tiếp cận này cho phép các ứng dụng chọn hành động, trả lời câu hỏi boolean hoặc định tuyến ngữ nghĩa dựa trên trạng thái ứng dụng hiện tại và lời nói của người dùng.

Hệ thống hỗ trợ các lựa chọn động, nghĩa là các nhà phát triển có thể cập nhật các hành động được phép khi trạng thái ứng dụng thay đổi trong khi vẫn duy trì các ID nghiệp vụ ổn định. Nó xử lý tường minh các trường hợp không có hành động hợp lệ nào bằng cách trả về kết quả no_match hoặc abstain. Thư viện tích hợp qua API Python, giao diện dòng lệnh (CLI) hoặc dịch vụ HTTP text cục bộ, chỉ yêu cầu Python ARM native phiên bản 3.11 trở lên và một checkpoint mô hình cục bộ.

Phiên bản 0.1 vẫn ở giai đoạn thử nghiệm và chưa được công bố trên PyPI. Nó hỗ trợ các quyết định dạng văn bản thông qua MLX-LM và các quyết định kết hợp văn bản-hình ảnh thử nghiệm thông qua MLX-VLM. Dự án bao gồm các checkpoint đã được xác minh cho các mô hình như Qwen và cung cấp các công cụ bảo vệ phiên bản để từ chối các quyết định lỗi thời sau khi trạng thái thay đổi.

Cơ chế hoạt động

Cơ chế cốt lõi bỏ qua quá trình tạo văn bản truyền thống cho các tác vụ ra quyết định. Khi một ứng dụng gửi yêu cầu chứa trạng thái, lời nói của người dùng và danh sách các lựa chọn được phép, mô hình sẽ xử lý prompt như bình thường. Tuy nhiên, thay vì lấy mẫu token để tạo thành câu, thư viện chặn các logits tại vị trí cuối cùng của chuỗi. Các logits này đại diện cho điểm độ tin cậy của mô hình đối với từng token hoặc ứng viên tiềm năng.

Công cụ ánh xạ các điểm thô này sang các ứng viên được cung cấp và chọn ứng viên có độ ổn định cao nhất. Phương pháp này tránh được chi phí tính toán của việc tạo phản hồi văn bản đầy đủ và các lỗi phân tích cú pháp thường gặp khi trích xuất JSON từ LLM. Đối với các tác vụ thị giác, backend MLX-VLM thực hiện các thao tác tương tự trên đầu vào kết hợp văn bản và hình ảnh, mặc dù hiện tại nó tính toán lại toàn bộ ngữ cảnh cho mỗi yêu cầu.

Việc tái sử dụng prefix là một tính năng tối ưu hóa quan trọng. Hệ thống cho phép tái sử dụng ngữ cảnh ổn định trong khi đánh giá các lời nói mới, giảm độ trễ cho các quyết định tiếp theo trên cùng một trang hoặc trạng thái. Tuy nhiên, các câu trả lời cuối cùng không bao giờ được lưu vào cache để đảm bảo tính mới. Đầu ra bao gồm ID ứng viên, logits thô, điểm số, biên độ (margin) và chi tiết thời gian, giúp các nhà phát triển thấy được mức độ tin cậy của mô hình.

Chi tiết chính

• Không cần fine-tuning: Sử dụng các checkpoint MLX-LM hoặc MLX-VLM hiện có mà không cần huấn luyện thêm hay trọng số chuyên biệt cho quyết định.
• Xử lý từ chối tường minh: Trả về no_match hoặc abstain khi không có hành động phù hợp, ngăn ngừa các lệnh bị ảo giác (hallucinated).
• Hỗ trợ đa phương thức: Hỗ trợ các quyết định chỉ dạng văn bản qua MLX-LM và các quyết định kết hợp văn bản-hình ảnh thử nghiệm qua MLX-VLM.
• Benchmark hiệu suất: Trên máy Apple M2 Max với RAM 64 GiB, Qwen3.5-9B đạt độ chính xác 83,3% trong bài đánh giá 36 trường hợp với độ trễ p50 là 194,8 ms.
• Tùy chọn tích hợp: Khả dụng qua API Python, CLI hoặc dịch vụ HTTP localhost với ủy quyền thực thi có phiên bản.
• Trạng thái thử nghiệm: Phiên bản 0.1 không có trên PyPI và yêu cầu cài đặt thủ công từ kho mã nguồn.

Tại sao điều này quan trọng

Đối với các nhà phát triển xây dựng agent AI cục bộ, độ tin cậy và độ trễ là những nút thắt cổ chai quan trọng. Các phương pháp truyền thống thường liên quan đến việc nhắc nhở mô hình xuất ra JSON hoặc các cấu trúc mã cụ thể, điều này có thể thất bại do lỗi định dạng hoặc giải thích dài dòng. MLX Direct Decider đưa ra một giải pháp thay thế mạnh mẽ hơn bằng cách coi việc ra quyết định là một tác vụ phân loại thay vì tác vụ tạo sinh. Điều này giảm thiểu rủi ro lỗi phân tích cú pháp và cung cấp tín hiệu rõ ràng hơn khi mô hình không chắc chắn.

Khả năng chạy hoàn toàn các quyết định này trên thiết bị mà không phụ thuộc vào đám mây giúp nâng cao quyền riêng tư và giảm chi phí vận hành. Bằng cách tái sử dụng các trọng số mô hình mà các nhà phát triển có thể đã có cho các tác vụ chat hoặc completion, thư viện hạ thấp rào cản để triển khai các hành vi agent phức tạp. Nó cho phép tích hợp chặt chẽ hơn giữa mô hình AI và quản lý trạng thái nội bộ của ứng dụng, đảm bảo rằng các hành động được xác thực dựa trên ngữ cảnh hiện tại trước khi thực thi.

Tuy nhiên, tính chất thử nghiệm của công cụ có nghĩa là nó chưa phải là giải pháp drop-in cho các hệ thống production. Độ chính xác khác nhau đáng kể giữa các mô hình, như thấy trong các benchmark nơi GLM-4.7-Flash chỉ đạt độ chính xác 58,3% so với 86,1% của Gemma. Các nhà phát triển phải cẩn thận đánh giá hiệu suất mô hình cho các trường hợp sử dụng cụ thể của họ và triển khai các lớp bảo vệ chống lại các hành động sai lệch, vì các điểm số không phải là xác suất hiệu chỉnh của tính đúng đắn.

Bạn có thể làm gì

• Nhân bản (clone) kho mã từ GitHub và cài đặt thư viện trong môi trường ảo sử dụng Python 3.11+ trên Apple Silicon.
• Kiểm tra checkpoint Qwen3.5-9B được cung cấp với bộ đánh giá 36 trường hợp đi kèm để đo lường hiệu suất cơ sở.
• Tích hợp API Python vào một ứng dụng cục bộ để xử lý các quyết định enum hoặc boolean bằng các mô hình MLX-LM hiện có của bạn.
• Thử nghiệm với backend MLX-VLM cho các tác vụ quyết định đơn giản dựa trên hình ảnh, lưu ý hạn chế hiện tại là việc tính toán lại toàn bộ ngữ cảnh.
• Triển khai kiểm tra phiên bản trạng thái trong ứng dụng của bạn để đảm bảo rằng các quyết định chỉ được thực thi nếu trạng thái ứng dụng không thay đổi kể từ khi yêu cầu được gửi.
• Xem xét phương pháp luận kiểm thử chi tiết và các trường hợp thất bại trong tài liệu dự án để hiểu rõ giới hạn của việc chấm điểm trực tiếp từ logits.