AI mở & chạy cục bộ

BotPsy đưa AI tác nhân dưới một tỷ tham số lên các thiết bị biên

Tether AI Research ra mắt BotPsy, mô hình mở trọng số với 0,8B tham số, được tối ưu hóa cho việc sử dụng công cụ trên thiết bị và bảo mật quyền riêng tư.

Một chiếc điện thoại thông minh hiển thị mạng nơ-ron trên một vi mạch, biểu tượng cho AI trên thiết bị.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Tether AI Research đã giới thiệu BotPsy, một mô hình ngôn ngữ mới với 0,8B tham số, được thiết kế đặc biệt cho các quy trình làm việc của tác nhân (agentic) trên thiết bị. Được phát hành vào tháng 11 năm 2026, mô hình có trọng số mở này nhằm cung cấp các tính năng trợ lý cá nhân mạnh mẽ trong khi vẫn giữ dữ liệu người dùng cục bộ và giảm sự phụ thuộc vào cơ sở hạ tầng đám mây.

Điều gì đã xảy ra

Các mô hình ngôn ngữ lớn (LLM) tiên tiến trên đám mây mang lại khả năng to lớn nhưng đi kèm với chi phí vận hành đáng kể và rủi ro về quyền riêng tư. Các nhà cung cấp có thể thay đổi điều khoản truy cập, ngừng hỗ trợ API hoặc sửa đổi mô hình mà không báo trước, tạo ra lỗ hổng cho các nhà phát triển xây dựng sản phẩm phụ thuộc vào họ. Ngoài ra, không phải mọi tác vụ đều cần đến sức mạnh toàn diện của một mô hình khổng lồ, dẫn đến việc sử dụng tài nguyên kém hiệu quả đối với các khối lượng công việc đơn giản, thường xuyên.

Để giải quyết những thách thức này, Tether AI Research đã phát triển BotPsy, một tác nhân chuyên dụng nhỏ gọn được xây dựng dựa trên Qwen3.5-0.8B. Mô hình này được tối ưu hóa cho việc gọi hàm và sử dụng công cụ, cho phép thực hiện các tác vụ như tìm kiếm web, quản lý lịch, xử lý tệp và điều khiển thiết bị trực tiếp trên phần cứng của người dùng. Bằng cách tập trung vào các tác vụ có độ khó từ thấp đến trung bình, BotPsy mang lại hiệu suất cao và độ tin cậy trong việc tuân theo chỉ dẫn mà không gặp phải độ trễ hay chi phí của suy luận dựa trên đám mây.

Phiên bản phát hành bao gồm các trọng số mở theo giấy phép Apache 2.0, giúp nó dễ tiếp cận cho mục đích nghiên cứu và giáo dục. Mô hình có sẵn ở nhiều độ chính xác khác nhau, bao gồm bf16, Q8 và Q4, và được phân phối dưới dạng tệp safetensors của Hugging Face và GGUF tương thích với llama.cpp và SDK QVAC.

Cách hoạt động

BotPsy tận dụng kiến trúc gọn nhẹ để đạt được hiệu suất hàng đầu trong phân khúc kích thước của mình. Mặc dù chỉ có 0,8 tỷ tham số, nó vượt trội hơn các mô hình lớn hơn như Qwen3.5-2B-Think trên năm trong sáu bài kiểm tra chuẩn benchmark chính về tác nhân. Hiệu quả này đạt được thông qua quá trình huấn luyện chuyên biệt nhằm nâng cao khả năng sử dụng công cụ trong khi vẫn duy trì kiến thức tổng quát.

Mô hình nổi bật ở khả năng biết khi nào nên hành động và khi nào nên kiềm chế. Trong các bài kiểm tra ảo giác (hallucination), nó từ chối đúng cách việc sử dụng công cụ khi không có lựa chọn phù hợp, đạt điểm 86.1 trên BFCL v4. Nó cũng xử lý hiệu quả các cuộc hội thoại đa lượt, duy trì ngữ cảnh và tuân thủ các chính sách nghiêm ngặt trong các kịch bản phức tạp như tương tác dịch vụ khách hàng. Điều này làm giảm khả năng xảy ra các vòng lặp suy luận lặp đi lặp lại, vốn đã giảm từ 22,9% ở mô hình gốc xuống chỉ còn 1,4% ở BotPsy.

Việc triển khai được tinh giản cho các môi trường biên. Sự sẵn có của các định dạng GGUF lượng tử hóa cho phép các nhà phát triển chạy mô hình trên các thiết bị có bộ nhớ và sức mạnh tính toán hạn chế. Việc thực thi cục bộ này đảm bảo rằng dữ liệu nhạy cảm, chẳng hạn như email hoặc hồ sơ tài chính, không bao giờ rời khỏi thiết bị của người dùng, giải quyết các lo ngại chính về quyền riêng tư liên quan đến trợ lý dựa trên đám mây.

Chi tiết chính

  • BotPsy là mô hình 0,8B tham số được xây dựng dựa trên Qwen3.5-0.8B, tối ưu hóa cho các tác vụ tác nhân trên thiết bị.
  • Nó vượt trội hơn tất cả các mô hình được thử nghiệm có tới 1,2B tham số trên sáu bài kiểm tra chuẩn benchmark về sử dụng công cụ và tác nhân.
  • Mô hình giảm khoảng 3 lần số token suy luận so với mô hình gốc trong các tác vụ phức tạp.
  • Các cải tiến về an toàn bao gồm tỷ lệ phản hồi không an toàn 21% trong kiểm thử red-teaming, thấp hơn bất kỳ mô hình tương đương nào.
  • Có sẵn ở các độ chính xác bf16, Q8 và Q4 dưới dạng tệp safetensors và GGUF để tích hợp dễ dàng.
  • Được cấp phép theo Apache 2.0 cho mục đích nghiên cứu và giáo dục, với các giới hạn rõ ràng đối với các ứng dụng có rủi ro cao.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, BotPsy đại diện cho sự chuyển dịch hướng tới các ứng dụng AI phi tập trung, ưu tiên quyền riêng tư. Bằng cách cho phép các tác nhân mạnh mẽ chạy cục bộ, các nhà phát triển có thể xây dựng các sản phẩm không phụ thuộc vào tính khả dụng của API bên ngoài hoặc chịu chi phí đám mây biến động. Sự ổn định này rất quan trọng đối với các ứng dụng yêu cầu hiệu suất nhất quán và chủ quyền dữ liệu, chẳng hạn như trình quản lý tài chính cá nhân hoặc trình xử lý tài liệu doanh nghiệp.

Những lợi ích về hiệu quả cũng chuyển thành trải nghiệm người dùng tốt hơn. Độ trễ thấp hơn và mức sử dụng token giảm đồng nghĩa với thời gian phản hồi nhanh hơn trên thiết bị di động và máy tính xách tay. Các nhà phát triển có thể tích hợp các tính năng thông minh mà không phải lo lắng về việc hao pin hoặc sinh nhiệt quá mức, những vấn đề phổ biến khi chạy các mô hình lớn hơn trên phần cứng biên. Điều này mở ra những khả năng mới cho các trợ lý luôn hoạt động, tôn trọng quyền riêng tư của người dùng trong khi vẫn mang lại giá trị sử dụng thực tế.

Bạn có thể làm gì

  • Tải trọng số mô hình BotPsy từ Hugging Face ở định dạng safetensors hoặc GGUF.
  • Kiểm thử mô hình bằng llama.cpp hoặc SDK QVAC để đánh giá hiệu suất trên phần cứng mục tiêu của bạn.
  • So sánh hiệu suất (benchmark) BotPsy với các giải pháp trên thiết bị hiện tại của bạn bằng các chỉ số BFCL v4 hoặc ACEBench.
  • Khám phá việc tích hợp vào các ứng dụng hiện có cho các tác vụ như lập lịch trình hoặc tìm kiếm tệp cục bộ.
  • Xem xét các giới hạn về mục đích sử dụng để đảm bảo ứng dụng phù hợp trong các lĩnh vực có độ khó từ thấp đến trung bình.
  • Đóng góp cho cộng nguồn mở bằng cách chia sẻ phản hồi hoặc kết quả tinh chỉnh (fine-tuning) cho các quy trình làm việc cụ thể.
  • #ai
  • #edge computing
  • #open source
  • #llm
  • #privacy

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết