Edge0-145B đưa mô hình AI 145 tỷ tham số lên laptop cá nhân
Mô hình mã nguồn mở mới Edge0-145B chạy trên phần cứng cá nhân với mức tiêu thụ bộ nhớ đỉnh điểm 29GB, cho phép thực hiện các tác vụ lập trình và suy luận phức tạp mà không cần phụ thuộc vào đám mây.
Được dịch tự động từ bản gốc tiếng Anh.
Việc phát hành Edge0-145B đánh dấu một bước chuyển mình quan trọng trong khả năng trí tuệ nhân tạo cục bộ, khi biến một mô hình có 145 tỷ tham số thành thứ có thể chạy được trên laptop cá nhân. Được công bố vào ngày 12 tháng 11 năm 2026, sáng kiến mã nguồn mở này bao gồm trọng số của mô hình, một khung suy luận thống nhất và các công cụ triển khai được thiết kế để loại bỏ sự đánh đổi truyền thống giữa kích thước mô hình và hiệu suất trên thiết bị. Sự phát triển này cho phép các nhà phát triển thực thi các quy trình làm việc dựa trên agent (tác nhân), lập trình và suy luận phức tạp ngay tại chỗ, bỏ qua nhu cầu kết nối liên tục với đám mây hoặc trả phí API đắt đỏ.
Chuyện gì đã xảy ra
Trong nhiều năm, việc chạy các mô hình ngôn ngữ lớn trên phần cứng cá nhân đòi hỏi phải đánh đổi giữa năng lực của mô hình hoặc tài nguyên hệ thống. Các mô hình nhỏ hơn thường gặp khó khăn với những nhiệm vụ logic phức tạp, trong khi các mô hình lớn hơn đòi hỏi cơ sở hạ tầng cấp độ máy chủ do yêu cầu khổng lồ về bộ nhớ và băng thông. Bản phát hành Edge0-145B thách thức hiện trạng này bằng cách chứng minh rằng một mô hình với 145 tỷ tham số có thể hoạt động hiệu quả trên một chiếc laptop tương thích, chẳng hạn như MacBook Pro, với mức sử dụng bộ nhớ đỉnh điểm được báo cáo chỉ là 29GB. Kèm theo đó là bản phát hành Edge0-120B, cung cấp một phân khúc hiệu suất khác cho việc triển khai cục bộ.
Dự án giải quyết bốn ràng buộc chính từng hạn chế AI trên thiết bị trong lịch sử. Thứ nhất, nó phá vỡ rào cản phần cứng bằng cách cho phép các mô hình lớn chạy mà không cần máy chủ. Thứ hai, nó đảm bảo rằng các mô hình cục bộ này không hy sinh năng lực, mang lại kết quả lập trình và suy luận cạnh tranh với các mô hình đám mây tiên tiến. Thứ ba, nó hỗ trợ các quy trình làm việc dựa trên agent, nơi trợ lý lập kế hoạch, viết mã, gỡ lỗi và kiểm tra trực quan kết quả cho các dự án như cảnh 3D hoặc thiết kế PCB. Cuối cùng, nó loại bỏ sự phụ thuộc vào các nhà cung cấp dịch vụ đám mây, cho phép dữ liệu lưu trữ trên thiết bị và đảm bảo các chức năng cốt lõi hoạt động ngoại tuyến.
Bản phát hành này cung cấp toàn bộ stack cho các nhà phát triển, bao gồm trọng số mô hình và khung suy luận, cho phép họ tái tạo kết quả, tinh chỉnh mô hình hoặc tích hợp chúng trực tiếp vào sản phẩm của mình. Ứng dụng Edge0 đi kèm cung cấp một cách để thử nghiệm ngay lập tức các khả năng này. Bằng cách mã nguồn mở hóa các công cụ này, những người sáng tạo nhằm mục đích đẩy nhanh việc áp dụng AI cục bộ hiệu suất cao trên nhiều cấu hình phần cứng khác nhau.
Cách thức hoạt động
Khả năng chạy một mô hình 145 tỷ tham số trên phần cứng tiêu dùng dựa vào sự đồng thiết kế giữa kiến trúc mô hình và engine suy luận. Kiến trúc sử dụng phương pháp chuyên gia thưa (sparse expert), nơi các ma trận lớn được chia sẻ giữa các nhóm chuyên gia. Cụ thể, mỗi nhóm gồm 64 chuyên gia chia sẻ hai ma trận lớn, trong khi vẫn giữ lại các tham số nhỏ độc đáo cho sự khác biệt cá nhân. Mặc dù tổng số lượng tham số là 145 tỷ, nhưng chỉ khoảng 10 tỷ tham số tham gia vào quá trình tính toán trong bất kỳ bước suy luận đơn lẻ nào. Thiết kế này giảm đáng kể lượng dữ liệu trọng số cần được lưu trữ và di chuyển trong quá trình vận hành.
Quá trình huấn luyện được thực hiện với các ràng buộc thực thi cục bộ được tính đến ngay từ đầu, thay vì coi việc triển khai trên thiết bị là một suy nghĩ muộn màng liên quan đến nén sau huấn luyện. Engine suy luận tối ưu hóa hiệu suất hơn nữa bằng cách đường ống hóa truy cập bộ nhớ qua ba tầng: bộ nhớ GPU, bộ nhớ hệ thống và lưu trữ SSD. Các "chuyên gia nóng" (hot experts) thường xuyên được sử dụng sẽ nằm trong bộ nhớ GPU, trong khi một thư viện khoảng 40GB chuyên gia nằm trong bộ nhớ hệ thống, sẵn sàng được nạp khi cần. Dữ liệu từ vựng, tổng cộng khoảng 48GB, được đọc theo yêu cầu từ SSD. Việc chồng chéo giữa đọc và tính toán tránh được các thời gian chờ tuần tự vốn thường gây nghẽn cổ chai cho suy luận mô hình lớn.
Lập lịch đóng vai trò quan trọng bằng cách tận dụng cả CPU và GPU song song. GPU xử lý tính toán cho các chuyên gia đã được cache, trong khi CPU quản lý khối lượng công việc còn lại. Hệ thống cũng áp dụng kỹ thuật giải mã suy đoán (speculative decoding), xác minh nhiều token ứng viên đồng thời. Kỹ thuật này phân tán chi phí đọc trọng số ra nhiều token đầu ra hơn, góp phần đạt được tốc độ giải mã được báo cáo là hơn 80 token mỗi giây. Những chiến lược kết hợp này cho phép mô hình duy trì các ngữ cảnh dài từ 128K đến 256K token mà không bị suy giảm tốc độ đáng kể.
Chi tiết chính
- Kích thước mô hình: Edge0-145B chứa 145 tỷ tham số, với Edge0-120B cũng được phát hành như một phần của bộ sản phẩm.
- Sử dụng bộ nhớ: Mô hình yêu cầu bộ nhớ đỉnh điểm 29GB trên các laptop tương thích, một sự giảm thiểu đáng kể so với kỳ vọng truyền thống đối với các mô hình ở quy mô này.
- Tốc độ hiệu suất: Nó đạt hơn 1.100 token mỗi giây cho việc điền trước prompt (prompt prefill) và duy trì tốc độ giải mã hơn 80 token mỗi giây.
- Tiêu thụ điện năng: Mức tiêu thụ điện năng điển hình là khoảng 120W, cho phép hoạt động bền bỉ mà không bị throttling (giảm xung nhịp) trong các thiết lập đã thử nghiệm.
- Điểm chuẩn Benchmark: Mô hình ghi điểm 64.6 trên DeepSWE 1.1 cho lập trình, 90.4 trên GPQA-Diamond cho suy luận và 80.6 trên IFBench cho việc tuân thủ chỉ dẫn.
- Cửa sổ ngữ cảnh: Hỗ trợ các tác vụ ngữ cảnh dài với cửa sổ từ 128K đến 256K token, duy trì tốc độ nhất quán trong suốt các tương tác kéo dài.
Tại sao điều này quan trọng
Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, bản phát hành này xóa bỏ nhiều rào cản trong việc xây dựng các ứng dụng AI ưu tiên quyền riêng tư và có khả năng hoạt động ngoại tuyến. Khả năng chạy một mô hình với năng lực suy luận cấp độ tiên phong trên laptop có nghĩa là dữ liệu nhạy cảm, chẳng hạn như mã nguồn độc quyền hoặc tài liệu nội bộ, không bao giờ cần rời khỏi môi trường cục bộ. Điều này loại bỏ những phức tạp về pháp lý và bảo mật liên quan đến việc gửi dữ liệu tới các nhà cung cấp dịch vụ đám mây bên thứ ba. Ngoài ra, việc không có phí API định kỳ làm cho việc triển khai các agent AI thực hiện các tác vụ nền tảng sâu rộng, như gỡ lỗi hoặc tạo tài sản hình ảnh phức tạp, trở nên khả thi về mặt kinh tế mà không lo lắng về chi phí token.
Các chỉ số hiệu suất cho thấy AI cục bộ không còn giới hạn ở các chatbot đơn giản hoặc các tác vụ tóm tắt cơ bản. Với điểm số cạnh tranh trong các benchmark lập trình và suy luận, các nhà phát triển có thể tin tưởng vào Edge0-145B cho sự hỗ trợ kỹ thuật đáng kể. Khả năng của mô hình trong việc lập kế hoạch, thực thi và xác minh mã ngay tại chỗ mở ra những khả năng mới cho các môi trường phát triển tích hợp và các agent lập trình tự động. Sự chuyển dịch này trao quyền cho các nhóm xây dựng các công cụ mạnh mẽ hơn, tự chứa, không phụ thuộc vào sự ổn định mạng hoặc tính sẵn có của dịch vụ bên ngoài.
Bạn có thể làm gì
- Tải xuống trọng số mô hình Edge0-145B và Edge0-120B từ kho lưu trữ mã nguồn mở chính thức.
- Cài đặt khung suy luận thống nhất để kiểm tra hiệu suất của mô hình trên cấu hình phần cứng cụ thể của bạn.
- Đánh giá khả năng lập trình của mô hình bằng cách chạy nó trên mã nguồn hiện có của bạn cho các tác vụ gỡ lỗi hoặc tái cấu trúc.
- Thử nghiệm các tính năng agent bằng cách thiết lập các quy trình làm việc cục bộ liên quan đến lập kế hoạch và xác minh trực quan cho các dự án như phát triển game hoặc thiết kế phần cứng.
- Tinh chỉnh mô hình trên các tập dữ liệu độc quyền của bạn để tạo ra các trợ lý chuyên biệt hoàn toàn nằm on-premise (tại chỗ).
- Tích hợp các công cụ triển khai vào pipeline sản phẩm của bạn để cung cấp cho người dùng trải nghiệm AI ngoại tuyến hiệu suất cao.



