Inkling 2 Mini mang kiến trúc transformer lặp vòng đến phần cứng cục bộ
Thinking Machines Lab ra mắt Inkling 2 Mini, một mô hình đa phương thức hỗn hợp chuyên gia (mixture-of-experts) được thiết kế cho các cấu hình cục bộ với kiến trúc lớp lặp vòng độc đáo.
Được dịch tự động từ bản gốc tiếng Anh.
Thinking Machines Lab đã phát hành Inkling 2 Mini, một mô hình đa phương thức hỗn hợp chuyên gia mới được tối ưu hóa cho việc triển khai cục bộ. Được công bố vào ngày 20 tháng 11 năm 2026, mô hình này giới thiệu kiến trúc transformer lặp vòng cân bằng giữa hiệu quả tham số và hiệu suất cao, nhắm mục tiêu đến các nhà phát triển cần AI mạnh mẽ mà không cần cơ sở hạ tầng quy mô trung tâm dữ liệu.
Chuyện gì đã xảy ra
Inkling 2 Mini là một sự khác biệt đáng kể so với các mô hình dày đặc (dense) hoặc thưa truyền thống. Nó có khoảng 26 tỷ tham số vật lý nhưng chỉ kích hoạt 3 tỷ tham số cho mỗi token. Mô hình đạt được hiệu quả này thông qua một kỹ thuật cấu trúc mới lạ: nó lặp lại ba lần qua các lớp ở giữa. Thiết kế này cho phép mô hình hoạt động như thể nó có 48 lớp logic trong khi chỉ lưu trữ vật lý 24 lớp. Kết quả là một hệ thống duy trì dung lượng lớn và độ sâu suy luận cao trong khi vẫn giữ dấu chân bộ nhớ đủ nhỏ cho các máy tính cục bộ.
Bản phát hành bao gồm hỗ trợ cho cả đầu vào văn bản và hình ảnh, với cửa sổ ngữ cảnh lên tới 1 triệu token. Thinking Machines Lab cung cấp mô hình dưới các định dạng độ chính xác hỗn hợp, cụ thể sử dụng NVFP4 và MXFP8 cho trọng số của các chuyên gia, giúp giảm thêm yêu cầu về lưu trữ và bộ nhớ. Một trình soạn thảo DSpark cũng được bao gồm để kích hoạt giải mã suy đoán (speculative decoding), mang lại cải thiện tốc độ bổ sung với chi phí bộ nhớ tối thiểu. Mô hình được định vị là đối thủ trực tiếp của các mô hình cục bộ cỡ trung khác, với các thử nghiệm ban đầu cho thấy hiệu suất tương đương với Qwen 3.8 27B.
Cách thức hoạt động
Đổi mới cốt lõi trong Inkling 2 Mini là đường dẫn thực thi lặp vòng. Mô hình bao gồm 24 lớp giải mã, nhưng luồng xử lý không tuyến tính. Các lớp 0–5 và 18–23 được truy cập một lần, trong khi khối ở giữa, các lớp 6–17, được thực thi ba lần trong một vòng lặp. Quan trọng là, ba lần đi qua này tái sử dụng cùng một bộ trọng số. Để ngăn mô hình đơn giản là lặp lại chính nó, nó sử dụng các tin nhắn xuyên vòng lặp (cross-pass messages). Mỗi lần đi qua đọc thông tin từ đầu ra của lần đi trước đó thông qua các truy vấn học được cho khóa (key), giá trị (value) và đầu vào MLP. Sau đó, một bộ điều khiển cổng (gating controller) quyết định mức độ giữ lại đầu vào mới và mức độ tích hợp tin nhắn trước đó, cho phép mỗi vòng lặp tinh chỉnh phép tính.
Kiến trúc này được hỗ trợ bởi cơ chế hỗn hợp chuyên gia (mixture-of-experts). Tại mỗi lần truy cập lớp, bộ định tuyến chọn 8 chuyên gia từ một nhóm gồm 128 chuyên gia. Kích thước ẩn là 2.304, với chiều rộng chuyên gia trung gian là 1.152. Cơ chế chú ý (attention mechanism) sử dụng 24 đầu truy vấn và tám đầu KV, kết hợp các logit vị trí tương đối học được và các phép tích chập động cho các lớp chú ý đầy đủ. Sự kết hợp giữa chia sẻ trọng số, tinh chỉnh lặp đi lặp lại và lựa chọn chuyên gia thưa thớt cho phép mô hình vượt trội hơn so với hạng cân của nó về độ sâu logic và số lượng tham số.
Chi tiết chính
- Kiến trúc: Transformer lặp vòng với 24 lớp vật lý hoạt động như 48 lớp logic thông qua việc lặp ba lần 12 lớp ở giữa.
- Tham số: Khoảng 26 tỷ tham số vật lý tổng cộng, với 3 tỷ tham số hoạt động cho mỗi token.
- Cửa sổ ngữ cảnh: Hỗ trợ lên tới 1 triệu token cho cả đầu vào văn bản và hình ảnh.
- Độ chính xác: Phát hành dưới định dạng độ chính xác hỗn hợp với trọng số chuyên gia NVFP4 và MXFP8.
- Hiệu suất: Dẫn đầu trong 32 trên 48 bài kiểm tra chuẩn trong Artificial Analysis Intelligence Index v5, bao gồm các tác vụ lập trình và thị giác máy tính.
- Hỗ trợ suy luận: Có sẵn qua Transformers, Llama App (llama.cpp), MLX và SGLang với hỗ trợ ngay từ ngày đầu tiên.
Tại sao điều này quan trọng
Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, Inkling 2 Mini đại diện cho sự chuyển dịch hướng tới AI cục bộ hiệu quả hơn. Khả năng chạy một mô hình có độ sâu logic của hệ thống 48 lớp trên phần cứng chỉ có thể lưu trữ 24 lớp làm giảm rào cản gia nhập cho các ứng dụng AI phức tạp. Điều này đặc biệt liên quan đến các trợ lý lập trình, quy trình làm việc tự động (agentic workflows) và các công cụ dựa trên thị giác máy tính đòi hỏi cửa sổ ngữ cảnh dài nhưng phải hoạt động trong các ràng buộc bộ nhớ nghiêm ngặt. Việc bao gồm các trọng số độ chính xác hỗn hợp và hỗ trợ giải mã suy đoán có nghĩa là các nhà phát triển có thể đạt được thông lượng cao hơn mà không cần các cụm GPU đắt tiền.
Hiệu suất của mô hình trong các bài kiểm tra chuẩn như FrontierCode v2.0 và Terminal-Bench 4.0 cho thấy nó phù hợp tốt với các môi trường phát triển. Bằng cách dẫn đầu trong nhiều danh mục so với các mô hình lớn hơn như Gemma 4 31B và Nemotron 3.5 Super VL, Inkling 2 Mini cung cấp một lựa chọn thay thế hấp dẫn cho các đội ngũ muốn triển khai AI mạnh mẽ cục bộ. Sự sẵn có của một biến thể nghiên cứu với số lần lặp vòng linh hoạt cũng mở ra cánh cửa cho thử nghiệm, cho phép người dùng đánh đổi tốc độ lấy chất lượng tùy thuộc vào trường hợp sử dụng cụ thể của họ.
Bạn có thể làm gì
- Kiểm tra mô hình cục bộ: Sử dụng Llama App hoặc llama.cpp với các phiên bản lượng tử hóa GGUF được cung cấp (IQ4_NL hoặc Q8_0) để chạy Inkling 2 Mini trên macOS hoặc Windows.
- Tích hợp với Python: Sử dụng thư viện
transformersvà lớpAutoModelForMultimodalLMđể tải mô hình và xử lý đầu vào văn bản hoặc hình ảnh. - Thử nghiệm với số lần lặp vòng: Thử điểm kiểm tra
TML-d24-varloop-researchđể điều chỉnh số lần lặp vòng và quan sát tác động lên tốc độ và chất lượng đầu ra. - Triển khai với SGLang: Thiết lập một máy chủ sẵn sàng cho sản xuất sử dụng SGLang, đảm bảo bạn chạy nó trên phần cứng SM103 để có hiệu suất tối ưu.
- Kích hoạt giải mã suy đoán: Thêm trình soạn thảo DSpark vào thiết lập SGLang của bạn để tăng tốc độ tạo sinh, đặc biệt là cho các tác vụ ngữ cảnh dài.
- Sử dụng MLX cho Apple Silicon: Tận dụng hỗ trợ MLX đã được tích hợp upstream để chạy mô hình gốc trên phần cứng Apple với lượng tử hóa NVFP4 và MXFP8.



