AI mở & chạy cục bộ

Trình biên dịch LookAtMyQuant giảm kích thước mô hình với mức suy hao độ chính xác tối thiểu

Một trình biên dịch lượng tử hóa mã nguồn mở mới sử dụng mã lưới (trellis codes) và thông tin Fisher để nén các mô hình ngôn ngữ lớn đáng kể trong khi vẫn duy trì điểm số benchmark cao.

Một khối kính với các lớp mạch điện thu nhỏ tượng trưng cho việc nén mô hình.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Người dùng GitHub ShinMegamiBoson đã phát hành LookAtMyQuant, một trình biên dịch lượng tử hóa mã nguồn mở đạt được độ phân kỳ thấp hơn đáng kể so với các mô hình gốc so với các phương pháp tiêu chuẩn. Được công bố vào ngày 21 tháng 11 năm 2026, dự án minh họa cách nén có mục tiêu có thể giảm kích thước tệp xuống hơn một nửa mà không làm mất đi các khả năng suy luận quan trọng. Bản phát hành bao gồm các bài kiểm tra benchmark chi tiết cho một số mô hình gần đây và một runtime dành riêng cho phần cứng Apple Silicon.

Điều gì đã xảy ra

Thành tựu cốt lõi của LookAtMyQuant là khả năng nén các mô hình như Gemma 4 E2B sang định dạng GGUF với độ phân kỳ Kullback-Leibler thấp hơn gấp mười hai lần so với phương pháp Q4_K_M phổ biến ở cùng kích thước tệp. Trình biên dịch không áp dụng nén đồng nhất trên toàn bộ mạng. Thay vào đó, nó đo lường tác động của việc nén từng thành phần cụ thể và phân bổ bit vào những nơi quan trọng nhất. Cách tiếp cận này cho phép các nhà phát triển đưa các mô hình lớn hơn, mạnh mẽ hơn vào các môi trường bộ nhớ hạn chế mà không gặp phải sự suy giảm chất lượng đầu ra điển hình.

Dự án cũng giới thiệu LookAtMyQuant 2, một công thức tinh chỉnh đã nén Qwen3.5-4B xuống chỉ còn 1,23 GB. Bất chấp việc giảm cực đoan xuống còn 2,3 bit mỗi trọng số, mô hình này đã giải quyết được 330 trong số 540 bài toán chính xác, gần bằng hiệu suất của các đối thủ lớn hơn nhiều. Đối với mô hình Qwen3.8-27B lớn hơn, trình biên dịch đã giảm dung lượng từ 53,7 GB xuống còn 7,2 GB. Trong cấu hình này, mô hình đã nén khớp với điểm số của bản gốc trên các bài kiểm tra toán học phức tạp và vượt trội hơn các phiên bản lượng tử hóa khác trong các bài kiểm tra tạo mã và kiến thức chung.

Cách hoạt động

LookAtMyQuant hoạt động như một công cụ lượng tử hóa sau huấn luyện, coi quá trình nén là một bài toán tối ưu hóa. Nó tính toán thông tin Fisher cho mỗi hàng trọng số để xác định độ nhạy cảm của chúng với các thay đổi. Các hàng đóng góp nhiều hơn vào độ chính xác đầu ra của mô hình sẽ nhận được nhiều bit hơn, trong khi các hàng ít quan trọng hơn sẽ bị nén mạnh mẽ hơn. Trình biên dịch sử dụng mã lưới, vốn là các mã sửa lỗi hiệu quả, để biểu diễn các trọng số. Phương pháp này đảm bảo rằng tổng kích thước tệp nằm trong ngân sách nghiêm ngặt trong khi giảm thiểu sự biến dạng tổng thể về hành vi của mô hình.

Quy trình bao gồm nhiều giai đoạn riêng biệt. Đầu tiên, trình biên dịch đo độ phân kỳ KL do việc nén các phần riêng lẻ của mô hình gây ra. Sau đó, nó tạo ra một kế hoạch phân bổ bit theo từng hàng dựa trên tầm quan trọng đã tính toán. Cuối cùng, nó thực hiện một bước chưng cất (distillation), trong đó mô hình được tinh chỉnh qua hàng nghìn bước. Trong giai đoạn này, mọi lớp đều được lượng tử hóa lại một lần từ các trọng số gốc, giúp mô hình thích nghi với biểu diễn nén mới. Toàn bộ quy trình được thiết kế để tự động hóa, với các tập lệnh có sẵn để chạy từng tác vụ trên cơ sở hạ tầng GPU đám mây.

Chi tiết chính

  • Trình biên dịch đạt độ phân kỳ KL thấp hơn 12× so với Q4_K_M cho Gemma 4 E2B ở cùng kích thước tệp.
  • Qwen3.5-4B được nén xuống 1,23 GB, giải quyết 330 trong số 540 bài toán, gần bằng con số 359 của bản gốc.
  • Qwen3.8-27B được giảm xuống còn 7,2 GB, khớp với điểm số của mô hình gốc trên bài kiểm tra toán GSM8K.
  • Mô hình Inkling-2-Mini được nén thành bốn biến thể, trong đó phiên bản 12,8 GB khớp 100% điểm số benchmark của mô hình giáo viên (teacher model).
  • Runtime Apple Silicon hỗ trợ giải mã suy đoán (speculative decoding), đạt hơn 100 token mỗi giây cho các tác vụ trung bình của bản build Inkling 12,8 GB.
  • Công thức đầy đủ cho Qwen3.5-4B tốn khoảng 34 USD thời gian GPU để thực thi trên cơ sở hạ tầng đám mây.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng ứng dụng AI cục bộ, băng thông bộ nhớ và dung lượng lưu trữ thường là những nút thắt cổ chai chính. Các phương pháp lượng tử hóa truyền thống như chuyển đổi số nguyên 4-bit hoặc 8-bit dễ triển khai nhưng thường dẫn đến sự sụt giảm đáng kể về khả năng suy luận, đặc biệt là đối với các tác vụ phức tạp như lập trình hoặc toán học. LookAtMyQuant cung cấp một lộ trình để duy trì hiệu suất nhận thức cấp cao trong các mô hình đủ nhỏ để chạy trên phần cứng tiêu dùng. Điều này cho phép các agent tinh vi hơn hoạt động trên laptop và thiết bị edge mà không cần phụ thuộc vào kết nối đám mây liên tục.

Việc mã nguồn có sẵn dưới giấy phép MIT cũng hạ thấp rào cản cho việc thử nghiệm. Các nhà phát triển giờ đây có thể áp dụng những kỹ thuật nén nâng cao này cho các mô hình được tinh chỉnh của riêng họ. Bằng cách sử dụng thông tin Fisher để hướng dẫn phân bổ bit, các nhóm có thể tạo ra các kế hoạch lượng tử hóa tùy chỉnh ưu tiên các kỹ năng cụ thể mà mô hình của họ cần, chẳng hạn như tạo mã hoặc hỗ trợ đa ngôn ngữ. Mức độ kiểm soát này trước đây chỉ dành cho các phòng thí nghiệm nghiên cứu lớn với nguồn lực tính toán đáng kể.

Những gì bạn có thể làm

  • Cài đặt runtime Apple Silicon bằng pip để thử nghiệm các mô hình Qwen và Inkling đã nén sẵn cục bộ.
  • Sử dụng lệnh lamq generate để chạy suy luận với giải mã suy đoán nhằm cải thiện thời gian phản hồi.
  • Chạy trình biên dịch trên các mô hình nhỏ hơn như SmolLM2-360M để hiểu quy trình đo lường và phân bổ.
  • Xem xét các kế hoạch hàng (row plans) được cung cấp để thấy cách các bit được phân phối qua các lớp khác nhau của mạng.
  • Điều chỉnh các tập lệnh modal_app.py để chạy công thức lượng tử hóa đầy đủ trên các mô hình của riêng bạn bằng GPU đám mây.
  • So sánh các chỉ số độ phân kỳ KL của các phương pháp lượng tử hóa hiện tại của bạn với baseline của LookAtMyQuant.
  • #quantization
  • #llm
  • #compression
  • #apple silicon
  • #open source

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết