Tối ưu hóa bộ nhớ cho việc tinh chỉnh mô hình mã nguồn mở với ngữ cảnh dài
Phân tích kỹ thuật chuyên sâu về cách giảm thời gian huấn luyện và mức tiêu thụ bộ nhớ khi tinh chỉnh Qwen3.6-27B trên các ví dụ có độ dài 70K token, sử dụng FSDP, LoRA và tập lệnh chung.
Được dịch tự động từ bản gốc tiếng Anh.
Hardik Meisheri gần đây đã chi tiết hóa một quy trình tối ưu hóa nghiêm ngặt để tinh chỉnh Qwen3.6-27B, một mô hình thị giác-ngôn ngữ mã nguồn mở, cho các tác vụ yêu cầu đầu vào lên đến 70.000 token. Bằng cách giải quyết các nút thắt cổ chai về bộ nhớ trong quá trình huấn luyện Fully Sharded Data Parallel (FSDP) và loại bỏ tính toán dư thừa cho các lời nhắc hệ thống (system prompts) dùng chung, anh ấy đã rút ngắn chu kỳ thử nghiệm từ nhiều tuần xuống còn chưa đầy 20 giờ.
Chuyện gì đã xảy ra
Meisheri nhắm mục tiêu tinh chỉnh mô hình cho một tác vụ đa phương thức, trong đó mỗi ví dụ huấn luyện bao gồm một lời nhắc hệ thống dài chứa các hướng dẫn, quy tắc và ví dụ minh họa. Những lời nhắc này chiếm khoảng 64.000 trong số 70.000 token mỗi ví dụ. Vì các hướng dẫn thay đổi theo thời gian, việc giữ chúng trong lời nhắc thay vì nhúng cứng vào trọng số cho phép cập nhật dễ dàng hơn mà không gây ra hiện tượng quên thảm khốc (catastrophic forgetting). Tuy nhiên, việc huấn luyện trên các chuỗi dài như vậy tiêu tốn lượng lớn bộ nhớ GPU, do quá trình lan truyền ngược (backward pass) đòi hỏi phải lưu giữ kết quả trung gian cho mọi vị trí token.
Các nỗ lực ban đầu nhằm huấn luyện từng ví dụ riêng lẻ trên các GPU H100 80 GiB đã thất bại do lỗi hết bộ nhớ (out-of-memory). Chỉ riêng các tensor kích hoạt (activation tensors) cho một chuỗi 70.000 token đã chiếm khoảng 43 GiB trước khi tính đến chi phí tính toán lại. Ngoài ra, các kỹ thuật tối ưu hóa tiêu chuẩn như Low-Rank Adaptation (LoRA) đã gây ra những đợt tăng đột biến bộ nhớ không mong muốn khi áp dụng dropout cho các lớp chiếu cụ thể. Các vấn đề treo giao tiếp tập thể (collective communication hangs) dưới FSDP càng làm chậm tiến độ, nguyên nhân là do sự không khớp phiên bản và các đường dẫn thực thi phân kỳ giữa các rank GPU.
Sau khi giải quyết các vấn đề về hạ tầng và bộ nhớ, Meisheri đã triển khai một phương pháp chia sẻ tính toán của lời nhắc hệ thống qua nhiều ví dụ. Vì lời nhắc giống hệt nhau đối với nhiều mục, các biểu diễn trong quá trình lan truyền thuận (forward pass) của nó có thể được tính toán một lần và tái sử dụng. Cách tiếp cận này tận dụng bản chất nhân quả (causal nature) của transformer, nơi các token sớm hơn không phụ thuộc vào các token muộn hơn. Kết quả là tốc độ được cải thiện đáng kể, chuyển từ quy trình làm việc kéo dài 5-7 ngày sang chạy qua đêm, mặc dù mức độ tăng tốc chính xác khác nhau do sự khác biệt trong hỗn hợp dữ liệu.
Cơ chế hoạt động
Thách thức cốt lõi nằm ở cách các transformer xử lý các chuỗi dài trong quá trình lan truyền ngược. Trong thiết lập tiêu chuẩn, gradient chảy ngược qua tất cả 70.000 vị trí vì đầu ra mục tiêu phụ thuộc vào toàn bộ ngữ cảnh. Việc kiểm tra điểm kích hoạt (activation checkpointing) giúp ích bằng cách chỉ lưu trữ đầu vào của các lớp và tính toán lại các giá trị trung gian trong quá trình lan truyền ngược, nhưng điều này vẫn để lại các tensor lớn trong bộ nhớ. Đối với Qwen3.6-27B, sử dụng kết hợp giữa attention đầy đủ và các lớp Gated DeltaNet lặp lại, cần phải tự động điều chỉnh kernel (kernel autotuning) cụ thể. Bộ tự động điều chỉnh của Triton ban đầu thất bại trên các GPU H100 vì nó cố gắng benchmark kích thước tile cho một bucket độ dài chuỗi mà nó chưa từng gặp, làm tiêu hao phần bộ nhớ trống còn lại. Việc cố định một cấu hình mặc định đã giải quyết vấn đề này.
Mức sử dụng bộ nhớ được tối ưu hóa thêm bằng cách điều chỉnh các adapter LoRA. Áp dụng dropout cho lớp down_proj tạo ra các tensor tạm thời lớn cho mặt nạ (mask) và đầu vào bị drop, thêm 3,4 GiB cho mỗi lớp. Loại bỏ adapter khỏi lớp chiếu cụ thể này đã triệt tiêu đợt tăng đột biến. Để cho phép xử lý song song các lời nhắc dùng chung, Meisheri tránh sử dụng các mặt nạ attention tiêu chuẩn, vốn bị bỏ qua bởi các lớp lặp lại của mô hình. Thay vào đó, anh ấy cấu trúc dữ liệu sao cho nhiều phần tiếp theo (continuations) tách ra từ một buffer lời nhắc đã tính toán duy nhất, đảm bảo rằng mỗi ví dụ vẫn được cô lập trong khi tái sử dụng tính toán ban đầu.
Chi tiết quan trọng
- Mô hình và Phần cứng: Qwen3.6-27B được tinh chỉnh trên các GPU NVIDIA H100 với bộ nhớ 80 GiB, sử dụng độ chính xác BF16.
- Độ dài chuỗi: Các ví dụ huấn luyện đạt tới 70.000 token, với 64.000 token dành riêng cho các lời nhắc hệ thống tĩnh.
- Tối ưu hóa bộ nhớ: Kiểm tra điểm kích hoạt đã giảm nhu cầu lưu trữ, nhưng việc tính toán lại các giá trị trung gian feed-forward vẫn đòi hỏi quản lý cẩn thận các buffer tạm thời.
- Điều chỉnh Kernel: Các kernel Flash Linear Attention yêu cầu cấu hình mặc định được tính toán trước để ngăn chặn sự cố crash của bộ tự động điều chỉnh Triton trong quá trình lan truyền ngược đầu tiên.
- Cấu hình LoRA: Các adapter được áp dụng cho các lớp chiếu query, key, value, output và gate, nhưng bị loại bỏ khỏi
down_projđể tránh sử dụng bộ nhớ quá mức từ các mặt nạ dropout. - Tính toán chia sẻ: Các lời nhắc hệ thống được xử lý một lần cho các nhóm gồm 75 đến 90 ví dụ, giảm tổng thời gian huấn luyện từ nhiều ngày xuống còn chưa đầy 20 giờ cho hai epoch.
Tại sao điều này quan trọng
Đối với các kỹ sư làm việc với các mô hình mã nguồn mở, nghiên cứu tình huống này nhấn mạnh rằng mức tiết kiệm bộ nhớ lý thuyết từ các kỹ thuật sharding như FSDP không phải lúc nào cũng chuyển đổi trực tiếp sang thực tế khi độ dài chuỗi cực kỳ lớn. Các trạng thái kích hoạt (activations) vẫn cục bộ trên mỗi GPU, nghĩa là việc tăng gấp đôi số lượng GPU sẽ giảm một nửa dung lượng lưu trữ trọng số nhưng không giảm dấu chân bộ nhớ kích hoạt trên mỗi thiết bị. Hiểu rõ sự khác biệt này là rất quan trọng để lập kế hoạch yêu cầu phần cứng cho các tác vụ ngữ cảnh dài.
Các phát hiện cũng chứng minh tính dễ vỡ của các thiết lập huấn luyện phân tán. Những sai lệch nhỏ về phiên bản trong các dependency như Transformers có thể gây ra các trường hợp treo âm thầm, nơi các GPU trông như đang bận rộn nhưng không thực hiện công việc hữu ích nào. Giám sát cả mức sử dụng và mức tiêu thụ điện năng cung cấp tín hiệu chẩn đoán đáng tin cậy hơn so với chỉ dựa vào log. Hơn nữa, tương tác giữa dropout, hạng LoRA (LoRA ranks) và phân bổ bộ nhớ cho thấy các mặc định của thư viện tiêu chuẩn có thể không tối ưu cho các chuỗi rất dài, đòi hỏi sự can thiệp thủ công để ngăn ngừa lỗi hết bộ nhớ.
Bạn có thể làm gì
- Cố định cấu hình kernel: Nếu sử dụng các kernel tùy chỉnh như Flash Linear Attention, hãy chạy trước các benchmark ngắn để tạo cấu hình mặc định và tắt tính năng tự động điều chỉnh runtime cho các chuỗi dài.
- Kiểm tra vị trí đặt LoRA: Tránh áp dụng dropout cho các lớp chiếu chiều cao lớn như
down_projnếu bộ nhớ hạn hẹp, vì mặt nạ và các bản sao tạm thời chiếm không gian đáng kể. - Xác minh tính nhất quán tập thể: Đảm bảo tất cả các node nhập cùng một phiên bản thư viện và tuân theo cùng một đường dẫn thực thi để ngăn chặn các trường hợp treo FSDP trong quá trình thực hiện các thao tác all-gather.
- Kích hoạt gradient đầu vào: Gọi
model.enable_input_require_grads()trước khi chuẩn bị mô hình để đảm bảo gradient chảy đúng cách qua các embedding bị đóng băng. - Tắt autocast độ chính xác hỗn hợp: Khi sử dụng kiểm tra điểm kích hoạt với trọng số BF16, hãy tắt tính năng tự động chuyển đổi độ chính xác hỗn hợp để ngăn ngừa sự không khớp dtype trong quá trình tính toán lại.
- Giám sát điện năng và mức sử dụng: Sử dụng các công cụ như
py-spyvànvidia-smiđể phân biệt giữa tính toán thực sự và các trường hợp treo do giao tiếp tập thể.



