Xây dựng với AI

Tại sao ước tính thời gian dựa trên FLOP lại thất bại với các tác vụ fine-tuning LLM

Các nhà nghiên cứu của Hugging Face chỉ ra rằng phép tính FLOP tiêu chuẩn dự đoán kém chính xác về thời lượng fine-tuning. Một mô hình CatBoost sử dụng dữ liệu cấu hình đã giảm sai số từ 12 giờ xuống còn dưới hai giờ.

Một chiếc đồng hồ cát với các họa tiết mạch điện tử tượng trưng cho thời gian và năng lực tính toán trên kệ máy chủ.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Các nhà nghiên cứu tại Hugging Face đã phân tích 272 tác vụ supervised fine-tuning thực tế để tìm hiểu lý do tại sao các ước tính năng lực tính toán lý thuyết thường không chính xác. Được công bố vào tháng 11 năm 2026, kết quả nghiên cứu cho thấy số lượng phép toán dấu phẩy động (FLOP) tiêu chuẩn giải thích rất ít về thời gian thực tế (wall-clock time) cần thiết để huấn luyện các mô hình ngôn ngữ lớn trên hạ tầng chia sẻ.

Chuyện gì đã xảy ra

Nghiên cứu tập trung vào các khối lượng công việc sản xuất chạy trên GPU NVIDIA H200, tổng cộng khoảng 7.382 giờ GPU. Nhóm đã so sánh các ước tính phân tích truyền thống với một phương pháp học máy nhằm dự đoán thời gian hoàn thành toàn bộ tác vụ từ đầu đến cuối. Mục tiêu là cải thiện việc lập lịch cụm máy chủ, giảm thời gian chết khi các tác vụ hoàn thành sớm và ngăn ngừa chậm trễ khi chúng chạy lâu hơn dự kiến.

Kết quả cho thấy khoảng cách đáng kể giữa lý thuyết và thực tiễn. Baseline dựa trên FLOP tiêu chuẩn có sai số tuyệt đối trung bình là 12,41 giờ và giá trị R² chỉ đạt 0,31. Ngược lại, một bộ hồi quy CatBoost được huấn luyện trên dữ liệu cấu hình tác vụ đã đạt R² lên tới 0,98. Mô hình mới này giảm sai số tuyệt đối trung bình xuống chỉ còn 1,71 giờ, với sai số trung vị là 0,51 giờ qua kiểm tra chéo năm phần (five-fold cross-validation).

Các nhà nghiên cứu lưu ý rằng ngay cả những mô hình phân tích phức tạp hơn, chẳng hạn như Calculon, cũng không nắm bắt được bức tranh toàn cảnh. Mặc dù Calculon tính đến lưu lượng bộ nhớ và giao tiếp ở cấp độ bước lặp, nó vẫn chỉ ước tính khoảng 11% thời gian thực tế quan sát được đối với các tác vụ sản xuất. Điều này nhấn mạnh rằng phần lớn thời gian chạy bị tiêu tốn bởi các chi phí phát sinh (overhead) nằm ngoài vòng lặp tối ưu hóa cốt lõi.

Cách thức hoạt động

Các ước tính lý thuyết thường tính toán thời gian huấn luyện bằng cách chia tổng số phép toán dấu phẩy động cho thông lượng đỉnh của phần cứng, điều chỉnh bởi hệ số Hiệu suất FLOP của Mô hình (Model FLOPs Utilization - MFU). Công thức này giả định rằng tác vụ thuần túy là tính toán. Tuy nhiên, quá trình fine-tuning trong thực tế bao gồm thiết lập môi trường, tải mô hình, token hóa, đánh giá định kỳ và tải lên checkpoint. Các nhiệm vụ này cạnh tranh băng thông mạng và I/O lưu trữ trong các cụm đa thuê bao (multi-tenant clusters) và không mở rộng tuyến tính theo sức mạnh tính toán.

Để giải quyết vấn đề này, các nhà nghiên cứu đã coi thời lượng end-to-end là một bài toán hồi quy có giám sát. Họ xây dựng một vector đặc trưng chỉ sử dụng thông tin có sẵn trước khi khởi chạy tác vụ, chẳng hạn như siêu tham số, kích thước tập dữ liệu và định danh mô hình. Quan trọng nhất, họ đưa vào các đặc trưng phái sinh phản ánh chi phí phát sinh, như tổng số mẫu đánh giá và dung lượng dữ liệu checkpoint được lưu. Ước tính FLOP lý thuyết được đưa vào như một đặc trưng trong số nhiều đặc trưng khác, cho phép mô hình học các hiệu chỉnh dựa trên dữ liệu lịch sử.

Nhóm đã thử nghiệm nhiều thuật toán, bao gồm Linear Regression, Ridge, XGBoost và CatBoost. Sau khi lựa chọn đặc trưng và tìm kiếm lưới (grid search), CatBoost nổi lên là ứng viên hàng đầu. Nó nắm bắt hiệu quả các tương tác phi tuyến giữa các lựa chọn cấu hình và thời gian chạy, chẳng hạn như cách tần suất đánh giá ảnh hưởng đến tổng thời lượng độc lập với kích thước mô hình.

Chi tiết chính

  • Tập dữ liệu: 272 lần chạy supervised fine-tuning trên GPU NVIDIA H200, với thời lượng dao động từ 1,6 đến 172,4 giờ.
  • Hiệu suất baseline: Ước tính dựa trên FLOP tốt nhất (giả định MFU 30%) có sai số tuyệt đối trung bình là 12,41 giờ.
  • Hiệu suất mô hình: Bộ hồi quy CatBoost đạt sai số tuyệt đối trung bình 1,71 giờ và R² là 0,98.
  • Đặc trưng hàng đầu: Dung lượng dữ liệu đánh giá, số lượng tham số có thể huấn luyện và dung lượng lưu checkpoint là những yếu tố dự báo mạnh mẽ nhất về thời gian chạy.
  • Phân bố lỗi: Đối với các tác vụ dưới 60 giờ, sai số tuyệt đối trung vị vẫn duy trì dưới một giờ.
  • Hạn chế: Mô hình cụ thể cho phần cứng H200 và supervised fine-tuning, với độ chính xác thấp hơn đối với các tác vụ vượt quá 60 giờ do dữ liệu thưa thớt.

Tại sao điều này quan trọng

Đối với các trưởng nhóm kỹ thuật quản lý cụm GPU chia sẻ, các ước tính thời lượng chính xác là rất quan trọng để phân bổ tài nguyên hiệu quả. Khi dự đoán lệch nửa ngày, các bộ lập lịch không thể đóng gói các tác vụ cùng nhau một cách đáng tin cậy hoặc cam kết ngày bàn giao. Điều này dẫn đến việc sử dụng GPU bị phân mảnh, nơi phần cứng đắt tiền ngồi không trong khi các đội khác chờ đợi tài nguyên. Chuyển từ phỏng đoán sang lập kế hoạch dựa trên dữ liệu cho phép lập lịch chặt chẽ hơn và tỷ lệ sử dụng cao hơn.

Nghiên cứu cũng làm nổi bật rằng các lựa chọn cấu hình có tác động lớn đến thời gian chạy mà không hiển nhiên từ các chỉ số tính toán đơn thuần. Các đặc trưng như nhịp độ đánh giá và chính sách checkpoint gây ra chi phí phát sinh đáng kể. Các đội thường đặt các tham số này theo thói quen chứ không phải vì nhu cầu thực sự. Hiểu được tác động của chúng lên thời gian thực tế giúp các kỹ sư đưa ra những đánh đổi giữa độ nghiêm ngặt của thí nghiệm và tốc độ lặp lại, tối ưu hóa cả chi phí lẫn năng suất của nhà phát triển.

Bạn có thể làm gì

  • Theo dõi tần suất đánh giá và kích thước checkpoint trong nhật ký huấn luyện của bạn, vì đây là những yếu tố chính gây ra chi phí phát sinh thời gian chạy.
  • Vượt ra ngoài các phép tính FLOP đơn giản cho việc lập lịch; hãy sử dụng dữ liệu chạy lịch sử để xây dựng các mô hình hồi quy cho hạ tầng cụ thể của bạn.
  • Đưa vào các đặc trưng trước khi khởi chạy như kích thước tập dữ liệu và các bước đánh giá trong dự đoán thời lượng thay vì chỉ dựa vào các tham số mô hình.
  • Hãy thận trọng với các ước tính cho những tác vụ chạy rất dài, vì lỗi có xu hướng tăng đáng kể sau mốc 60 giờ.
  • Huấn luyện lại các mô hình dự đoán khi thay đổi thế hệ phần cứng, vì đặc điểm sử dụng và nút thắt cổ chai I/O sẽ khác nhau.
  • Kiểm toán các cấu hình huấn luyện của bạn để đảm bảo tần suất đánh giá và lưu trữ phù hợp với nhu cầu gỡ lỗi thực tế thay vì các cài đặt mặc định.
  • #machine learning
  • #infrastructure
  • #gpu optimization
  • #hugging face
  • #llm training

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết