Flux.3 Image Klein ra mắt trên Diffusers với kiến trúc mô-đun

Black Forest Labs đã phát hành mô hình Flux.3 Image Klein trong thư viện Hugging Face Diffusers, đánh dấu một bản cập nhật quan trọng cho các công cụ tạo ảnh mã nguồn mở. Bản phát hành này giới thiệu một kiến trúc pipeline mô-đun mới được thiết kế để xử lý việc chỉnh sửa dựa trên chỉ dẫn phức tạp và tạo ảnh có hướng dẫn từ ảnh tham chiếu. Bản cập nhật cung cấp cho các nhà phát triển các benchmark chi tiết và script huấn luyện để tích hợp những khả năng này vào ứng dụng của họ.

Điều gì đã xảy ra

Trọng tâm của bản phát hành này là việc tích hợp checkpoint Flux.3 Image Klein vào hệ sinh thái Diffusers tiêu chuẩn. Điều này cho phép các kỹ sư tải và chạy mô hình bằng các giao diện Python quen thuộc, đồng thời truy cập các tính năng mới như tự động offload sang CPU và quản lý dtype riêng cho từng thành phần. Bản phát hành bao gồm cả pipeline text-to-image (văn bản sang ảnh) và image-to-image (ảnh sang ảnh), cho phép người dùng tạo ảnh từ prompt hoặc chỉnh sửa ảnh hiện có dựa trên chỉ dẫn văn bản và hình ảnh tham chiếu.

Bên cạnh mã suy luận, nhóm cũng đã công bố các tài nguyên huấn luyện toàn diện để tùy biến mô hình. Những tài nguyên này bao gồm các script DreamBooth hỗ trợ huấn luyện Low-Rank Adaptation (LoRA) với nhiều chiến lược tối ưu hóa khác nhau. Các nhà phát triển có thể thử nghiệm các kỹ thuật như gradient checkpointing để giảm mức sử dụng bộ nhớ video, caching latents để tăng tốc độ xử lý và sử dụng optimizer Adam 8-bit để giảm chi phí bộ nhớ trong quá trình fine-tuning. Các adapter được huấn luyện trước cho những phong cách cụ thể, chẳng hạn như thiết kế bài tarot, đã có sẵn trên Hugging Face Hub.

Tài liệu cũng mô tả chi tiết cách huấn luyện mô hình cho việc chỉnh sửa dựa trên chỉ dẫn. Quá trình này liên quan đến việc sử dụng các bộ ba gồm ảnh tham chiếu, ảnh mục tiêu và chỉ dẫn văn bản. Hệ thống tham chiếu ảnh trong prompt bằng các token đặc biệt, cho phép mô hình học các phép biến đổi cụ thể. Cách tiếp cận này mang lại sự kiểm soát chính xác đối với thay đổi bố cục và phong cách, làm cho nó phù hợp với các ứng dụng yêu cầu thao tác ảnh trung thực cao chứ không chỉ đơn thuần là tạo ảnh từ đầu.

Cơ chế hoạt động

Flux.3 hoạt động như một mô hình flow matching trong không gian latent, nghĩa là nó tạo ảnh bằng cách dự đoán vector vận tốc di chuyển nhiễu ngẫu nhiên về phía một ảnh sạch qua một loạt các bước. Kiến trúc xử lý ba loại token: văn bản, latent ảnh bị nhiễu và ảnh tham chiếu tùy chọn. Một Variational Autoencoder (VAE) nén ảnh đầu vào thành các latent, trong đó mỗi token đại diện cho một patch ảnh kích thước 16x16 pixel. Việc đóng gói hiệu quả này cho phép một ảnh 1024x1024 được biểu diễn bởi lưới token 64x64.

Transformer sử dụng cơ chế attention hai giai đoạn độc đáo. Ở giai đoạn đầu tiên, các luồng văn bản, ảnh và ảnh tham chiếu được xử lý riêng biệt thông qua năm block với trọng số độc lập. Điều này đảm bảo mỗi phương thức (modality) được tinh chỉnh theo đúng đặc thù của nó trước khi tương tác. Ở giai đoạn thứ hai, tất cả các luồng được nối tiếp và xử lý qua 28 block joint, nơi mọi token đều attend tới mọi token khác. Sự phân tách này cho phép mô hình hiểu sâu ngữ cảnh trước khi hợp nhất thông tin, khác với các phiên bản trước vốn cho phép cross-attention ngay từ đầu.

Mã hóa vị trí trong Flux.3 sử dụng bốn chiều: timestep, chiều cao, chiều rộng và độ dài chuỗi. Kỹ thuật Rotary Position Embedding (RoPE) bốn chiều này giúp mô hình phân biệt chính xác giữa token văn bản, pixel ảnh và vị trí ảnh tham chiếu. Các token văn bản được căn chỉnh dọc theo trục độ dài chuỗi, trong khi các token ảnh và ảnh tham chiếu sử dụng tọa độ chiều cao và chiều rộng. Cấu trúc này cho phép mô hình hiểu các mối quan hệ không gian, chẳng hạn như ánh xạ một vùng cụ thể trong ảnh tham chiếu sang khu vực tương ứng trong đầu ra được tạo.

Chi tiết chính

• Mô hình sử dụng Qwen3-VL làm bộ mã hóa văn bản, trích xuất hidden states từ tám lớp khác nhau để tạo ra các vector văn bản phong phú với 20.480 chiều.
• Mức sử dụng bộ nhớ thay đổi tùy theo độ chính xác, với nvfp4 trên RTX6000 đạt đỉnh ở 15.3 GiB và bf16 trên H100 lên tới 20.72 GiB sau khi suy luận.
• Việc tạo ảnh text-to-image cho đầu ra 1024x1024 mất khoảng 1.93 giây trên một GPU NVIDIA H100 duy nhất khi sử dụng checkpoint distilled.
• Các tác vụ image-to-image gần như nhân đôi thời gian tạo ảnh lên 3.87 giây vì các token tham chiếu thêm 4.096 token phụ vào chuỗi transformer.
• Scheduler sử dụng time shift lớn là 6.93, giữ mức nhiễu cao trong phần lớn quá trình tạo ảnh 50 bước để cải thiện độ ổn định.
• Các script huấn luyện hỗ trợ gradient checkpointing, latent caching và tối ưu hóa Adam 8-bit để thích ứng với các ràng buộc phần cứng.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng tính năng tạo ảnh, thiết kế mô-đun của Flux.3 trong Diffusers mang lại sự linh hoạt lớn hơn trong việc quản lý các ràng buộc tài nguyên. Khả năng tải các thành phần với các kiểu dữ liệu khác nhau và bật tự động offload sang CPU có nghĩa là các nhà phát triển có thể triển khai các mô hình mạnh mẽ trên phần cứng có bộ nhớ video hạn chế. Điều này hạ thấp rào cản gia nhập cho việc chạy các mô hình tạo ảnh tiên tiến nhất cục bộ hoặc trên các instance đám mây tiết kiệm chi phí.

Kiến trúc hai giai đoạn và mã hóa vị trí bốn chiều cung cấp nền tảng kỹ thuật cho việc chỉnh sửa ảnh chính xác và dễ kiểm soát hơn. Bằng cách tách biệt các phương thức ban đầu và sau đó hợp nhất chúng, mô hình giảm thiểu sự can thiệp giữa prompt văn bản và tham chiếu trực quan. Kết quả là độ trung thực cao hơn khi thực hiện các tác vụ như chỉnh sửa bố cục hoặc chuyển đổi phong cách, vốn rất quan trọng đối với các công cụ sáng tạo chuyên nghiệp và quy trình thiết kế tự động.

Ngoài ra, sự sẵn có của các script huấn luyện chi tiết và LoRA được huấn luyện trước đẩy nhanh quá trình phát triển các giải pháp tùy chỉnh. Các đội ngũ có thể fine-tune mô hình cho các lĩnh vực cụ thể mà không cần bắt đầu từ đầu, tận dụng các kỹ thuật tối ưu hóa được cung cấp để quản lý chi phí huấn luyện. Sự hỗ trợ của hệ sinh thái này khuyến khích thử nghiệm nhanh chóng và triển khai các khả năng tạo ảnh chuyên biệt trong môi trường sản xuất.

Bạn có thể làm gì

• Cài đặt phiên bản mới nhất của Diffusers và tải pipeline Flux.3 Image Klein bằng cách sử dụng class ModularPipeline được cung cấp.
• Thử nghiệm tự động offload sang CPU bằng cách khởi tạo ComponentsManager và bật tính năng này cho thiết bị của bạn để giảm mức sử dụng VRAM.
• Sử dụng checkpoint distilled để suy luận nhanh hơn, lưu ý rằng nó chỉ yêu cầu 16 bước so với 50 bước tiêu chuẩn.
• Thử chỉnh sửa dựa trên chỉ dẫn bằng cách chuẩn bị các bộ ba gồm ảnh tham chiếu, ảnh mục tiêu và mô tả văn bản cho huấn luyện DreamBooth.
• Tối ưu hóa bộ nhớ huấn luyện bằng cách bật gradient checkpointing và sử dụng optimizer Adam 8-bit trong các script fine-tuning của bạn.
• Khám phá LoRA phong cách tarot được huấn luyện trước trên Hugging Face Hub để hiểu cách các adapter low-rank ảnh hưởng đến chất lượng đầu ra.