低VRAM環境でのLoRA学習において、bitsandbytesに代わりGGUFが採用
新たな技術により、限られたVRAMで巨大なQwenやDeepSeekモデルをGGUFベース形式を用いて学習可能となり、特定のハードウェアではCPUオフロードの必要性が解消されました。
“lora” の検索結果
AI、開発者向けツール、インフラのデイリーカバー。各記事では、何が起こり、なぜ重要なのかを解説し、元の出典へのリンクを提供します。
Building custom AI models for under $40 with autonomous agents
An engineer used Hugging Face's ML Intern agent to fine-tune six specialized models, including vision LoRAs and distilled rewriters, for a total compute cost of roughly $103.
Burn 0.22、バックエンドのジェネリクスを削除しRust MLビルドを高速化
Burn 0.22はユーザーAPIからバックエンド型パラメータを排除し、再ビルド時間を最大15倍短縮するとともに、LoRAサポートを追加しました。
