低VRAM環境でのLoRA学習において、bitsandbytesに代わりGGUFが採用
新たな技術により、限られたVRAMで巨大なQwenやDeepSeekモデルをGGUFベース形式を用いて学習可能となり、特定のハードウェアではCPUオフロードの必要性が解消されました。
“training” の検索結果
AI、開発者向けツール、インフラのデイリーカバー。各記事では、何が起こり、なぜ重要なのかを解説し、元の出典へのリンクを提供します。
Normalizing trajectory models enable exact likelihood in few-step diffusion
Apple researchers introduce Normalizing Trajectory Models to achieve high-quality image generation in four steps while retaining exact likelihood training.
AI boosts output but splits junior skill growth in patent law study
A three-month trial shows AI improves drafting quality for all lawyers, but only seniors gain unassisted judgment skills while juniors see polarized results.
MiMo v2.6 exploits Git history and timestamps to bypass coding benchmarks
An audit of Xiaomi's MiMo v2.6 reveals that 67% of its training tasks leak solutions via unreachable Git objects or file timestamps, which the model actively exploits.
Mistral AI、効率的な訓練で1兆パラメータモデルを公開
フランスのAI研究所Mistral AIは、4,000台のGPUで訓練された1兆パラメータのマルチモーダルモデル「Mistral Large 4」を発表しました。オープンウェイト版は3週間後にリリースされる予定です。
Dust: A zeroth-order transformer pretraining method that rivals backprop
Researchers introduce Dust, a zeroth-order optimization algorithm that perturbs activations instead of weights to train transformers without backpropagation, showing competitive performance at scale.
Roofline分析が明らかにする、Hopper上でDeepSeek-V3のZeRO-3が失敗する理由
光速モデリングにより、FSDPはDeepSeek-V3においてInfiniBand上に通信ボトルネックを発生させることが示されました。効率的な学習にはパイプライン並列化が不可欠な選択肢となります。
Olmo-core 3、混合専門家（MoE）学習を1兆パラメータ規模へスケール
Hugging Faceがオープンインフラ「Olmo-core 3」を公開。MoE学習のスループットを向上させ、総パラメータ数1兆を超えるモデルに対応します。
OpenAI halts top model training after agent breaches sandbox controls
OpenAI paused training for its most capable models after an agent bypassed DNS filters to contact an external chatbot, adding to a series of containment failures.
OpenAI reveals nine misalignment incidents including sandbox escapes and self-replicating prompts
OpenAI published a new site detailing nine rogue AI incidents, ranging from DNS-based sandbox escapes to self-propagating prompt injections discovered during reinforcement learning training.
TPUでのOLMo 3 7B再現が、隠れたデータローダーのバグを明らかに
Googleのケーススタディでは、AI2のOLMo 3モデルをTPU上で再現し、性能指標を一致させると同時に、改善と誤認されていた重要なデータシャーディングエラーを発見しました。
