トピック · 147 記事

AIで開発する

RAG、評価、推論、ファインチューニング、LLM機能の本番運用。

AIで開発する

DeepSeek V3アーキテクチャをJAXで190行の実装

ある開発者が、純粋なJAXのみを用いてDeepSeek V3アーキテクチャを再現しました。MacBook Air上で3600万パラメータのモデルを訓練し、MLAやMoEといった主要な仕組みを実証しています。