“llm serving” の検索結果

ReplaySSM：状態ではなく入力をキャッシュすることでハイブリッドモデルのデコードを高速化

NVIDIAとプリンストン大学の研究者が、メモリトラフィックの削減と投機的ロールバックの簡素化により、状態空間モデル（SSM）のデコードを高速化する技術「ReplaySSM」を発表しました。