Qwen 3.8 27B、ノートPC上でニューラルネットワークの生重みを解釈

「Sparks of Weight-Space Programming」という新しい研究ノートは、大規模言語モデル（LLM）がコードを実行せずに、ニューラルネットワークの生重みを解釈・修正できると主張しています。Simon Willison氏は自身のローカルハードウェアでQwen 3.8 27Bを用いてこれらの主張を検証し、オープンウェイトモデルが単純な強化学習エージェントの動作を、その重み行列を読むだけで正しく識別できることを確認しました。

何が起きたか

研究者のRikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏は、「ブログ記事」と説明しつつも技術論文に近い形式のドキュメントを発表しました。彼らはWeight-Space Programmingという概念を導入し、GPT-6 Astraのようなフロンティアモデルが、ニューラルネットワークを表す生の浮動小数点数を分析してその機能を決定できると論じました。さらに、これらのモデルが重みを編集して性能を向上させたり、ゼロから新しいネットワークを生成したりでき、特定の小規模タスクでは従来の訓練手法を上回る結果を出すと主張しました。

核心的な実験では、Breakout、Pong、Pac-Man、Freewayの簡略化された10x10グリッド版をプレイするために強化学習で訓練された4つの小さなニューラルネットワークを使用しました。研究者たちはこれらのネットワークの生重みをLLMに入力し、厳格なプロンプトを与えました。それは、コード実行、電卓、外部ツールへのアクセスなしに、重みのみに基づいてゲームを特定するというものでした。この目標は、モデルが重み値の構造的含意を直接理解できるかどうかをテストすることでした。

Willison氏は、ノートPCでローカルに実行しているモデルであるQwen 3.8 27Bを使ってこの実験を再現しました。彼はllmコマンドラインツールとlmstudioプラグインを使用し、研究者たちのGitHubリポジトリにある同じプロンプトをモデルに入力しました。計算負荷が高く長いコンテキストが必要にもかかわらず、Qwen 3.8 27Bは4回のテストのうち3回でゲームを正しく特定することに成功し、この能力が専有・クローズドソースのフロンティアモデルに限定されないことを示しました。

仕組み

Weight-Space Programmingは、LLMが数値データの長いシーケンスをテキストとして処理できる能力に依存しています。ニューラルネットワークの重みは、入力出力の変換方法を定義する浮動小数点数の配列です。これらの数をテキスト記述として扱うことで、LLMは行列内のパターン、大きさ、分布を分析します。そして、それらの数値に埋め込まれたロジックをリバースエンジニアリングし、特定の重み設定を既知の計算挙動やゲームメカニクスに対応付けようと試みます。

Willison氏のテストでは、モデルは数千個の浮動小数点値を含むテキストファイルを受け取りました。モデルはこれらの値を10x10グリッドの空間構造と相関させる必要がありました。例えば、エージェントの位置、移動する障害物、報酬ターゲットを示すパターンを探しました。モデルは広範な推論トレースを生成し、重み行列の特定の行や列を、パドル、ボール、壁など、ゲーム環境内の物理要素に対応付けようと試みました。

このプロセスには、ニューラルネットワークの実行やゲームのシミュレーションは含まれません。代わりに、これは言語モデルのコンテキストウィンドウ内で完全に実行される静的解析タスクです。モデルは、ニューラルネットワークが通常どのように構築・訓練されるかについての内部知識を利用し、提供された重みの目的を推測します。高い値や低い値のクラスタを識別し、入力センサーや出力アクチュエータなどの機能コンポーネントに関連付けます。

主要な詳細

• Qwen 3.8 27Bは、46分12秒かけてPac-Manを正しく識別し、43,506個の推論トークンを処理しました。
• モデルは1時間4分54秒でPongを識別し、結論に対する信頼度を75%と判定しました。
• Breakoutは52分25秒で識別され、信頼度スコアは88%でした。パドルとブロックのメカニクスを正確に記述しました。
• QwenはFreewayの識別に失敗し、誤ってPac-Manのようなゲームだと推測しました。これはおそらく1981年のAtariタイトルとしての知名度の低さが原因と考えられます。
• この実験には長いコンテキストウィンドウが必要でした。デフォルトの8192トークン制限ではエラーが発生するため、LM Studioでより大きな構成を設定する必要がありました。
• 元の論文では、モデルが重みを編集して推論ループを修正し、MATH-500におけるQwen3.5-0.8Bの数学スコアを7.9%から48.1%に向上させられるとも主張されています。

なぜ重要なのか

ソフトウェアエンジニアやML実践者にとって、このデモンストレーションは、LLMが機械学習モデル自体に対してより深い構造的理解を発展させていることを示唆しています。もしモデルが重みを読み取り挙動を推測できれば、再訓練を必要としない自動デバッグおよび最適化ツールへの道が開かれます。これにより、小規模モデルの改良に伴う計算コストを大幅に削減し、高価な勾配ベースの訓練ループを実行するのではなく、重みを直接編集してパフォーマンスを調整できるようになる可能性があります。

しかし、結果は重要な実用上の限界も浮き彫りにしています。Qwen 3.8 27Bが微小な10x10グリッドネットワークを分析するのに要した時間は、ゲームあたりほぼ1時間でした。この遅延により、現在の多くのアプリケーションにおいてリアルタイムでのWeight-Space Programmingは非現実的となります。さらに、Freewayのプロンプトでの失敗は、モデルの成功がすべての可能なニューラルネットワーク機能に対する普遍的な理解ではなく、特定のゲームメカニクスに対するトレーニングデータの熟知度に大きく依存していることを示しています。

静的解析と動的実行の区別は依然として重要です。モデルは重みを解釈できますが、伝統的な意味でモデルを「実行」するわけではありません。つまり、広範な挙動パターンを識別できる一方で、実際の推論中にのみ現れる微妙なランタイムダイナミクスやエッジケースを見逃す可能性があるということです。開発者はこれを標準的なテストおよび検証パイプラインの代替品ではなく、補完的な分析ツールと捉えるべきです。

できること

• llmコマンドラインツールとllm-lmstudioプラグインをインストールし、これらの実験をローカルで再現してください。
• 長いコンテキストウィンドウを処理できるQwen 3.8 27Bまたは同様のオープンウェイトモデルをダウンロードしてください。
• GitHub上のRikiyaT/lm_understand-logsリポジトリにアクセスし、元のプロンプトと重みファイルを入手してください。
• トランケーションエラーを避けるため、ローカル推論エンジンを8192トークンを超えるコンテキストウィンドウをサポートするように設定してください。
• 他の小さな事前訓練済みニューラルネットワークで実験し、モデルがコード実行なしにその機能を識別できるかどうかをテストしてください。
• モデルによって生成された推論トレースを確認し、数値パターンが論理構造にどのようにマッピングされているかを理解してください。