Wagtailの単一モデルコーディングチャレンジ：20億トークンから得られた教訓

2026年9月、Wagtail CMSの中核開発者が、すべてのコーディングタスクを効率的なオープンウェイトモデルであるGLM 5.3 Flashのみに限定する実験を行いました。この実験では20億トークンを消費しましたが、インフラのボトルネックや高コストなプロトタイピングにより、単一モデルという制約を維持することはできませんでした。

何が起きたか

目標は明確でした。9月中のすべての開発作業でGLM 5.3 Flashのみを使用することです。9月前半の間、この戦略は堅調に推移しました。使用量は68ドルという厳格な予算内に収まり、エネルギー消費量は約4kWh、二酸化炭素排出量は365グラムにとどまりました。この初期の成功は、スリムで効率的なモデルが、コストや環境負荷を増大させることなく標準的なエンジニアリングタスクを処理できることを示しました。

しかし、後半になると大きな逸脱が生じました。約10億トークンが代替モデルに費やされ、総使用量の半分が対象モデル以外のものでした。開発者は、このチャレンジが厳密な単一モデル基準を満たすことには技術的に失敗したものの、収集されたデータは、本番に近い環境で特定の推論プロバイダーやモデルアーキテクチャに依存することの実用的な限界について重要な洞察を提供したと述べています。

この変更にはいくつかの要因が寄与しました。チームは選択したプロバイダーにおいて予期せぬインフラ可用性の問題に直面しました。GLM 5.3 Flashは特定のワークロードにおいてパレートフロンティアの高い位置にあるため、他のユーザーにも人気のある選択肢となりました。小規模な推論プロバイダーは大手ラボのようなGPU容量を持っていなかったため、パフォーマンスが低下しました。生産性を維持するために、開発者はDeepSeek V4.1 FlashやQwen 3.8 Flashなど、欧州のデータセンターで利用可能な同等の代替品へ切り替えました。

仕組み

この実験では、AgentsViewなどの監視ツールを使用して、異なるモデル間でのトークン分布、コスト、エネルギー消費を追跡しました。ワークフローには、UI実装、ドキュメント作成、Wagtailコードベースの評価実行など、さまざまなタスクでAIアシスタントを使用することが含まれていました。選択されたモデルであるGLM 5.3 Flashは、100万トークンのコンテキストウィンドウとビジョンサポートを提供しており、スクリーンショットの処理や長時間のコーディングセッションに対応できます。

リソース消費の大部分は、実験的なModel Context Protocol（MCP）サーバーの「バイブコーディング」によるものでした。このアプローチは、最適化されたコード構造よりも迅速なプロトタイピングを優先します。開発者はこのプロトタイプのために最適ではないモデル構成を選択し、その結果、一夜にして4億5,000万トークンの急増、150ドルのコスト、5kWhのエネルギー消費が発生しました。プロトタイプ自体は機能的には成功しましたが、エージェント型パターンや不適切なモデル選択が、より慎重なエンジニアリング手法と比較してコストを劇的に膨らませうることを浮き彫りにしました。

主要な詳細

• 総消費量： この実験では2026年9月に20億トークンを処理しました。
• 予算遵守： 前半は68ドルの予算内に収まりましたが、月全体の総計は当初の効率目標を超えました。
• エネルギー影響： 総エネルギー使用量は約35kWhに達し、純粋に効率的なワークフローで予測されていた10kWhを大幅に上回りました。
• インフラの制限： GLM 5.3 Flashのパフォーマンス低下により、DeepSeek V4.1 FlashおよびQwen 3.8 Flashへの切り替えが必要になりました。
• プロトタイプコスト： 単一のMCPサーバープロトタイプが、非効率なモデル選択により、一夜で4億5,000万トークンと150ドルを消費しました。
• モデル機能： GLM 5.3 Flashは、100万コンテキストウィンドウ、ビジョンサポート、マルチプロバイダー対応が高く評価されました。

なぜ重要なのか

AI支援開発を採用しているソフトウェアチームにとって、このケーススタディは理論的な効率性と運用上の現実との違いを強調しています。フラッシュティアのモデルはルーチンタスクに対してコスト効率が良いですが、サプライチェーンの制約から免れるわけではありません。単一のモデルやプロバイダーに依存すると、需要が急増した際に単一障害点となります。エンジニアは、「オープン」モデルでも物理的なインフラに依存しており、それが専有型の巨大企業と比較して制限される可能性があることを認識する必要があります。

さらに、本番コーディングと研究開発（R&D）の区別は予算管理において重要です。特にエージェント型ワークフローや迅速なプロトタイピング技術を使用する場合、実験的な作業ははるかに高い割合でリソースを消費します。R&D用の個別の予算と監視がない場合、これらの実験はコスト削減イニシアチブを妨げる可能性があります。チームは、生成されたトークン数だけでなく、使用されたエネルギーと達成された具体的な成果によって成功を測定する必要があります。

あなたができること

• トークン、エネルギー使用量、支出をリアルタイムで追跡するためのローカル使用量測定ツールを導入してください。
• 日常のエンジニアリングタスクと実験的なR&Dプロジェクト用に個別の予算を作成してください。
• オーケストレーター、スカウト、レビュアーなどの役割を分離するマルチエージェント技術を検討し、冗長なトークン使用を削減してください。
• インフラ障害に対処するために、DeepSeekやQwenのバリアントなど、互換性のあるモデルのフォールバックリストを維持してください。
• 市場競争を活かし稼働率を確保するために、広範なプロバイダー対応を持つモデルを優先してください。
• モデル性能を評価する際は、生のトークン数ではなく、タスクあたりのエネルギーなどの効率指標に焦点を当ててください。