AIで開発する

DeepSeekが7万行のコードを生成、Opusがレビュー:コスト対効果の分析

ある開発者がDeepSeek Flash 4.1を用いて複雑な写真ライブラリアプリを構築し、Claude Opus 5.5でレビューを行った結果、プレミアムモデルは高コストに見合うほどの限定的な改善しか提供しないことが判明しました。

機械的なコード構造とAIレビュープロセスを比較したイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

2026年11月、あるソフトウェアエンジニアが、オープンウェイトの大規模言語モデル(LLM)のみを用いてコード生成を行い、セルフホスト型の写真管理アプリケーションを構築した詳細な記録を公開しました。DeepSeek Flash 4.1を使ってプロジェクトを完成させた後、開発者はAnthropicのClaude Opus 5.5を用いて厳格な監査を実施し、フロンティアモデルが高い価格に見合う価値があるかどうかを検証しました。この実験では、プレミアムモデルが微妙なエッジケースを発見したものの、コアアーキテクチャにおける重大な欠陥は見つからず、明確に仕様化されたエージェント型ワークフローにおいては収益が逓減することが示唆されました。

何が起きたか

開発者はApple Photosの代替品となるアプリを構築するために11週間を費やし、360ファイルにわたる71,161行のコードを生み出しました。技術スタックにはAxumを使用したRustバックエンド、SvelteKitフロントエンド、メタデータ保存用のSQLiteが含まれていました。このアプリケーションはオフラインでのAI分類、RAW現像、動画トランスコーディング、そしてHDR合成やレンズ補正といった複雑な編集機能をサポートしています。このプロセスを通じて、人間の著者は実装コードを一切書きませんでした。代わりに、厳格なアーキテクチャの不変条件の定義、散文形式での仕様作成、そしてAGENTS.mdやSPEC.mdといったガイドライン文書の維持管理に注力しました。これらの文書は、パラメータ化SQLのみを使用すること、ローカルファースト設計、クエリ実行時の魔法的な処理を排除するといったルールを強制しました。

アプリケーションが開発者のデバイス上で安定して動作するようになると、彼らはClaude Opus 5.5を用いたレビューフェーズを開始しました。これは、約3ヶ月間で全体のコードベースを生成するのに約30ドルしかかからなかったDeepSeek Flash 4.1のパフォーマンスと、フロンティアモデルのそれを比較するために行われました。Opusによるレビューは5時間というセッション制限により制約を受け、作業を数日に分割する必要がありました。目的は壊れたコードを修正することではなく、より高額なモデルが、安価なモデルが2ヶ月間の日常使用で見逃していた問題を発見できるかどうかを確認することでした。

仕組み

レビュープロセスは、オープンエンドなプロンプティングではなく、構造化されたフレームワークに依存していました。開発者は、LLMに対してコードを5つのカテゴリーに分類される29の特定の軸に沿って評価させる「スキル」を作成しました。そのカテゴリーとは、正確性と不変条件、セキュリティと境界、並行性、境界間の一貫性、そしてコード品質です。各軸はGPSジオタグ付けの整合性やWebDAVドロップフォルダのセキュリティなど、狭いスコープを持っていました。レビュアーにはリポジトリ全体へのアクセス権が与えられ、期待される挙動の基準としてSPEC.mdとAGENTS.mdが参照されました。

各レビュー実行の契約には、具体的なファイル名と行番号を参照し、特定の不変条件違反に関連付けた確かな発見事項が必要でした。スタイル上の細かな指摘や推測は明示的に除外されました。発見事項は深刻度に応じて評価され、修正を適用する前に人間によるトリアージのためにプロセスが停止しました。Opusが問題を特定した場合、回帰テストも生成し、分離されたコミットで修正を実装しました。この手法により、モデルはカジュアルなペアプログラマーではなく、厳格な監査役として機能することが保証され、主張を実際のコード構造に対して検証せざるを得なくなりました。

主要な詳細

  • コード量: プロジェクトは71,161行のコードで構成されており、そのうち58,319行は実際のロジックであり、すべてDeepSeek Flash 4.1によって書かれました。
  • レビュー結果: Claude Opus 5.5は72件の問題を発見しました。内訳は、クリティカル0件、メジャー8件、マイナー64件です。リリース済みフローにおいて、データ損失やセキュリティ侵害に関わるメジャー問題はありませんでした。
  • コスト比較: DeepSeek Flash 4.1はOpenCode Goサブスクリプション経由で11週間で約30ドルかかりましたが、Claude Opus 5.5は1ヶ月で17ドルかかり、厳しいセッションスロットリングの影響を受けました。
  • バグの性質: メジャーな発見事項は、クロップ機能とチルト機能間の相互作用や、リファクタリング後の古いドキュメントなど、微妙なエッジケースでした。インポートや動画処理などのコアパイプラインには発見事項がありませんでした。
  • モデルの評価: OpusはDeepSeekが生成したコードをシニアレベルと評価し、厳格なレイヤリングと障害パスの設計を称賛しましたが、変更をすべての呼び出し箇所に波及させずに個別のケースのみを修正する傾向を批判しました。
  • 人間の役割: 開発者の主な貢献は、ビジョンの定義、ルールの作成、および発見事項のトリアージでした。コード作成は完全にモデルに委任されました。

なぜ重要なのか

技術系創業者やエンジニアリングリーダーにとって、このケーススタディは、高品質なソフトウェア生産にはフロンティアモデルが必要であるという前提を覆します。オープンウェイトモデルが、重大なアーキテクチャ上の欠陥なく堅牢で複雑なアプリケーションを生成したという事実は、明確な仕様と厳格な不変条件が、生のモデル知能よりも価値があることを示唆しています。Opusに対して支払われた「プレミアム」は、コアシステムの正しさを買ったのではなく、本番環境ではまだ顕在化していなかった統計的分散やエッジケースのより深いスキャンを買ったのです。これは、多くの内部ツールや範囲が明確な製品にとって、安価なモデルの方が価格対価値比が優れている可能性を示唆しています。

しかし、このレビューは現在のエージェント型コーディングワークフローにおける永続的な弱点も浮き彫りにしました。それは、境界を超えた一貫性を維持することの難しさです。Opusは、コードがしばしばバグの特定のインスタンスのみを修正し、関連するハンドラー、ドキュメント、またはミラー定数を更新していないことを指摘しました。この「スイープ」問題は、コード生成をLLMに委任する際の重大なリスクとして残っています。モデルは優れた個々のモジュールを書くことができますが、大規模なコードベース全体にわたる変更の全体的な影響に対処することは苦手であることを強調しています。グローバルな不変条件を強制し、リファクタリングが残存コードや古い契約を残さないようにするためには、人間の監督が不可欠です。

実践できること

  • AI支援コーディングプロジェクトを開始する前に、AGENTS.mdなどの専用Markdownファイルで厳格なアーキテクチャ不変条件を定義してください。
  • 開発の大部分において費用を最小限に抑えるため、初期のコード生成と反復にはオープンウェイトまたは低コストのモデルを使用してください。
  • 一般的なコード改善を求めるのではなく、狭く具体的な軸を持つ構造化されたレビューフレームワークを実装してください。
  • LLMレビュアーには、具体的なファイル行と不変条件違反を引用することを要求し、曖昧なスタイル提案や投機的な最適化は拒否してください。
  • すべての自動検出結果を手動でトリアージし、クリティカルなアーキテクチャリスクとマイナーなエッジケースを区別してください。
  • コード品質を決定づけるレバレッジポイントであるため、個人の努力を精密な仕様の作成とルールセットの維持管理に集中させてください。
  • #llm
  • #code-review
  • #deepseek
  • #claude
  • #agentic-workflows

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事