AIで開発する

AnthropicのFable 5.2、Opusよりコスト効率で優れるも日常業務ではOpus継続を推奨

Anthropicは新モデル「Fable 5.2」をリリースしました。コーディングベンチマークではOpus 5.5と同等のパフォーマンスを発揮しつつ、タスクあたりのコストは半分に抑えられていますが、同社は開発者に対して日常業務でのOpus利用継続を勧めています。

背景にコスト台帳を従え、Opusを表す小さな木製駒の隣に置かれた、Fableを表す金属製のチェス駒。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Anthropicは、複雑なソフトウェア移行やマルチエージェントシステム向けに設計された新しいAIモデル「Fable 5.2」を発表しました。主要なコーディングベンチマークにおいてフラッグシップモデルであるOpus 5.5を上回る性能を示し、タスクコストも約半分であるにもかかわらず、同社はほとんどの開発者に対し、日常のコーディングや知識労働には引き続きOpus 5.5を使用することを明確に推奨しています。

何が起きたか

Fable 5.2のリリースは、モデル選択におけるパラドックスを生み出しています。FrontierCode 2.0ベンチマークにおいて、高負荷設定で動作したFable 5.2は45.3%のスコアを記録し、Opus 5.5の最高結果である45.5%とほぼ同等でした。しかし、FableはこのタスクをOpusの約半分のコストで完了させました。この効率性の向上は、Fableの基本価格がOpusよりも大幅に高い(入力トークン100万あたり8ドル、出力トークン100万あたり40ドルであり、Opusはそれぞれ4ドルと20ドル)にもかかわらず実現されています。

Anthropicは、このコスト効率の理由を、Fableがより少ない総トーク数やより直接的なパスで難問を解決できる能力にあると説明しています。これにより、トークン単価が高いにもかかわらず、全体的な計算負荷が軽減されます。フェルマーの最終定理を定式化する1,000個のエージェントを用いた社内実験では、Fable 5.2は30時間でタスクを完了しました。対照的に、同じ構成のOpus 5.5は18時間時点で完了率26%にとどまり、30時間時点でも進歩はほとんど見られませんでした。これは、Fableが標準的な開発ループではなく、長時間かつ高複雑度のリサーチタスク向けに最適化されていることを示唆しています。

これらの指標にもかかわらず、AnthropicはOpus 5.5がほとんどのユーザーにとって依然として「最強の日常ドライバー」であると主張しています。同社はFableを汎用コーディングの代替品としてではなく、大規模なアーキテクチャ変更、マルチエージェントオーケストレーション、そして従来のモデルが停滞する深いリサーチ向けの専門ツールとして位置付けています。

仕組み

Fable 5.2は、マルチモデルアーキテクチャ内でのオーケストレーターとして機能するように設計されています。ワークフローのすべてのステップを自ら処理するのではなく、FableはOpus 5.5やSonnet 5.5などの安価なモデルへ単純なサブタスクを委任できます。Fableは高レベルのプランナーとして依存関係を分析し、サービス間のマップを作成して変更点を割り出し、実装の詳細を低コストのモデルに割り当てます。これらのモデルが困難に直面した場合、問題はFableへエスカレーションされ、より深い推論が行われます。

この委任戦略は、プロジェクトの中で最も挑戦的な部分のみに対して高額な推論機能を温存することを目的としています。例えば、大規模なソフトウェア移行の際、Fableは全体の構造を計画し、Opusは個々のコードモジュールを記述します。このアプローチは、Coinbaseなどの企業がすでに採用しているインフラストラクチャと同様です。Coinbaseは複雑度に基づいてタスクをルーティングし、トークン使用量が増加したにもかかわらず、社内のAI支出をほぼ半減させました。

ただし、モデル間の切り替えは「コンテキストスイッチ税」をもたらします。Fable 5.2はOpus 5.5によって生成された思考ブロックを読み取ることができ、安価なモデルの推論プロセスを理解できます。しかし逆は成り立ちません。OpusはFableの思考ブロックを読み取れません。この非対称性により、コンテキストを前後に受け渡す際には追加のトークンが必要となり、安価なモデルが冗長な再計算を行うことなく進行するために十分な情報を保持できるよう、慎重なエンジニアリングが求められます。

主要な詳細

  • Fable 5.2はFrontierCode 2.0で45.3%をスコアし、Opus 5.5の45.5%とほぼ同等でした。
  • ベンチマークテストにおいて、FableのタスクコストはOpusの約半分でしたが、トークン単価は高くなっています。
  • Fableのコストは入力トークン100万あたり8ドル、出力トークン100万あたり40ドルです。Opusはそれぞれ4ドルと20ドルです。
  • 30時間のテストでは、1,000個のFableエージェントがフェルマーの最終定理を定式化しましたが、Opusエージェントは完了率26%にとどまりました。
  • FableはOpusの思考ブロックを読み取れますが、OpusはFableの思考ブロックを読み取れず、コンテキスト共有に非対称性が生じます。
  • Anthropicは、まずOpusから開始し、高負荷なOpus評価が失敗した場合のみFableへの切り替えを検討することを推奨しています。

なぜ重要か

エンジニアリングリーダーやアーキテクトにとって、今回のリリースは「トークン単価が低いほど総コストも低い」という前提を覆します。データは、複雑な多段階タスクにおいては、問題により直接的に解決できる高価なモデルの方が、広範な反復作業を必要とする安価なモデルよりもコスト効率が良い場合があることを示唆しています。これにより、焦点は単位価格からタスク総コストへと移り、チームはAPIレートだけでなく、エンドツーエンドの効率性に基づいてモデルを評価する必要が生じています。

オーケストレーターとしてのFableの導入は、異種混合AIシステムへの移行を示唆しています。開発者は、異なる能力を持つモデル間でタスクを動的にルーティングできるインフラストラクチャを構築する必要があります。これには、モデルが推論データを共有する方法における非対称性を処理するための堅牢なコンテキスト管理戦略が必要です。これらの引き継ぎを効率的に管理できない場合、安価なモデルへの委任によるコスト削減効果が消滅する可能性があります。

さらに、Fableのベンチマーク上の優位性にもかかわらず、日常業務ではOpusの使用を続けるというAnthropicの推奨は、ベンチマークパフォーマンスと実際のユーザビリティの間のギャップを浮き彫りにしています。これは、ルーティンなコーディングにおいては、Fableが提供する推論の深さの限界利益が、新しいモデルを日常ワークフローに統合する運用上の複雑さを正当化しないことを示唆しています。エンジニアは、生の能力と、導入および統合に伴う摩擦とのバランスを取る必要があります。

実行可能なこと

  • 現在のAIワークフローを監査し、停滞したり過度な反復を必要としたりする、長時間かつ高複雑度のタスクを特定してください。
  • Opus 5.5が以前に完了できなかった特定の移行プロジェクトやリサーチプロジェクトでFable 5.2をテストしてください。
  • 複雑なエージェントのためのモデル効率を比較する際は、トークン単価だけでなく、タスク総コストを計算してください。
  • Fableが単純なタスクをOpusやSonnetへ委任し、エスカレーション時のみFableを使用できるよう、エージェントアーキテクチャを設計してください。
  • FableとOpus間での思考ブロックの一方向可視性を処理するために、堅牢なコンテキスト受け渡しメカニズムを実装してください。
  • 日常のコーディングにはOpusから始め、具体的な高負荷要件が満たされない場合にのみFableを導入してください。
  • #anthropic
  • #llm economics
  • #ai agents
  • #software engineering
  • #model orchestration

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事