Claude Fable 5.2、公表価格はGPT-6 Astraより安いが実コストは上回る
直接比較テストにより、Claude Fable 5.2はGPT-6 Astraの5倍のトークンを消費し、実際のAPIコストが大幅に高くなることが判明しました。
英語の原文から自動翻訳されました。
AnthropicのClaude Fable 5.2とOpenAIのGPT-6 Astraを同一のコーディングタスクでテストし、実運用上の効率性を比較しました。Fable 5.2は公表されたAPI料率が低いにもかかわらず、過剰なトークン消費により、Astraよりも推定236%高いコストが発生しました。
何が起きたか
Anthropicは11月9日にClaude Fable 5.2をリリースし、高度な技術作業向けの優れたモデルとして位置づけました。同社は、Fable 5.2が主要な2つのコーディングベンチマーク「FrontierCode 2.0」と「FrontierSWE v2」において、OpenAIのGPT-6 Astraを上回る性能を示したと報告しています。また、Fable 5.2は競合他社よりも標準的なAPI料金が安いことを訴求しており、開発者にとってのコスト優位性を示唆していました。
しかし、ベンチマークスコアが必ずしも運用コストを反映するわけではありません。これらのモデルを使用する真のコストを検証するため、実際の開発者ワークフローをシミュレートした一連のテストを実施しました。その結果、Fable 5.2は百万トークンあたりの単価は低いものの、同じタスクを完了するために著しく多くのトークンを消費することが明らかになりました。3つの特定のテストにおいて、Fable 5.2はGPT-6 Astraの約5倍のトークンを使用しました。
Fable 5.2の最終的な推定API請求額は$13.39となり、GPT-6 Astraのわずか$3.99と比較されました。この乖離は、リスト価格と実際の支出額の差を浮き彫りにしています。OpenAIのプレジデントであるGreg Brockman氏は、Astraのローンチ時に「重要なのはタスクあたりの価格だ」と述べており、今回の調査結果はこの主張を裏付けています。
仕組み
AIプロバイダーは、モデルが読み書きするテキストのチャンクである「トークン」に基づいてユーザーに課金します。AnthropicもOpenAIも、入力トークンと出力トークンに対して個別に課金し、キャッシュされた入力や推論(reasoning)トークンには追加の料率を設定しています。推論トークンは、モデル内部の思考プロセスを表すものですが、出力として課金されます。
Claude Fable 5.2の標準料率は、非キャッシュ入力トークンが百万あたり$8、出力トークンが百万あたり$40です。一方、GPT-6 Astraは入力トークンが百万あたり$10、出力トークンが百万あたり$50です。表面上はFable 5.2の方が安く見えます。しかし、総コストはセッション中に生成されるトークンの量に依存します。
実際には、Fable 5.2はAstraよりもはるかに多くの推論トークンと出力トークンを生成しました。例えば、バグ修正タスクでは、Fable 5.2は17,000以上の推論トークンを使用しましたが、Astraはわずか819しか使用していませんでした。この高いトークン使用量がFable 5.2の総コストを引き上げ、単一のトークンあたりの低価格を相殺してしまいました。ここでのメカニズムは単純です。トークン使用効率の良さが、単価のわずかな差を上回ることが多いのです。
主要な詳細
- バグ修正テスト: 両モデルとも10個のバグをすべて修正し、50件の隠れたチェックを通過しました。Fable 5.2は$2.51かかり、所要時間は326秒でした。一方、Astraは$0.98で、所要時間は122秒でした。
- コードレビューテスト: Fable 5.2は50点中49点を獲得し、誤検知なしで44件の欠陥を特定しました。Astraは45点で、いくつかの欠陥を見逃しましたが、Fableの$6.05に対し、コストはわずか$0.95でした。
- コード作成テスト: 両モデルとも50点中50点を獲得し、VATおよびIBANチェックをゼロから正しく記述しました。Fable 5.2は$4.83、Astraは$2.06でした。
- トークン使用量: すべてのテストを通じて、Fable 5.2は入力トークン4,400,139件と出力トークン226,917件を処理しました。Astraは入力トークン884,143件と出力トークン39,494件を処理しました。
- 総コスト: Fable 5.2の推定総コストは$13.39でしたが、GPT-6 Astraは合計$3.99でした。
- 速度: Fable 5.2はすべてのタスクを完了するのに2,157秒かかりましたが、Astraは832秒で完了しました。
なぜ重要なのか
エンジニアリングリーダーや開発者にとって、この比較はリスト価格だけに頼るのではなく、トークン効率を監視することの重要性を強調しています。単価が低いモデルであっても、冗長な出力や非効率的な推論プロセスを持つ場合、高コストになる可能性があります。AI機能を開発しているチームは、レイテンシーやトークン量を含めた総所有コスト(TCO)を評価し、情報に基づいたベンダー選択を行う必要があります。
コストと精度のトレードオフも重要です。コードレビューテストでは、Fable 5.2はAstraよりも3件多く欠陥を発見しました。財務請求書などの重要なアプリケーションでは、一つの検証ルールの見逃しが重大なエラーにつながる可能性があるため、Fable 5.2の高いコストが正当化されるかもしれません。しかし、速度とコストが優先されるルーティンタスクでは、Astraはコストの16%で、欠陥検出能力の91%を提供しました。
開発者は、ベンチマークでのリードが運用効率を保証するわけではないことを認識すべきです。実世界でのテストにより、モデルの挙動はタスクの種類によって大きく異なることが明らかになっています。これらの微妙な違いを理解することで、チームは予算制約と精度のバランスを取りながら、特定のユースケースに適したモデルを選択できます。
できること
- 自社ワークロードで両モデルをテストする: Claude Fable 5.2とGPT-6 Astraの両方を使って、自社のコードベースで小規模なパイロットを実施し、実際のトークン使用量とコストを測定してください。
- 推論トークンを監視する: 推論トークンの生成数に細心の注意を払ってください。これらは出力コストに大きく寄与し、モデル間で大きく変動する可能性があります。
- タスクの重要度を評価する: 重要なコードレビューや複雑なデバッグには、Fable 5.2のような高コスト・高精度モデルを使用し、ルーティンな生成タスクにはAstraのようなより効率的なモデルに切り替えてください。
- コストとともにレイテンシーを追跡する: より高速なモデルによる時間短縮効果を考慮してください。待ち時間の削減は、開発者の生産性とユーザー体験を向上させる可能性があります。
- キャッシュ戦略を検討する: 各プロバイダーがキャッシュされた入力トークンをどのように扱っているかを調査してください。効果的なキャッシュは、反復的なクエリのコストを削減できます。
- 予算アラートを設定する: APIダッシュボードで厳格な支出制限とアラートを実装し、高トークンモデルによる予期せぬ請求を防いでください。



