GPT-6.1 Terra、コストと速度のベンチマークでClaude Opus 5.5を上回る

OpenAIは10月26日にGPT-6.1 Terraをリリースし、AnthropicのClaude Opus 5.5に対する高効率な代替品として位置づけました。リリース直後に実施された独立したテストでは、Terraが競合モデルの性能に匹敵するだけでなく、特定の複雑なワークフローにおいてしばしばそれを上回り、しかもコストはごく一部で済むことが判明しました。

何が起きたか

Terraが優れたトークン効率を提供するというOpenAIの主張を受け、3つの厳しいシナリオ（リリーストリアージ、科学的な細胞系譜追跡、継続的インテグレーション履歴監査）でモデルを評価するための独立したテストが設計されました。両方のモデルに対して最大努力設定でテストを実行し、それぞれのAPIを使用しましたが、インタラクションターン数には上限を設けませんでした。標準化された条件下での精度、完了率、解決までの時間、推定コストを測定することが目標でした。

結果は、性能と経済性における顕著な差異を示しています。リリーストリアージテストでは、両モデルとも満点を出しましたが、Terraはより短い時間で、かつ出力トークンを大幅に少なくしてタスクを完了しました。顕微鏡映像内の分裂細胞を追跡するためにPythonコードを作成・実行する必要があった細胞系譜チャレンジでは、Terraの方が高いスコアを記録し、ほぼ半分の時間で終了しました。最も注目すべきは、乱雑なデータテーブルを含むCI履歴監査において、Terraはほぼ完璧な回答を提供した一方、Claude Opus 5.5は出力トークン制限に達する前に最終的な結果を出すことに失敗しました。

仕組み

効率性の差は、各モデルが多段階推論タスク中にトークン使用量をどのように管理かに起因します。GPT-6.1 Terraは、標準的な入力および出力においてOpus 5.5の3倍以上のトークン効率を持つと報告されています。その価格構造はこのことを反映しており、入力トークンは100万あたり1ドル、出力トークンは100万あたり5ドルであるのに対し、Opus 5.5はそれぞれ4ドルと20ドルです。つまり、TerraがOpusの基本コストに合わせるためには4倍のトークンを使用する必要がありますが、これらのテストではTerraは有意に少ないトークンしか使用していません。

実用的な観点では、Terraのアプローチはインタラクションループに対するより厳密な制御を含みます。例えば、ブラウザベースのリリーストリアージにおいて、TerraはURLを繰り返し入力するのではなく、インターフェース要素をクリックすることに依存しました。これにより生成される出力トークンの量が劇的に減少しました。対照的に、Opusは100回以上URLを入力し、精度を向上させることなくトークン数とコストを増大させました。両モデルとも出力合計に推論トークンを含めますが、Terraは中間ステップを減らして正しい結論に到達できる能力により、全体的な費用を抑えています。

主要な詳細

• コスト効率: すべての3つのテストを通じて、Terraの推定非キャッシュトークンコストは25.99ドルであったのに対し、Opus 5.5は214.96ドルであり、8.27対1のコスト比率を示しました。
• 速度: Terraは結合ワークロードを2,418秒で完了しましたが、Opusは3,962秒かかり、約25分の節約となりました。
• リリーストリアージ: 両モデルとも50/50のスコアを記録しましたが、TerraはOpusの推定非キャッシュトークンコストの17.1%でこれを達成しました。
• 細胞系譜: Terraは48/50のスコアで15分で終了しましたが、Opusは43.5/50のスコアで36分を要しました。
• CI監査: Terraは複雑なデータテーブルタスクで47/50のスコアを記録しました。Opusは128,000トークンの出力制限内で最終的な回答を返すことに失敗しました。
• 価格: Terraの標準レートは入力トークン100万あたり1ドル、出力トークン100万あたり5ドルですが、Opus 5.5はそれぞれ4ドルと20ドルです。

なぜ重要なのか

AIエージェントを構築するエンジニアリングチームにとって、これらの発見は、モデル選択において生の精度と同様にトークン効率を重視すべきであることを示唆しています。正しい解決策に到達するために必要なターン数が少なく、冗長な出力が少ないモデルは、運用コストを大幅に削減できます。特に大量処理を行うアプリケーションでは、単一の複雑なワークフローで25ドルと215ドルの差は、数千の日次タスクにスケールすると莫大なものになります。開発者は、具体的なタスクがコード実行や構造化データ処理におけるTerraの強みと一致する場合、以前はより高価なモデル向けだったワークロードにTerraを検討できるようになりました。

しかし、これらのテストは大規模データ処理における持続的な課題も浮き彫りにしています。TerraはCI監査を完了しましたが、ステータスのカウントや回答不能な質問の識別において軽微なエラーを残しました。これはAIアプリケーションにおける堅牢な検証レイヤーの必要性を強調しています。チームはモデルの自己申告による信頼度や出力形式だけに頼ることはできず、モデルの洗練度に関係なく、数値の正確性とデータの整合性を確保するためには外部検証スクリプトが不可欠です。

できること

• 複雑な多段階エージェントタスクにおいて、最大努力設定を使用して現在のモデルとTerraをベンチマークしてください。
• 数値データに対して厳格な出力検証を実装してください。トップクラスのモデルであっても、曖昧なエントリーを誤ってカウントしたり解釈したりする可能性があります。
• トークン使用パターンを監視してください。特に、コストを増大させる過度なURL入力や冗長な推論を探してください。
• キャッシュ戦略をテストしてください。スクリーンショットなどの反復入力は、適切に管理すればコストを大幅に下げることができます。
• ワークロードがTerraの速度とコスト効率からより大きな恩恵を受けるのか、それともここでカバーされていない他の領域におけるOpusの可能性の高い強みを必要とするのかを評価してください。
• ブラウザ自動化およびコード生成タスクではTerraから開始し、これらの分野で証明されている効率性を活用してください。