GPT-6.1 Terra、高負荷推論タスクにおいて精度と速度のトレードオフを示す

OpenAIは10月26日にGPT-6.1 Terraをリリースし、フラッグシップモデルであるGPT-6 Astraのコスト効率の高い代替品として位置づけました。独立したテストの結果、Terraは速度と価格面で大きな優位性を持つものの、複雑な数値推論や詳細なデータ検証タスクではAstraに劣ることが判明しました。

何が起きたか

OpenAIは、GPT-6.1 Terraの入出力トークン標準料金をGPT-6 Astraの10分の1に設定しました。ミッドティア（中級）モデルであるTerraは、入力100万トークンあたり1ドル、出力100万トークンあたり5ドルですが、Astraはそれぞれ10ドルと50ドルです。OpenAIは、内部のAgents’ Last Examベンチマークにおいて、TerraがAstraより3倍以上速くタスクを完了すると主張していますが、これらのコンピュータ使用結果は、独立した合成テストと直接比較できるものではありません。

コストと精度の実世界におけるトレードオフを評価するため、OpenAIのAPIを通じて各モデルの最終バージョンを使用し、3つの合成テストを実施しました。これらのテストは、過去のモデルが苦戦してきた高推論負荷（high reasoning effort）のシナリオに焦点を当てています。目的は、OpenAIの内部ベンチマークを再現することではなく、異なるタイプのエンジニアリングワークロードにおける速度、推定トークンコスト、および精度を測定することでした。

結果には明確なパフォーマンスの乖離が見られました。両モデルとも易しいテストや中程度の難易度のテストでは同一のパフォーマンスを示しましたが、難しいテストではTerraの限界が露呈しました。あるケースでは、Terraは難しい質問への回答を完全に避け、作業をユーザーに投げ返しました。また別のケースでは、自信満々だが誤った回答を提供しました。Astraはより高い精度を維持しましたが、その分コストとレイテンシ（遅延）が大幅に増加しました。

仕組み

評価には、SQL推論、データ検証、インシデントログトリアージに関する単一インスタンスのテストが含まれていました。各テストは検証済みのキーに基づいて採点され、出力トークンの上限は設けられませんでしたが、モデル自体の内蔵制限は適用されました。両モデルともに「high」推論負荷設定が使用されましたが、これにより各モデルの推論トークン予算が同一になる保証はありません。

SQL推論テストでは、ソフトデリートや多通貨コストなどの複雑な条件を含む500件のソフトウェアビルドからなる偽データベースをモデルが分析しました。Terraはデータを迅速に処理しましたが、6問の合計計算に失敗し、代わりにユーザーが実行すべきSQLクエリを作成しました。さらに、他の4問についても高い確信度で誤った件数を提示しました。Astraはより遅く高価でしたが、すべての計算を試み、大幅に高いスコアを記録しました。ただし、ある指標ではわずかに不正確な合計値を出しています。

データ検証では、4,950件の顧客レコードを19のルールに対してチェックしました。Terraは有効なレコードに対する精度は完璧でしたが、40件の無効なレコードのうち35件を検出し、レコード間の比較が必要だった5件を見逃しました。Astraは40件の無効なレコードすべてを検出しましたが、所要時間は4倍以上かかり、コストは約12倍でした。インシデントログトリアージでは、両モデルとも偽障害の原因を正しく特定し、仕掛けられた誤った手がかりを無視することに成功したため、Astraのリソース使用量が多いにもかかわらず引き分けとなりました。

主要な詳細

• 価格: GPT-6.1 Terraは入力100万トークンあたり1ドル、出力100万トークンあたり5ドルで、GPT-6 Astra（$10/$50）の10分の1のコストです。
• SQL精度: Astraは50問中48問正解した一方、Terraは50問中26問正解でした。Terraは6問の集計質問に回答できず、4問で誤った件数を提示しました。
• データ検証: Astraは50/50の完全なスコアを達成しましたが、Terraは45/50で、相互参照が必要な5件の無効レコードを見逃しました。
• インシデントトリアージ: 両モデルとも50/50のスコアを獲得し、複雑なログ分析タスクにおいて原因の特定と誤った手がかりの無視に正しく対応しました。
• 速度とコスト: 3つのテスト全体で、Terraは258.8秒かかり、推定コストは0.61ドルでした。対してAstraは709.2秒かかり、コストは7.88ドルでした。
• 推論トークン: Terraは一貫してAstraよりも少ない推論トークンを生成しており、これが低いコストと高速な応答時間に寄与しています。

なぜ重要なのか

ソフトウェアエンジニアや技術系創業者にとって、これらの結果はコスト削減を安全に実現できる領域と、リスクをもたらす領域を明確にします。Terraのインシデントログトリアージでのパフォーマンスは、速度が重要であり、軽微なエラーの影響が許容範囲内である初期デバッグやログ分析において、低コストで実行可能な選択肢であることを示唆しています。プレミアム価格帯なしでAstraの精度に匹敵する能力は、大量の運用タスクにとって魅力的です。

しかし、SQL推論とデータ検証における精度の低下は、財務報告や厳格なコンプライアンスチェックに安価なモデルを使用することの危険性を浮き彫りにします。Terraが単純なカウントに対して自信満々に誤った回答を提供したり、計算タスクをユーザーに押し付けたりする傾向は、堅牢な人間による確認プロセス（human-in-the-loop verification）を必要とします。エンジニアは、価格が低いことが数値集計や網羅的なルールチェックにおいて同等の信頼性を意味すると仮定してはいけません。

この区別は、チームがAIワークロードをより慎重にセグメント化することを強います。ルーチンで解釈的なタスクはTerraの効率性の恩恵を受ける可能性がありますが、重要なデータ整合性や財務計算には依然としてAstraの高い忠実性が求められます。選択基準はもはや予算だけでなく、必要な推論の種類と、各アプリケーションで許容される誤差マージンに関わるものとなります。

推奨アクション

• コスト削減と応答時間改善のため、初期インシデントトリアージやログ分析にGPT-6.1 Terraを使用してください。
• 誤ったカウントを提供する傾向があるため、未検証の数値集計や財務報告にTerraを使用しないでください。
• レコード間の比較が必要なデータ検証タスクなど、Terraを使用する際には人間の確認ステップを実装してください。
• 精度が最優先される高リスクのSQLクエリや網羅的なデータコンプライアンスチェックには、GPT-6 Astraを確保してください。
• モデルが特定のエラーを起こす理由を理解し、プロンプトの複雑さを調整するために、推論トークンの使用状況を監視してください。
• パフォーマンスはタスクの種類によって大きく異なるため、どちらかのモデルにコミットする前に、両モデルを具体的なワークロードでテストしてください。