Amazon Web Services、LLM ベンチマークツールを公開──Amazon Bedrock 上の OpenAI モデルの成果単価を検証
Amazon Bedrock 上の OpenAI モデル（GPT-5.6 シリーズ）と OpenAI API のコスト効率を、成果ベースのオープンソース評価ハーネスで比較検証した。
リリース: 2026-09-11 · 読了 4 分記事の要約
1. 核心（What）
- AWS は Amazon Bedrock 上の OpenAI モデル（gpt-5.6-luna, terra, sol）と OpenAI API（gpt-5.4-mini, nano）の比較評価ハーネスを公開した。
- 評価には AIME、GPQA Diamond、MMLU-Pro の単一呼び出しベンチマーク、DeepSearchQA のエージェント軌跡、GDPval の実務文書評価を使用している。
- Bedrock 上のモデルは推論無効、OpenAI API はデフォルト設定で実行され、すべての結果と価格改定後のコストが JSON で記録される設計となっている。
- 実験の結果、トークン単価だけでなく、ターン効率やトークン効率を含めた「成果あたりの実効コスト」でモデル選定を行う重要性が示された。
2. 影響（Why）
- トークン単価の幻想からの脱却: スプレッドシートの単価表では見えない「正解率」と「トークン効率」の乗数が実請求額を決めるため、開発者は成果ベースでコストを再計算すべきである。
- 国内エージェント開発への示唆: [国内 AI エージェント受託開発企業] のような組織は、単価の安いモデルでループ回数が膨らむリスクを避け、ターン効率の良いモデルをベンチマーク基準に置くべき。
3. 根拠・詳細（How）
- オープンソース評価ハーネスの仕様: openai-on-aws/benchmarks-openai リポジトリで提供され、同一の Responses API クライアント経由でバックエンドとモデル ID を切り替えて検証を再現可能。
- 検証データセットと測定項目: AIME、GPQA Diamond、MMLU-Pro、DeepSearchQA（50 問）、GDPval（48 タスク）を用い、LLM ジャッジ（gpt-5.5）と決定論的チェックで採点する。
4. 展望・課題（Next）
- 独自ワークロードでの検証推奨: 結果はサンプル数 48〜198 に基づくため、実際の運用タスクで同等のハーネスを実行し、価格プランと推論レイテンシを確認することが推奨されている。