Warp、コーディングエージェント用ベンチマーク作成ツール Factory Benchmarks を公開──PR コストを 63% 削減
自社の過去のエージェント実行履歴からカスタムベンチマークを生成し、PR 当たりの推論コストを $80 から $30 へ圧縮する。
リリース: 2026-09-03 · 読了 3 分記事の要約
1. 核心（What）
- Warp は過去のエージェント実行履歴からカスタムベンチマークを生成する Factory Benchmarks を公開した。
- Warp 社内での検証では、タスクごとのモデル選定最適化によりコストを $80/PR から $30/PR へ 63% 削減した。
- ベンチマークの実行では git でピン留めされたコードとファクトリ設定をサンドボックス内で再現する。
- LLM-as-a-judge スコアラーが正確性、コスト、品質、カスタム基準を評価する仕組みを内蔵する。
2. 影響（Why）
- 自社コードベースに基づく評価: 一般的な公開ベンチマークのデータ汚染や実コードとの乖離を避け、自社の過去 PR 履歴ベースでモデル選定ができるため実運用のコスト対効果が直結する。
- 国内開発チームへの影響: [国内 AI アプリ開発企業] 規模の開発組織では、複数 LLM の使い分けによる推論コスト最適化の自動判断基準として導入メリットが大きい。
3. 根拠・詳細（How）
- サンドボックスでの履歴再現: Warp Factories の履歴からタスクを抽出し、git リハイドレーションにより当時のコードと設定を維持したままサンドボックスで再実行する。
- モデルルーターへの統合: ベンチマーク結果を YAML 定義のカスタムモデルルーターに反映し、言語や複雑さに応じて最適なモデルへタスクを自動ディスパッチする。
4. 展望・課題（Next）
- クロスハーネス対応の予定: Claude Code や Codex など他社製エージェントと同一タスクで比較できるクロスハーネスベンチマーク機能を計画中。