IBM Research、LLM ルーティングを最適化問題として再定義──AppWorld でコスト 21% 削減を実証
モデル選択を単なる分類問題ではなく、キャッシュ効率やインフラ制約を含むシステム全体の問題として捉え直すことで、精度低下を最小限に抑えつつコストとレイテンシを最適化する。
リリース: 2026-07-15 · 読了 5 分記事の要約
1. 核心（What）
- AppWorld Test Challenge における 417 タスクの検証で、Claude Sonnet 4.6 は GPT-4.1 と比較して総コストを約半分に抑制した。
- キャッシュヒット率の高いワークロードでは、モデル単体のトークン単価よりもキャッシュ読み取り価格がコストに大きく影響する。
- 開発したルーティングアルゴリズムは、1 タスクあたり 6ms の処理時間と 2kB のメモリ消費で動作する。
- ルーティング設定の最適化により、Opus 単体運用と比較してコスト 21% 削減、レイテンシ 9% 削減を達成した。
2. 影響（Why）
- コスト構造の前提崩壊: トークン単価だけでモデルを選ぶと、キャッシュ効率や推論ステップ数の違いにより逆転現象が起きる。実運用では「単価」ではなく「システム全体の実行コスト」で評価する必要がある。
- 国内 SaaS への影響: API 連携でエージェントを構築する国内の Vertical SaaS 事業者は、ルーティング層にキャッシュヒット率を考慮した最適化を組み込むことで、推論コストを 2 割程度圧縮できる可能性がある。
3. 根拠・詳細（How）
- 最適化アルゴリズムの実装: モデルの難易度予測という分類問題から脱却し、コスト・品質・レイテンシを多目的変数として最適化するアルゴリズムを設計。AppWorld Test Challenge 上でパレート最適解を導出している。
- ルーティングの軽量性: 推論前処理のオーバーヘッドを 6ms、メモリ占有を 2kB に抑えることで、エージェントの推論パス上でボトルネックとならない軽量なルーティングを実現した。
4. 展望・課題（Next）
- 技術詳細の公開: 今回構築したルーティング手法の具体的なアーキテクチャやアルゴリズムの詳細は、後続の技術ブログで公開予定。