4 つのオープンソースルーターを共通インターフェースで評価──タスクおよびセッションレベルの性能検証とベンチマーク結果

論文概要

エージェントシステムにおいて LLM のモデル選択をルーターに委譲する手法が一般化しているが、オープンソースのルーターはタスク、候補プール、実行プロトコルがバラバラの状態で評価されており、直接的な比較が困難であった。本研究では、RouterBench、BFCL v4、tau2-bench、WebArena という 4 つのベンチマークを横断し、4 つのオープンソースルーターの実装を共通の測定プロトコルで評価するハイブリッド評価を提示している。290 の固定タスクと 2,610 の候補出力からなるロックされたマトリクスを用いて検証が行われた。

新規性と貢献

本研究の主要な貢献は、複数のオープンソースルーターに対する共通測定プロトコルの確立と、それを通じた厳密なハイブリッド評価にある。ルーターが真にプロンプトの内容を理解して動的に最適なモデルを選択しているのか、あるいは単に固定的な tier（階層）の割り当てを行っているに過ぎないのかを、凍結されたタスクサンプルと候補出力の組み合わせを用いて定量的に検証した点に学術的・実用的な意義がある。

提案手法の詳細

検証では、4 つのルーター実装を対象として、共通インターフェースを通じたハイブリッド評価の仕組みを構築した。vLLM Semantic Router などをはじめとする各ルーターの動作を分析し、プロンプトの内容に対する変動性や、固定 tier を出力するベースライン（Always-Mid など）との挙動の差異を直接比較できるように設計されている。これにより、ルーターが選択するモデルの構成比率と、タスクごとの成功率との関係を解きほぐすことが可能となっている。

評価・考察

評価の結果、いくつかの興味深い事実が明らかになった。4 つのルーターのうち、vLLM Semantic Router のみがプロンプトの内容に応じて変化する動作を示したが、評価した 4 つのベンチマークのいずれにおいても最高成功率を記録することはなかった。さらに、Always-Mid のような単純なベースラインは、3 つのベンチマークで Aurelio の結果と完全に一致し、残りの 1 つでも 0.003 以内に収まる結果となった。vLLM におけるタスクレベルの優位性テストでは、シェアを一致させたコンテンツ非依存の割り当てと比較して有意なタスク特異的優位性は検出されず、プロトコルで宣言された 5 パーセントポイントのマージン内で等価性が確認されたのは WebArena のみであった。観察された性能向上は、タスク固有のターゲティング能力というよりも、選択された tier の構成比率に密接に追随していることが示されている。

応用例と今後の展望

本研究の知見は、LLM のコスト最適化やレイテンシ削減のためにルーターを導入しようとしているプラットフォーム開発企業や AI アプリケーション開発の現場において、ルーター選定の基準を見直す契機となる。特に、複雑な動的ルーティングをうたうシステムにおいても、実際には固定 tier のベースラインと同等の挙動に留まる可能性があるため、実務上のアーキテクチャ設計では固定 tier ベースラインや選択 tier 分布をコントロールとして置くことが不可欠であると示唆している。なお、今回の結果は特定の構成、候補プール、凍結されたベンチマークサンプルにスコープされたものであり、あらゆるルーティングパラダイム一般にそのまま適用できるものではない。

結論

オープンソースルーターの共通インターフェースによるハイブリッド評価の結果、観測された性能上の利得は高度なタスク特異的ターゲティングによるものではなく、選択された tier の構成比率に大きく依存していることが判明した。ルーター評価においては、固定 tier ベースラインや選択 tier 分布を適切なコントロールとして用いることが重要である。

注釈

RouterBench / BFCL v4 / tau2-bench / WebArena: LLM のエージェント能力、ツール呼び出し、ウェブタスク遂行能力などを測定するための代表的なベンチマーク群。
ルーター (Router): プロンプトの性質やコスト・速度要件に応じて、最適な LLM エンドポイントを選択・ディスパッチする仕組み。