Fireworks AI、Kimi K3 と Fable 5 のタスクルーティングによる性能最大化を実証
約 1,000 件のエージェントタスク評価で、モデル特性に応じた動的ルーティングが単一モデルの性能を上回ることを示した。
リリース: 2026-07-21 · 読了 5 分記事の要約
1. 核心（What）
- Kimi K3 と Fable 5 を用いた約 1,030 件のエージェントタスクにおける比較評価を実施。
- SWE ベンチマークにおいて、Kimi K3 が 92.4%、Fable 5 が 92.6% の正解率を記録。
- Oracle ルーティングにより、タスクの 72-96% で Kimi K3 が最適解として選択されることを確認。
- Kimi K3 はシンボリック数学やターミナル操作に強く、Fable 5 は Web 関連やデータ可視化、多言語対応で優位性を示す。
2. 影響（Why）
- モデル単体依存からの脱却: 単一の LLM に全タスクを投げる時代は終わり、タスク特性に応じてモデルを使い分けるルーティング構成が、品質とコストの両面で SOTA を更新する現実的な解となった。
- 国内 SaaS 事業者への影響: 自社でエージェント基盤を構築する中規模の国内 SaaS 事業者は、高コストな frontier モデルを全タスクに適用するのではなく、Kimi K3 のような高効率モデルを混在させることで、推論コストを維持したままタスク成功率を底上げできる。
3. 根拠・詳細（How）
- 評価手法とルーティング設計: 約 1,030 件のタスクを実エージェントループで実行し、各モデルの得意領域を測定。Oracle ルーティング（各タスクで最も安価な正解モデルを選択）を用いることで、理想的なルーティング性能の天井を算出。
- コスト効率の差異: SWE タスクにおいて Kimi K3 は 1.3M トークン/55 ターンを消費する一方、Fable 5 は 130K トークン/21 ターンで処理。プロンプトキャッシュ技術の活用により、トークン消費量が多い Kimi K3 でもトータルコストで優位性を確保。
4. 展望・課題（Next）
- ルーティングデータの拡充: 実運用レベルでの near-perfect なルーティングを実現するには、現状の評価データセットからさらに 1 桁多いルーティング用学習データが必要となる。