LLM 推論スタックの自動最適化において Arbor が木探索によりスループットを最大 193% 向上
複数エージェントが共有メモリとして探索木を構築し、LLM 推論のフルスタック最適化を自動化。ベンダー最適化済みのベースラインを大幅に凌駕。(原題: Arbor: Tree Search as a Cognition Layer for Autonomous Agents)
リリース: 2026-06-10 · 読了 4 分LLM 推論のフルスタック(アプリ、フレームワーク、コンパイラ、カーネル、ハードウェア)を対象とした自動最適化フレームワーク Arbor を提案。
ベンダー最適化済みのベースラインに対し、スループットとレイテンシのパレート改善で最大 193% の向上を達成。
単一エージェントによる最適化(+33% で頭打ち、数時間で不可逆的にクラッシュ)に対し、Arbor は数日間にわたる自律的なキャンペーン実行が可能。
実行ごとの分散は 2% 以内に収まり、異なる世代のハードウェア間でも高い再現性と汎用性を実証。
LLM 推論の最適化は、アプリからハードウェアまで広範な専門知識が必要で、人間がチームを組んで数週間かける作業だった。Arbor を使えば、これを自律エージェントに任せ、人間が到達できなかった性能向上を数日で得られる。
単一エージェントでは不可能な「失敗からの診断シグナルの抽出」と「探索範囲の動的拡大」を、構造化された探索木(認知レイヤー)によって実現している。
ベンダーが提供する最適化済み設定よりも 2 倍近い性能を引き出せるため、推論インフラの計算コスト劇的な削減に直結する。
大規模な LLM 推論インフラを運用するエンジニアは、手動のチューニングを Arbor による自律最適化に置き換えるべき。単一エージェントでは不可能な長期的な探索と安定性を、木探索ベースの共有メモリ構造が解決している。
国内固有の追加文脈は限定的(汎用的に有用)。
| Metric | Score | Δ |
|---|---|---|
| Throughput-latency Pareto improvement | 193 | +93.0 |
| Single agent throughput improvement | 33 | -67.0 |