Perplexity、推論サーバー ROSE を公開──vLLM を上回るスループットとレイテンシを実現
Perplexity が埋め込み専用推論スタック Ivy・Tulip・ROSE の詳細を公開し、vLLM v0.22.0 との比較でレイテンシとスループットの優位性を示した。
リリース: 2026-09-04 · 読了 3 分記事の要約
1. 核心（What）
- Perplexity は検索時の埋め込み処理を高速化する専用推論スタックとして Ivy、Tulip、ROSE の詳細なアーキテクチャを公開した。
- Ivy は Rust HTTP ゲートウェイとしてトークナイゼーションやバッチ分割を処理し、Tulip は Rust gRPC サーバとしてスケジューリングを担う。
- ROSE は Python ベースでモデルのフォワードパスを実行し、KV キャッシュを排除した最適化されたカーネルで推論を処理する。
- vLLM v0.22.0 との比較ベンチマークにおいて、BGE-M3 や pplx-embed-1-0.6b を用いたすべてのテストシナリオでレイテンシとスループットが向上した。
2. 影響（Why）
- 小規模モデルにおける CPU 律速の克服: 埋め込みモデルは小規模であるため、GPU 演算よりも CPU 側のカーネル起動やスケジューリングのオーバヘッドがボトルネックになりやすく、CUDA グラフと非同期管理でこれを隠蔽する設計が実用的である。
- 国内大規模 RAG 基盤への応用: 国内の検索型 AI や垂直統合型 SaaS において、大量のドキュメントをインデックス化するバッチ処理とリアルタイム検索のレイテンシを同時に最適化するインフラ設計の参考になる。
3. 根拠・詳細（How）
- CUDA グラフの遅延キャプチャ機構: シーケンス数とトークン数の組み合わせごとに変動するグラフを、ライブトラフィックの到着に合わせて遅延キャプチャすることで、起動時の数分に及ぶ静的キャプチャのコストを回避している。
- ラギッド注意機構と KV キャッシュの排除: ROSE では LLM のプレフィール・デコード用カーネルを再利用しつつページド注意機構を廃止し、パディングのオーバーヘッドがないラギッド注意機構（ragged attention）に切り替えている。
- LazyTensor による CPU/GPU のパイプライン化: ページロックメモリ上のホストバッファと cudaMemcpyAsync イベントを組み合わせた LazyTensor により、CPU が次バッチの準備をする間に GPU の前バッチ処理結果を非同期で待機させる。
4. 展望・課題（Next）
- マルチバックエンドの動的切り替え: FlashInfer 2、FlashInfer 3、FlashAttention 4 などの複数のアテンションバックエンドを動的に選択し、ヘッド数や次元数に応じた最適なカーネル選択の検証が進められている。