推論サーバー Amazon SageMaker Inference、プレフィックス認識型ルーティング機能を追加──Llama 3.1 70B で KV キャッシュヒット率 80% 超、TTFT 最大 77% 削減
プロンプト共通部分の分散配置を防ぎ同一インスタンスへ集約することで、長文脈 RAG やマルチターン会話の応答速度を大幅に引き上げる。
リリース: 2026-09-10 · 読了 3 分記事の要約
1. 核心（What）
- Amazon SageMaker Inference がリクエストの先頭一致に基づいて同一インスタンスへ送信する prefix-aware routing 機能をリリース
- Llama 3.1 70B と 7 台の ml.p5.48xlarge インスタンスによる検証で、長文脈の P50 TTFT を 71〜77% 削減
- 共有プレフィックスにおける KV キャッシュヒット率が従来の約 25% から 80% 超へ上昇し、スループットが 15〜16% 向上
- 過負荷時のフォールバック機能やスケーリング時の安定性を備え、RANDOM や LEAST_OUTSTANDING_REQUESTS に次ぐ第 3 のルーティング戦略として提供
2. 影響（Why）
- キャッシュヒット率の劇的な改善: 従来型ランダムルーティングでは同一プレフィックスが複数インスタンスに分散していたが、特定マシンへの集約により KV キャッシュの再利用率が跳ね上がる。
- 国内 SaaS のコスト対効果向上: 共通指示文や検索ドキュメントが長い RAG アプリを AWS で運用する国内企業は、GPU インスタンスの冗長な計算を削り、インフラ費用対効果を直接高められる。
3. 根拠・詳細（How）
- ペイロード解析によるルーティング機構: エンドポイントの手前でリクエストの指定バイト数（または文字数）を評価し、一致するプレフィックスを持つリクエストを同一インスタンスへ一括送信する。
- オーバー負荷保護とスケーリング対応: ConcurrencyThreshold で指定した同時リクエスト数を超える場合は過負荷を防ぐために別インスタンスへ迂回させ、スケーリング時も既存キャッシュの破棄を最小限に抑える。
4. 展望・課題（Next）
- 適用ワークロードの検証: チャット履歴が長大化するマルチターン会話や、コード補完でのファイルコンテキスト共有などにおける挙動を個別のシステムでベンチマーク推奨。