AWS、RAG パイプライン最適化ツール群を公開──Amazon Bedrock でクエリ認識型圧縮により入力トークン数を削減
Amazon Bedrock 上で検索された複数チャンクを安価なモデルで事前フィルタリングし、高価なプライマリモデルの入力コストを圧縮する設計パターンを公開した。
リリース: 2026-08-21 · 読了 3 分記事の要約
1. 核心（What）
- Amazon Bedrock は、RAG の検索結果から不要なコンテキストを削りコストを削減するクエリ認識型圧縮の設計パターンを公開した。
- 検索されたトップ k のチャンクをプライマリモデル（Anthropic Claude Sonnet 等）に直接渡すのではなく、事前に安価なモデルでフィルタリングする。
- AWS Lambda 関数内の Converse API 呼び出しにより、温度 0.0 で決定論的な抽出処理を行い、ハルシネーションの低減とコスト圧縮を両立させる。
- プロンプトキャッシュや Bedrock Rerank API などの既存機能と組み合わせて、さらなるコスト削減を図る構成に対応している。
2. 影響（Why）
- 高単価モデルへの入力削減によるコスト直結: 数千トークン規模の長文コンテキストを毎回プライマリモデルに投げる構成から、安価なモデルでの事前の削り込みを挟む構成に変えることで、月単位の API コストを大幅に抑制できる。
- 国内大規模 SaaS の運用コスト最適化: 社内ドキュメントやチケット検索などの大規模 RAG を本番運用している国内エンタープライズ SaaS 企業は、推論あたりの入力トークン単価を見直し、API 予算を数分の一に圧縮する設計に移行するインセンティブが生まれる。
3. 根拠・詳細（How）
- AWS Lambda と Converse API による直列処理: AWS Lambda 関数内で Amazon Bedrock Runtime クライアントを初期化し、Converse API を用いて 2 段階の呼び出しを実行する。第 1 段階の圧縮呼び出しでは温度 0.0 で Anthropic Claude Haiku を動作させ、ソースの verbatim スパンのみを抽出する。
- 検証環境と評価データセットの仕様: 検証ではチャット、メール、チケット、CRM 記録など 9 種類、総計 50 万件以上のエンタープライズ文書コーパスを使用し、幅広い文書型に対する検索精度の低下リスクを 500 件のクエリで検証している。
4. 展望・課題（Next）
- 既存構成へのアドオン実装: Amazon Bedrock Knowledge Bases や既存のベクトル検索基盤の下流に Lambda 関数を挟むだけで導入できるため、既存の RAG アーキテクチャを大きく変更せずに段階的なコスト検証を進めることが可能。