AWS、ナレッジ圧縮ツール Task-Aware Knowledge Compression を公開──RAG の限界を超える 8x から 64x のマルチレート圧縮基盤
膨大な複数ドキュメントをタスク別に事前圧縮し、クロスドキュメントの文脈を保持しながらトークン数を最大 1/64 に圧縮する AWS 上のオープンソース実装。
リリース: 2026-07-27 · 読了 4 分記事の要約
1. 核心（What）
- AWS は、類似度検索ベースの RAG の限界を克服するタスク特化型ナレッジ圧縮手法（TAKC）のオープンソース実装を公開した。
- システムはオフラインでのインジェストとオンラインでのクエリの 2 つのサーバーレスパイプラインで構成され、Amazon Bedrock を活用してドキュメントを圧縮する。
- 4 段階の圧縮レート（8x、16x、32x、64x）を維持し、クエリの複雑さに応じてクエリ複雑度アナライザーが適切な圧縮キャッシュを選択する。
2. 影響（Why）
- クロスドキュメント分析の精度向上: 従来のトップ k チャンク抽出では検知できない複数ファイル間の依存関係を、タスク特化プロンプトによる事前圧縮によって保持できる。
- 大幅なトークンコスト削減: 8x から 64x へのマルチレート圧縮により、月数十万件に及ぶ定型的な検索クエリを高圧縮キャッシュで処理し、運用コストを劇的に引き下げる。
3. 根拠・詳細（How）
- インジェストパイプラインの構成: Amazon S3 へのドキュメント配置をトリガーに AWS Lambda が 256 トークン（50 トークンオーバーラップ）にチャンク分割し、Amazon Bedrock で並行圧縮する。
- マルチレートキャッシュの管理: 圧縮された出力は階層型キー構造を持つ Amazon ElastiCache Serverless に 24 時間の TTL で格納され、S3 にバックアップされる。
4. 展望・課題（Next）
- 評価スクリプトによる品質検証: 提供されているリファレンス実装のテストスクリプトを使用し、各圧縮ティアーでの LLM 応答の精度を未圧縮ドキュメントと比較検証することが推奨される。