会話履歴を連続メモリトークンに圧縮する LatentPress──LongMemEval で 7.70 倍圧縮時に精度 0.504 を達成

論文概要

LLM における長文脈の処理コストを削減するため、著者らは会話履歴や長文ドキュメントをテキストや画像として一度復元せず、直接デコーダの入力埋め込みインターフェースへ渡す連続メモリトークンとして圧縮する手法「LatentPress」を提案した。小規模な reader-matched writer により 4 から 16 倍の圧縮を実現しつつ、アダプター部分のみ（4.2M〜26.2M パラメータ、デコーダ全体の約 0.1%）を学習させることで高い効率性を維持している。

関連研究

従来、長文脈の圧縮手法としては、テキスト要約や OCR ベースの画像レンダリングおよびビジョン・言語モデルを活用した手法が存在した。しかし、これらの手法はテキストへの復元プロセスや重いデコード処理を伴うため、推論レイテンシや情報損失の課題があった。本手法は、テキストや視覚表現の枠を超えた機械フレンドリーな中間表現（ソフトトークン）を直接利用する点でこれらと一線を画す。

新規性と貢献

本研究の最大の新規性は、人間が読めるテキストやレンダリング画像を経由しない「第 3 の表現」としての連続メモリトークンを導入した点にある。推論時のテキスト再構成を排除することで、書き込み処理が会話あたり 43ms と、従来のテキスト要約や OCR 再構成に比べて約 1 桁高速化された。さらに、読み出し処理も生コンテキストやキャッシュされた OCR と比較して 5 から 9 倍高速化されている。

提案手法の詳細

LatentPress では、会話履歴や長文を凍結されたデコーダが直接読み取れる連続メモリトークンへと変換する。writer は reader の構造に一致するように設計されており、デコーダ本体のパラメータを固定したまま、ごく小規模なアダプターのみをトレーニングする。この設計により、モデル全体の重みを更新することなく、効率的かつ安定した文脈圧縮が可能となっている。

評価・考察

LongMemEval において、LatentPress は 7.70 倍の圧縮率で 0.504 の精度を記録し、非圧縮の生データ（0.490）を上回った。これは従来のテキスト要約（0.184）や OCR ベースの圧縮（0.312〜0.426）を大きく引き離す結果である。また LongBench-QA でも、ドメイン内 writer は 4 から 8 倍の圧縮率で生コンテキストと同等以上の読み取り精度を示した（16 倍ではやや低下）。ゼロショット移転設定の検証からも、汎用的な文脈インターフェースとしての実用性が示されている。

応用例と今後の展望

本手法は、膨大な過去ログや会話履歴を扱うカスタマーサポートプラットフォーム、およびコールセンター向けの大規模対話システムにおいて、コンテキスト長に起因するボトルネックを解消する実務インパクトを持つ。特に、API コストの削減とレイテンシの改善が求められる国内のクラウドサービス運用企業にとって、アダプターの追加のみで導入できる点は強力なメリットである。今後は未学習ドメインへの適応性向上や、さらなる高圧縮率下での精度維持が課題となる。

結論

LatentPress は、テキストや視覚表現に依存しない連続メモリトークンによる文脈圧縮が、長文脈 LLM の推論効率と精度の両立において極めて有効であることを実証した。軽量なアダプター学習のみで動作する点は、実運用への展開を大いに加速させる。

注釈

• 凍結デコーダ: パラメータを固定（更新しない）した状態の言語モデル本体。
• ソフトトークン: 離散的な単語 ID ではなく、連続値のベクトル空間上で表現された埋め込み表現。