LLM 自らがアテンション先を動的制御する Declarative Attention ── KV キャッシュ読み取りを最大 52% 削減

論文概要

本論文では、大規模言語モデル（LLM）が自らの Chain-of-Thought（CoT）を通じて注目すべきコンテキスト領域を自発的に宣言する新しいプロトコル「Declarative Attention（DA）」を提案する。従来のグローバルアテンション機構は、100 万トークン規模の会話において生成ステップごとにすべての KV キャッシュを走査するため多大な計算コストが発生していた。DA プロトコルはモデルの自己認識能力を活用し、外部の軽量なプロキシスコアを用いずにアテンション先を動的に絞り込む手法である。ゼロショット評価において、Gemma-4-31B および Qwen-3.6-27B の既存モデルに対して適用した結果、デコード時におけるアテンション済みトークン数をそれぞれ 52.0% および 31.1% 削減しつつ、精度低下を最小限に抑えることに成功した。

関連研究

長文脈処理における計算コスト削減の主流なアプローチとして、外部の軽量なプロキシスコアを用いて関連トークンを事前選択する手法が存在する。しかし、これらの外発的（extrinsic）なスコアリング手法は、依然としてステップごとに $O(N)$ のオーバーヘッドを伴うという課題があった。これに対し、本研究はモデル自身がどのコンテキストが関連しているかを既に把握しているという直感に基づき、内発的（intrinsic）なアプローチを採用している点が決定的な違いである。

新規性と貢献

本研究の最大の新規性は、モデル自身の推論プロセス（CoT）を利用して注意を向けるべき領域を宣言させる点にある。これにより、外部の複雑なフィルタリング機構を排除しつつ、推論エンジンがツールコールの要領で宣言をパースして KV キャッシュの読み取りを大部分スキップすることが可能になる。15 の長文脈タスクを用いた広範な評価により、スパースアテンションにおける新たな軸を切り開いたことが学術的・実用的な貢献である。

提案手法の詳細

Declarative Attention（DA）は、生成プロセスを以下の 3 つのモードにパーティショニングするプロトコルである。

• <global>: 全コンテキストを対象とするモード。
• <focus>: 特定の指定された領域に集中するモード。
• <local>: 直近の出力のみを対象とするモード。

推論エンジンはモデルが出力するこれらの宣言をリアルタイムでパースし、対応するアテンションマスクを構築することで、不要な KV キャッシュのロードを動的に回避する。

評価・考察

15 の長文脈タスクにおけるゼロショット評価の結果、Gemma-4-31B ではアテンション済みトークン数を 52.0% 削減し、精度低下は 1.27 ポイントに留まった。また Qwen-3.6-27B では 31.1% のトークン削減と 2.75 ポイントの精度低下を記録した。さらに、モデルのスケールが大きくなるにつれて精度低下の幅が縮小する傾向が確認されており、より大規模なモデルへの適用において高い親和性を持つ。

応用例と今後の展望

本手法は、数百万トークンを扱う超長文脈 RAG や法的文書・ソースコード解析などの分野において、推論レイテンシとメモリ帯域のボトルネックを直接的に緩和する。国内のカスタマーサポートや大規模ドキュメント検索システムを開発するエンジニア・テックリードにとって、モデルのファインチューニングを行わずにオフサンドのまま推論コストを半減させる実務的な選択肢となる。今後は、トレーニングベースの最適化手法と組み合わせることで、さらなる精度と効率の向上が期待される。

結論

本研究は、LLM が自らの注意機構を制御する Declarative Attention を提案し、オフザシェルフモデルのままで KV キャッシュの読み取り量を劇的に削減できることを実証した。スパースアテンションの設計における新たなパラダイムを提示する成果である。

注釈

• KV キャッシュ (Key-Value Cache): Transformer モデルの自己回帰生成において、過去のトークンのキーとバリューを保持し再計算を防ぐメモリ領域。
• Chain-of-Thought (CoT): モデルが最終回答に至るまでの思考プロセスを段階的に出力する手法。