LLM の少ショット劣化の主原因を解明する──ランダムテキスト対照実験でプロンプト長の影響を分離し因果関係を実証

論文概要

LLM（大規模言語モデル）における少ショットプロンプティング（Few-shot prompting）は、モデルの性能を向上させる手法として広く知られているが、時として性能を低下させることがある。しかし、その現象が生じる根本的なメカニズムは未解明であった。本論文では、12個のオープンウェイトモデルを対象に、ウクライナ語の2つのタスク（ニュース分類である SIB-200 と法務事例予測である ua-case-outcome）を用いた網羅的な評価を実施した。その結果、少ショットによる効果はタスク依存性が極めて高く、同一モデルであってもニュース分類では +24 pp の改善を示す一方で法務テキストでは +3.4 ppにとどまり、一部モデルでは性能低下が生じることが確認された。

Figure 1: タスクおよびモデルごとの少ショット効果（ΔFS）を示しており、すべてのモデルがニュースでは利益を得るものの法務では効果が低下することを示しています。

新規性と貢献

本研究の最大の新規性は、プロンプト長に起因する内部表現のシフトを厳密に分離するため、デモを「長さが一致したランダムテキスト」に置換して測定する手法を提案した点にある。これにより算出される「コンテンツデルタ（content delta）」は、デモの長さではなく「デモの内容が何を語っているか」に起因する内部表現の変化を正確に切り分けることに成功した。その結果、従来の「生の状態シフト（raw shift）」は少ショット効果と相関しない（ $r = 0.20$ ）のに対し、コンテンツデルタは強い正の相関を示す（ $ho = +0.65, p = 0.043$ ）ことを突き止めた。

提案手法の詳細

提案手法の核となるのは、デモ部分を等長のランダムテキストに置き換えて得られるベースラインの表現シフトを、実際のデモを用いた際の表現シフトから差し引くアプローチである。これにより、モデルが入力されたデモの「内容そのもの」によって表現をどれだけ再構築しているかを定量化できる。直感的な解釈として、従来の「デモがモデルを歪めている」という仮説とは逆に、デモの内容によって内部表現をより積極的に再構築するモデルほど、少ショットプロンプトから高い恩恵を受けることが実証された。また、Llama 3.3 70B を用いた介入実験により、デモをマスクすることで因果関係が裏付けられ、ゼロショットのベースラインを超える精度が回復することが確認されている。

Table 2: SIB-200 (ニュース) および ua-case-outcome (法務) データセットにおける各モデルのゼロショットおよび少ショットの精度と差分をまとめています。

評価・考察

12モデルを用いた実験において、ニュース分類タスクでは平均で +24 pp の向上を記録したのに対し、法務文書タスクでは +3.4 pp にとどまり劣化するモデルが存在した。コンテンツデルタと少ショット効果の間には $ho = +0.65$ の有意な正の相関が確認され、モデルの表現再構築能力が少ショット性能の本質的な予測因子であることが示された。さらに、Llama 3.3 70B におけるマスク処理の因果解析により、この関係の妥当性が強固に裏付けられている。

Figure 3: SIB-200 におけるコンテンツデルタと少ショット効果の関係を示しており、歪み仮説とは逆に正の相関が観測されることを示しています。

応用例と今後の展望

本研究の成果は、金融・法務・医療などの専門ドメインにおいて少ショットプロンプティングを設計・運用する日本のAIエンジニアやテックリードにとって、プロンプト設計の信頼性を高める実務的な指針を提供する。特に、数千〜数万件の法務文書やニュース記事を取り扱う国内のAI受託開発企業や法務テック分野において、プロンプトの長さやデモ選択がモデルの内部表現に与える影響を定量評価する基準として応用可能である。今後の課題としては、英語以外の多様な言語や、より大規模なタスク群における汎用性の検証が挙げられる。

結論

本論文は、LLMの少ショット劣化がプロンプトの長さという交絡因子に起因するものであり、デモの内容に基づく内部表現の再構築が性能向上を駆動していることをランダムテキスト対照実験により明らかにした。コンテンツデルタ指標の導入により、少ショットプロンプティングのメカニズム理解が大きく前進した。

注釈

コンテンツデルタ (content delta): プロンプト長に起因する表現のシフトをランダムテキストで相殺し、デモの内容自体がモデルの内部表現に与える影響を純粋に計測する指標。
少ショット劣化 (Few-Shot Degradation): 例示（デモ）を追加して少ショットで推論を行った際に、かえってゼロショット時より精度が低下する現象。