LLMのJSON出力強制が回答多様性を低下──44モデルでモード回答率が41%から64%へ上昇

論文概要

本研究は、言語モデルに対して「JSONのみで返答せよ」といった出力形式の制約を課すことが、モデルの回答多様性に与える影響を定量的に調査したものである。44種類の言語モデルを対象に31種類のカテゴリプロンプトを用いた実験の結果、JSON形式を要求するだけで回答のモード（最頻値）が41%から64%へ上昇し、回答の分布が極端に収束することが明らかになった。

関連研究

本研究は、先行研究である「One-Word Census (arXiv:2607.12796)」の手法を拡張している。先行研究ではモデルの回答空間の広さを調査していたが、本研究ではそこに「出力形式の要求」という変数を加え、モデルの挙動がどのように変化するかを検証した。

新規性と貢献

従来のLLM評価は主にチャット形式で行われてきたが、実務ではJSON等の構造化出力が多用される。本研究は、構造化出力の要求自体がモデルの内部的な回答選択にバイアスをかけていることを初めて定量的に示した点に大きな貢献がある。特に、デコーダーレベルでの制約（response_format）ではなく、プロンプトによる形式要求そのものが回答の圧縮を引き起こしていることを突き止めた。

提案手法の詳細

本研究では、31のカテゴリプロンプトに対し、以下の2条件でモデルの回答を比較した。

1. 自由回答: 通常のチャット形式での回答。
2. JSON要求: 「Reply with JSON only」という指示のみを付与（スキーマ強制や制約付きデコーディングは行わない）。

この設計の直感的な理由は、モデルが学習過程で獲得した「JSON形式で出力すべき内容」という統計的なバイアスが、プロンプトの形式要求によってどの程度引き出されるかを純粋に測定するためである。

評価・考察

実験の結果、JSON形式を要求すると平均回答選択驚き度（surprisal）が1.80から1.58 bitsへ低下した。興味深いことに、この圧縮効果はJSONやXMLといった「モデルが学習時に多用する形式」に特化しており、YAMLやCSVでは見られなかった。また、デコーダーによるスキーマ強制を行っても回答の圧縮度は変わらないことから、この現象はモデルの出力生成プロセスそのものに深く根ざしていることが示唆される。

応用例と今後の展望

本研究の結果は、LLMをシステムに組み込むエンジニアにとって重要な示唆を与える。特に、回答の多様性が求められるクリエイティブなタスクや、幅広い選択肢を必要とする意思決定支援システムにおいて、JSON出力の強制が意図しない回答の偏りを生む可能性がある。今後は、特定の出力形式を強制しつつも、回答の多様性を維持するためのプロンプトエンジニアリングやファインチューニング手法の確立が求められる。

結論

構造化出力はLLMをソフトウェアとして利用するための不可欠なインターフェースであるが、それは同時にモデルの回答能力を「チャット形式で評価されるモデル」よりも狭い範囲に押し込める行為である。実務においては、この「形式による回答の圧縮」を考慮した設計が必要である。

注釈

• Surprisal: 情報理論における概念で、ある事象が発生する確率の逆数の対数。値が低いほど、その回答が予測可能（一般的）であることを意味する。
• Modal Answer: データセット内での最頻値。回答の偏りを示す指標。