LLM エージェント社会の人間行動適合性を検証する新ツール SILICA ── 12 モデル評価で最終協力状態の再現に全モデルが失敗

論文概要

LLM エージェントを集団として用いた実験社会シミュレーションの信頼性を検証するため、著者である Raad Bin Tareaf 氏はオープンな検証計測器「SILICA」を提案した。本研究では、12 個のオープンウェイトモデルを単一のコンシューマー向け GPU で実行し、人間行動との比較を行った。その結果、第 1 ラウンドの公共財ゲーム等における開始時点の行動では人間データと同等の範囲に収まるモデルが 11 モデル中 8 モデル存在したものの、最終的な協力状態や人間特有の協力の回廊を再現できたモデルはゼロであった。さらに、プロンプト内のアクション提示順序の入れ替えだけで協力率が 58 ポイント低下するなど、実験装置の些細な変更に対する脆弱性が確認された。

関連研究

近年、LLM ベースのエージェントを用いた社会シミュレーションや経済ゲームの実験が多数行われているが、それらの結果が「モデルが人間の行動を真に模倣しているのか」あるいは「訓練データに含まれる実験内容の単なる記憶・再現に過ぎないのか」という点についての検証は不十分であった。本研究は、人間の行動分布に対する妥当性、実験環境の微小な変更に対する頑健性、そして真の相互作用の有無という 3 つの疑念に同時に切り込む点で先行研究と異なる。

新規性と貢献

本研究の主要な貢献は、公開された人間のアンカーデータを持つ 5 つの環境と、ルールを変えずに再レンダリングする摂動、および報酬構造を変更した変異版を組み合わせた総合的な検証フレームワーク「SILICA」の構築にある。12 のオープンウェイトモデルを網羅的に評価し、現在のシリコン社会（LLM エージェント集団）が探索的な主張以上の裏付けを与えるには至っていないという限界を定量的に示した点が学術的・実用的な貢献である。

提案手法の詳細

SILICA は、エージェント社会の実験結果を監査・認証するためのオープンな計測器として設計されている。背景にある直感として、モデルが人間らしい社会ダイナミクスを示しているように見えても、それは単に事前学習で記憶した実験の再現や、プロンプトのフォーマットに依存した偶然の産物である可能性を排除する必要がある。そのため、環境内の報酬構造の反転や提示順序の変更といった摂動を加え、エージェントが経済的インセンティブや社会規範に合理的に適応するかどうかを厳密にテストする構造となっている。

評価・考察

12 モデルの評価結果において、人間データとの一致は開始時点に限定されていた。11 モデル中 8 モデルが第 1 ラウンドの公共財ゲームの貢献度で等価マージン内に収まったが、最終状態の貢献度ではどのモデルも人間の協力の回廊に到達しなかった。ウルティマムゲームにおける固定オファースケジュールの検証（Figure 3）では、推論特化型トレーニングを受けた単一のモデルのみがインセンティブの要求通りに受容閾値を配置できた一方、2 モデルは不適切な方向へ閾値を移動させ、3 モデルに至っては閾値を獲得できなかった。また、規範の形成は交渉ではなく名前に対する共有された事前知識に依存していることも示された。

応用例と今後の展望

本研究の知見は、LLM エージェントを用いた社会科学シミュレーション、マーケティング調査、政策決定支援などの分野において重要な示唆を与える。特に国内の経済動向調査や都市政策のシミュレーションにおいて LLM エージェントを導入する際、現行のモデル単体では最終的な社会ダイナミクスや規範形成を正確に予測できないリスクがある。今後は、エージェントの推論能力の向上や、摂動に対する頑健性を高めるためのアーキテクチャの改良が求められる。

結論

SILICA を用いた検証により、現在の LLM エージェント社会は初期の行動傾向の模倣には成功しているものの、動的な協力状態の維持や環境の微小な変化への適応においては重大な限界を抱えていることが明らかになった。現段階のエージェント集団の出力を根拠に政策や社会実装を決定することは困難であり、より厳密な監査プロトコルの適用が必要不可欠である。

注釈

• 公共財ゲーム: 参加者が各自の資金から公共財に投資し、その総額が倍増されて均等に分配される実験経済学のゲーム。
• ウルティマムゲーム: 提案者が金額の分け方を提示し、受容者がそれを承認すれば成立し、拒否すれば双方の取り分がゼロになる交渉ゲーム。