LLM の「ランダム性の底」を特定──非ランダム性の 9 割は文脈ではなくモデル重みに起因
新指標 ED で Transformer と SSM のトークン生成における本質的な偏りを定量化。（原題: The Randomness Floor: Measuring Intrinsic Non-Randomness in Language Model Token Distributions）
リリース: 2026-03-29 · 読了 4 分何が起きた
Transformer モデル（Gemma, Llama, Qwen）は、意味のないプロンプト下でも約 0.30 の ED（Entropic Deviation）を示し、非ランダム性の 88-93% が学習済み重みに由来する。
状態空間モデル（Mamba2）は Transformer の 2 倍の ED を示し、温度変化への感度が極めて高い（r = -0.78）一方、Transformer はほぼ無反応（r < 0.05）である。
Qwen-32B を用いた 5 言語（英語、日本語、中国語、ポーランド語、アラビア語）の実験により、言語自体がトークナイザーとは独立してランダム性の下限を変動させることが判明した。
なぜ重要
LLM が「完全にランダムな出力」を生成できない構造的限界を定量化した。温度パラメータを上げても Transformer の出力分布の偏りが解消されないという事実は、多様な生成を求める際のサンプリング戦略の前提を覆す。
👁️ 開発者
Transformer ベースのモデルでサンプリングの多様性を追求している開発者は、温度調整による効果が限定的であることを認識すべき。SSM は温度に敏感であるため、アーキテクチャ選定が生成のランダム性に決定的な影響を与える。
🇯🇵 日本
国内固有の追加文脈は限定的（汎用的に有用）。
著者
📊 BenchmarkUnspecified
| Metric | Score | Δ |
|---|---|---|
| Transformer ED (Neutral Prompt) | 0.3 | |
| Mamba2 Temperature Sensitivity (r) | -0.78 | -0.8 |