長文脈 LLM における RoPE の本質的限界──文脈長増大で位置とトークンの識別不能性が 0.5 に収束
RoPE が長文脈で近接バイアスと重要度の整合性を失うことを理論的に証明。Base 調整によるトレードオフの限界を指摘。（原題: RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably）