2026年5月19日 (火)

Transformerの長文脈スケーラビリティは、現行アーキテクチャの限界に直面している。118モデルの調査で2048トークンを超えた際の成功率が0%に落ち込む事実と、RoPEの特性上、文脈長増大に伴い位置情報とトークンの識別不能性が0.5に収束するという論文の結果は、現在の「長文脈対応」という謳い文句が数式レベルで脆弱であることを示唆する。NVIDIAとDellがBlackwell比で推論コストを1/10に抑える専用サーバーを発表したが、ハードウェアでコストを叩いてもモデル側の論理破綻は埋められないだろう。ツール周りではローカルファーストなMarkdownノートツールFiles.mdや、GitHubのスパム対策をGitのauthorフラグで制御する手法が公開されている。インフラの最適化とモデルの理論的限界の乖離を、開発者は冷静に見極めておきたい。