研究チーム、無限パラメータ LLM アーキテクチャを提案──実行時データから重みを動的生成
固定された事前学習重みに頼らず、ハイパーネットワークで実行時データから動的に重みを生成することで、コンテキストウィンドウの消費を抑えながら動的学習を実現する。
リリース: 2026-09-16 · 読了 3 分記事の要約
1. 核心（What）
- 事前学習済みの静的な重みバンクではなく、実行時データから重みを生成する Infinite-Parameter LLM アーキテクチャを提案。
- コンパクトなハイパーネットワークを活用し、動的データを共有ベースネットワークの低ランク変調へ変換する。
- 生成器の潜在コードに対してベイジアンビリーフを持ち、セッションの進行に合わせてオンラインで更新を行う。
2. 影響（Why）
- コンテキストウィンドウの圧迫解消: 長文脈をすべてプロンプトに載せる設計から、重み側へ直接書き込む設計へ移行できるため、トークン消費量を削減できる。
- 国内エンタープライズの適用可能性: 社内文書の連続的なフィードバックをプロンプトではなく重み側に永続化する仕組みは、セキュアなオンプレミス RAG 構成を検討する国内 SIer などの設計思想を変える。
3. 根拠・詳細（How）
- オンラインでのベイジアンビリーフ更新: 従来型の重み生成器のように文脈を 1 度だけ読んで固定するのではなく、セッション全体を通じて潜在コードの確率的信念を逐次更新する。
4. 展望・課題（Next）
- 従来型 In-Context Learning との比較検証: 提案されている評価プロトコルを用いて、従来型インコンテキスト学習や検索ベース手法に対する優位性の実証が進められる。