volotat、動的継続学習モデル mini-AGI を公開──8GB VRAM で自律的にアーキテクチャを構築
単一の消費者向け GPU とディスク容量を上限とするストレージページングにより、破局的忘却を起こさず常時学習し続けるバイトレベル言語モデル。
リリース: 2026-09-21 · 読了 3 分記事の要約
1. 核心（What）
- volotat 氏が GitHub にて継続学習型バイトレベル言語モデル mini-AGI を公開した
- 重みをディスク上に保存し動的にページングすることで VRAM の容量制限を回避する
- PonderNet レシピに基づく適応型深度を採用し、文字ごとに計算量を動的に変更する
- 読み込みと生成が同一のフォワードパスで実行され、学習と推論が常時継続する
2. 影響（Why）
- ローカル完結型継続学習の実現: 商用 API のように凍結されたモデルではなく、手元のハードウェアで自社データや日常の対話から常時学習し続けるシステムを構築できる。
- ハードウェア制約の抜本的な緩和: 国内の個人開発者や中小規模の検証チームにとって、8GB VRAM という安価な環境でゼロからの継続学習を試せる実験基盤として価値がある。
3. 根拠・詳細（How）
- アーキテクチャと適応型深度の仕組み: 文字は2つの密なプレリュードブロックを通過した後、最大24回適用されるリカレントブロックに入る。各文字のハルティングヘッドが計算停止を判定し、簡単な文字は1回、複雑な文字は最大14〜24回の動的深さで処理する。
- ディスクページングとストレージ管理: すべての専門家（エキスパート）の重みと Adam モーメントをディスク上のファイルとして保持し、RAM キャッシュと VRAM 内の常駐セット（resident）の間で LRU 方式によりページング処理を行う。
4. 展望・課題（Next）
- 重みデータの公開予定: コーパスの最初の 1 周目が完了する数週間後に重みファイルが公開される予定。現在は玩具レベルの実験段階にあり、フロンティアモデル級の性能ではない。