JustVugg、ローカルモデルランナー colibrì を公開──744B パラメータの GLM-5.2 を 25GB RAM で動作
純粋な C 言語で実装された推論エンジンにより、膨大な MoE モデルをディスクからのエキスパートストリーミングで低メモリ環境でも実行可能にした。
リリース: 2026-07-09 · 読了 3 分記事の要約
1. 核心（What）
- 744B パラメータの MoE モデル GLM-5.2 を、約 25GB の RAM で実行可能な推論エンジン colibrì v1.0 を公開。
- モデルの重み（約 370GB）をディスク上に保持し、必要なエキスパートのみをオンデマンドで RAM にストリーミングする設計。
- 推論エンジンは依存関係のない約 1,300 行の C 言語コードで構成され、GPU を使用せず CPU のみで動作。
- MLA (Multi-head Latent Attention) の重み吸収技術を採用し、推論時の KV キャッシュを 57 倍に圧縮。
2. 影響（Why）
- 巨大モデルのローカル運用: 数千億パラメータ規模のモデルを、高価な GPU クラスタではなく一般的なデスクトップ環境で動かせるため、プライベートな環境での大規模推論が現実的になる。
- 国内 SaaS 開発への影響: 機密情報を扱う[国内 Vertical SaaS 業種]の小規模開発チームは、クラウド API を経由せずにオンプレミスで超巨大モデルを利用した高度な推論パイプラインを構築できる。
3. 根拠・詳細（How）
- エキスパートストリーミング機構: 約 17B の密結合部分を RAM に常駐させ、21,504 個のルーティングされるエキスパートをディスクから LRU キャッシュ経由で逐次読み込むことでメモリ消費を抑制。
- 推論最適化と高速化: AVX2 命令セットと int8 活性化関数を用いたドット積カーネルにより、int8 行列演算において 119 GFLOP/s の処理速度を実現。
4. 展望・課題（Next）
- 推論速度の最適化: 現状の設計ではコールドキャッシュ時に speculation がボトルネックとなるため、適応型ガードによるキャッシュヒット率の改善が課題。