Edge0、モデル Edge0-35B-A3B-preview を公開──35B モータを 3 GiB RAM で動作
35B パラメータの sparse MoE モデルを 3 GiB 未満の常駐メモリで 15 tok/s 動作させ、スマホ・エッジ端末でのローカル実行を実証した。
リリース: 2026-09-08 · 読了 3 分記事の要約
1. 核心（What）
- Edge0 が 35B パラメータの sparse MoE モデル「Edge0-35B-A3B-preview」を公開
- edge0 ストリーミング推論フレームワークを活用し、常駐メモリ 3 GiB 未満での実行を実現
- int4 量子化、LoRA アダプタ、事前ルーター（prerouter）を統合した完全なモデルディレクトリとして配布
- Recover-LoRA 蒸留により、FP16 ベースモデルからの性能低下を平均 3.9 ポイントに抑える
2. 影響（Why）
- メモリ制約環境での大規模モデル実用化: 35B 級のモデルを 3 GiB 未満の RAM で動かせるため、高価な GPU サーバーを持たない開発環境でも大規模モデルの挙動をローカルで手元検証できる。
- クラウド依存を減らすエッジ推論の選択肢: VRAM 容量の厳しいハードウェアでも動くため、データプライバシーが厳格に求められる国内の特定業務システムでローカル実行モデルを組み込む実用解になる。
3. 根拠・詳細（How）
- SSD エキスパートオフロード機構: 全パラメータをメモリに展開せず、ストレージから必要なエキスパートのみをオンデマンドでストリーミングして RAM 消費をアクティブ分に制限する。
- 事前ルーターによる先読み処理: 訓練済みのヘッドが 1 ステップ先のエキスパートルーティングを予測し、フォワードパスとロード処理をオーバーラップさせてデコードスループットを最大 +59% 向上させる。
4. 展望・課題（Next）
- エージェント性能の強化: プレビュー版ではマルチステップ計画やツール利用などのエージェントタスクが未成熟であり、正式リリースで機能拡張される予定。
- Apple Silicon 以外のバックエンド対応: 現在の MLX バックエンドは Apple Silicon に特化しており、他プラットフォームへの対応は今後のロードマップに位置づけられている。