Edge0、35B モデル学習レシピ Edge0 を公開──iPhone 上でアクティブメモリ 2.9 GiB 駆動を実現
MoE の専門家ウェイトを SSD からオンデマンドでストリーミングし、23GB の 35B モデルをモバイル端末で実行可能にした。
リリース: 2026-09-12 · 読了 3 分記事の要約
1. 核心（What）
- Edge0 は、iPhone 級のハードウェア上で 35B 規模の Qwen3.5-MoE モデルをアクティブメモリ 2.9 GiB で稼働させるオープンソースの推論フレームワークを発表した。
- モデルの総サイズは 23 GB だが、必要なエキスパートウェイトのみをストレージから動的に読み込むメモリマップド方式を採用している。
- 次ステップのエキスパート選択を予測する専用のプリルーターヘッドを備え、デコード速度を最大 59% 向上させている。
- MLX バックエンドをサポートし、GitHub および Hugging Face で Apache 2.0 ライセンスのもと公開されている。
2. 影響（Why）
- ローカル推論のメモリ制約突破: VRAM 容量が数 GB のモバイル端末で 35B 級モデルを動かせるため、プライバシー重視のクライアント側 AI 機能の実装コストが大幅に下がる。
- 国内モバイル開発への影響: [国内 モバイルアプリ開発受託企業] のような組織では、クラウド通信費の維持が困難なユースケースにおいて完全オフライン駆動のアプリ設計を選べるようになる。
3. 根拠・詳細（How）
- エキスパートのオンデマンドオフロード: Mixture-of-Experts の全ウェイトを常時メモリに置かず、ストレージ上のファイルをメモリマップして必要なページのみ OS にロードさせる。
- プリルーターによるレイテンシ隠蔽: 訓練済みの小規模な予測ヘッドが次トークンで必要なエキスパートを先読みし、現在の演算とストレージ読み込みを並行処理してデコード速度を最大 59% 高める。
4. 展望・課題（Next）
- CUDA サポートとエージェント機能の拡張: 現在は Apple Silicon の MLX バックエンドのみ対応しており、今後は CUDA サポートおよびエージェント実行能力の強化がロードマップに掲げられている。