華中科技大学ら、0.2B 画像インペインティングモデル Moebius を発表──10B 級の修復精度を軽量化で実現
軽量な LλM I ブロックと多粒度蒸留により、既存の大型モデルの 1/50 のサイズで同等の修復品質をエッジデバイス向けに提供する。
リリース: 2024-07-12 · 読了 3 分記事の要約
1. 核心（What）
- 0.2B (2億) パラメータという極小サイズながら、10B (100億) パラメータ級の大型インペインティングモデルに匹敵する性能を達成。
- 独自の LλM I ブロックと Latent Categories Guidance (LCG) を採用した LDM フレームワークにより、極端な構造圧縮下でも表現力を維持。
- 教師モデルからの知識移転を最適化する「適応的多粒度蒸留 (Adaptive multi-granularity distillation)」戦略を導入し、容量不足による精度低下を解消。
2. 影響（Why）
- 画像修復機能をスマホ等のローカル環境で動かす際、VRAM 消費を抑えつつ商用クラウド API 級の品質を維持できる。
- 開発者への影響: エッジ AI 実装に取り組むエンジニアは、10B 規模のモデルを無理に量子化するのではなく、最初から 0.2B で設計された高精度モデルをデプロイする選択肢を得る。
- 日本への影響: 国内のスマートフォンアプリ開発ベンダーや写真プリントサービス事業者は、クラウド転送コストを排除しつつ、オフライン画像加工機能を製品の差別化として即座に組み込める。
3. 根拠・詳細（How）
- Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance (2024-07-12 公開)