華中科技大学ら、0.2B 画像インペインティングモデル Moebius を発表──10B 級の修復精度を軽量化で実現
軽量な LλM I ブロックと多粒度蒸留により、既存の大型モデルの 1/50 のサイズで同等の修復品質をエッジデバイス向けに提供する。
リリース: 2024-07-12 · 読了 3 分何が起きた
0.2B (2億) パラメータという極小サイズながら、10B (100億) パラメータ級の大型インペインティングモデルに匹敵する性能を達成。
独自の LλM I ブロックと Latent Categories Guidance (LCG) を採用した LDM フレームワークにより、極端な構造圧縮下でも表現力を維持。
教師モデルからの知識移転を最適化する「適応的多粒度蒸留 (Adaptive multi-granularity distillation)」戦略を導入し、容量不足による精度低下を解消。
なぜ重要
画像修復機能をスマホ等のローカル環境で動かす際、VRAM 消費を抑えつつ商用クラウド API 級の品質を維持できる。
👁️ 開発者
エッジ AI 実装に取り組むエンジニアは、10B 規模のモデルを無理に量子化するのではなく、最初から 0.2B で設計された高精度モデルをデプロイする選択肢を得る。
🇯🇵 日本
国内のスマートフォンアプリ開発ベンダーや写真プリントサービス事業者は、クラウド転送コストを排除しつつ、オフライン画像加工機能を製品の差別化として即座に組み込める。