Motif Technologies、MoE モデル Motif-3 Beta を公開──314B パラメータで 256K コンテキストに対応
既存アーキテクチャの流用ではない独自設計の MoE を採用し、Artificial Analysis Intelligence Index で 44 を記録した。
リリース: 2026-07-20 · 読了 3 分記事の要約
1. 核心（What）
- 総パラメータ数約 314B、推論時アクティブパラメータ数約 13B の Sparse MoE モデル。
- 256K トークンの長文脈処理をネイティブでサポート。
- 384 個のエキスパートと 1 個の共有エキスパートを備えたルーティング設計。
- 商用利用不可の非商用研究ライセンスで重みを公開。
2. 影響（Why）
- 独自設計による推論効率: 既存のオープンソースアーキテクチャの再パラメータ化ではなく、GDLA 等の独自コンポーネントを採用。商用 API に依存しない大規模モデルの自前運用を模索するチームにとって、新たな比較対象となる。
- 国内 SaaS への影響: 大規模な RAG や長文脈解析を行う国内の Vertical SaaS 企業は、B200/H200 GPU 環境を確保できる場合に限り、既存の商用モデルから自前ホスト型モデルへの切り替え検討材料となる。
3. 根拠・詳細（How）
- 独自アーキテクチャの採用: Grouped Differential Latent Attention (GDLA) およびエキスパート毎に適用される Grouped PolyNorm アクティベーションを実装し、独自設計の mHC を導入。
- vLLM による推論最適化: 専用 Docker イメージ（ghcr.io/motiftechnologies/vllm:v0.20.2-motif3.rc2）を提供し、modelopt_blockfp8 量子化や expert_parallel 設定による H200/B200 GPU での実行をサポート。
4. 展望・課題（Next）
- 最終版のリリース予定: 現在は Beta チェックポイントであり、今後最終版のチェックポイントが公開される予定。