Prime Intellect、推論サーバー用推論高速化モデル Prime Flash MoE を公開──NVIDIA Blackwell GPU で 2.4 倍高速化
NVIDIA Blackwell GPU のハードウェア機能を活用し、MoE の中間活性化テンソルを HBM に書き込まず処理することで PyTorch 比 2.4 倍の高速化を実現した。
リリース: 2026-08-13 · 読了 3 分記事の要約
1. 核心（What）
- Prime Intellect は NVIDIA Blackwell GPU 専用に最適化されたオープンソースの CUDA カーネル「Prime Flash MoE」を公開した。
- NVIDIA B200 GPU を用いたベンチマークにおいて、4k から 128k トークンの範囲で PyTorch の grouped GEMM 比最大 2.4 倍の高速化を達成。
- ルーティング対応 GEMM、SwiGLU アクティベーション、量子化を 1 つのカーネルに統合し、HBM へのメモリアクセスを排除。
- BF16 および MXFP8 の両データパスをサポートし、prime-rl トレーニングフレームワークに統合されている。
2. 影響（Why）
- HBM ボトルネックの解消: 通常の実装では中間テンソルが HBM を往復する無駄が発生していたが、オンチップに保持することでメモリ帯域のボトルネックを直接解消し実効速度を押し上げる。
- Blackwell 専用設計のメリット: H100 等の従来世代には非対応である一方、Blackwell のハードウェア機能（tcgen05 テンソルコア、TMA gather モード）を直接利用するため、次世代インフラの優位性を最大化できる。
3. 根拠・詳細（How）
- 単一カーネルへの統合とパイプライン設計: ルーティング対応 GEMM と活性化処理を 1 つに融合した完全融合型単一ローンチカーネル（小トークン数向け）と、大規模トークン向けにスケーリングする分割パイプラインの 2 系統を備える。
- MXFP8 によるオンチップ量子化: MXFP8 データパスでは、2 つの行列乗算の間で中間活性化テンソルをチップ上で直接量子化し、メモリ帯域消費を最小限に抑える構造を採用している。
4. 展望・課題（Next）
- Blackwell 特有のハードウェア依存: Blackwell 独自の機能（tcgen05 や TMA gather モード）に依存しているため、H100 など旧世代 GPU へのバックポートは予定されていない。