Cohere、推論サーバー用推論サーバー用 OSS 推論エンジン cohere-megakernel を公開──H100 で vLLM 比 1.58 倍の高速化を達成
LLM のデコード処理全体を単一の永続的 CUDA カーネルに統合し、H100 上でメモリ帯域利用率 62% とバッチサイズ 1 で 292 tok/s を実現した。
リリース: 2026-09-08 · 読了 3 分記事の要約
1. 核心（What）
- Cohere は LLM のデコードステップ全体を 1 つの永続的 CUDA カーネルとして実行するエンジン「cohere-megakernel」を公開した。
- H100 単一 GPU（BF16）においてバッチサイズ 1 の場合で 292 tok/s、理論帯域の 62% を達成している。
- SciCode ベンチマークで 38.9%、LiveCodeBench v6 で 70.3% の精度を維持し、vLLM と同等の正確性を示す。
- 現在は H100 (SM90a)、BF16、バッチサイズ 1 から 8、デコードのみ、North Mini Code モデルに限定されている。
2. 影響（Why）
- カーネル間オーバーヘッドの排除: 従来の推論エンジンでレイヤーごとに多数の小型カーネルを起動して発生していた同期コストを削減し、GPU のアイドル時間を無くす。
- 国内 SaaS へのコストインパクト: 同じハードウェア要件で推論スループットが向上するため、チャット機能を持つ国内スタートアップのサーバー維持費を直接引き下げる。
3. 根拠・詳細（How）
- 12-warp 共通 ABI とグローバルメモリバリア: 3 warp グループを基本単位とする固定 ABI を採用し、データ依存関係をグローバルメモリ上の原子カウンターで同期する軽量設計。
- タスク記述子と静的ウェーブ順序: ホスト側でレイヤーごとの名前付きウェーブを構築し、タスク記述子を介して SM 間で効率的に処理を割り当てる。
4. 展望・課題（Next）
- Blackwell および量子化対応の予定: RTX Blackwell 向けの FP8 および FP4 量子化対応、さらにデータセンター向け Blackwell やマルチ GPU 推論がロードマップに挙げられている。