OpenBMB、2B 軽量モデル MiniCPM5-2B を公開──平均スコア 53.9 で同等サイズ SOTA を達成
パラメータ数 2B 帯で 128k の長文脈とコード推論を実現し、RL と OPD により 4B 級の既存 OSS モデルを超える性能を証明した。
リリース: 2025-06-09 · 読了 3 分記事の要約
1. 核心（What）
- OpenBMB はパラメータ数 2,516,756,480（非埋め込み 1,981,982,720）の密結合 Transformer モデル MiniCPM5-2B を公開した。
- 評価ベンチマークの平均スコアで 53.9 を記録し、同クラスのオープンソースモデルおよび一部の 4B 級モデルを超える SOTA を達成した。
- 文脈長 131,072 トークン（128k）をネイティブサポートし、ローカル環境での推論やエージェント用途を想定している。
- トレーニングに使用された UltraX、UltraData-Code、UltraData-RL-2609 などの高品質データセット群を同時にオープンソース化した。
2. 影響（Why）
- ローカル環境における推論性能の底上げ: 単一のコンシューマ向け GPU やエッジデバイスで動作する 2B 級モデルが 4B 級を超える推論スコアを出すため、クラウド依存の API コストを削減できる。
- 国内エッジ AI 実装への波及効果: 車載・IoT 機器向けにローカル LLM を組み込む国内メーカー（車載機器・エッジデバイス系）は、VPC やクラウドを介さない 128k 長文脈対応エージェントを自社製品へ容易に統合できるようになる。
3. 根拠・詳細（How）
- RL と OPD による事後学習の安定化: JustRL II のクリティックベースアルゴリズムを導入した強化学習（RL）と、16 の専門家モデルのロジットを逆 KL ダイバージェンスで統合する On-Policy Distillation（OPD）により推論能力を向上させた。
- 仕様と推奨推論ランタイムの構成: 42 層のレイヤー、GQA（クエリ 16、KV 2）の注意機構を採用し、vLLM 0.21 以上および SGLang 0.5.16 以上のランタイムでネイティブなツールコール処理に対応している。
4. 展望・課題（Next）
- 量子化モデルとドラフトモデルの展開: GGUF、MLX、GPTQ 形式の量子化モデルに加え、推論高速化のためのドラフトモデル MiniCPM5-2B-DSpark が提供されており、検証を進める予定。