OpenBMB、2Bパラメータの軽量モデル MiniCPM5-2B モデルを公開──平均スコア 53.9 で同等サイズ SOTA を達成
パラメータ数 2.5B のデンス Transformer ながら 4B クラスのオープンソースモデルを上回る平均スコアを記録し、128k の長文脈やエージェントタスクに対応する。
リリース: 2025-06-09 · 読了 3 分記事の要約
1. 核心（What）
- OpenBMB は、MiniCPM5 シリーズの第 2 弾となる 2B パラメータのデンス Transformer モデル「MiniCPM5-2B」を HuggingFace にて公開した。
- モデル本体に加え、L0-L3 のコードデータや 500K のエージェント SFT サンプル、80K 以上の RL サンプルを含む高品質な訓練データセット「UltraData」ファミリーが同時に提供されている。
- ポストトレーニングでは RL (強化学習) と OPD (On-Policy Distillation) を組み合わせ、推論や汎用能力が平均 10.96 ポイント、エージェント能力が 6.96 ポイント向上している。
- vLLM や SGLang によるサービングに対応するほか、DSpark ドラフトモデルを利用したスペックレイティブ・デコーディングによる推論加速が利用可能である。
2. 影響（Why）
- ローカル端末でのエージェント運用コスト圧縮: 24GB 以下の単一ローカル GPU でも 128k コンテキストを処理できるため、社内データを扱うプライベートなエージェント検証において商用 API のランニングコストを大幅に削減できる。
- 国内エッジ AI 開発におけるベースモデルの選択肢: [国内 組込み機器・エッジ AI 開発ベンダー] のような小規模チームは、クラウド接続が制限される環境でも 4B 級を超える推論性能を持つモデルをオンデバイスで組み込めるようになる。
3. 根拠・詳細（How）
- アーキテクチャとパラメータ仕様: 標準的な LlamaForCausalLM アーキテクチャを採用し、総パラメータ数は 2,516,756,480、GQA (Grouped-Query Attention) は Q が 16 ヘッド、KV が 2 ヘッドで構成されている。
- RL と OPD による蒸留プロセス: 16 の専門家モデル（5 つのエージェント専門家を含む）のロジットから得られる全ボキャブラリーの逆 KL ダイバージェンスを利得推定に用いる OPD 手法により、追加のコーパス構築なしで効率的な蒸留を実現した。
4. 展望・課題（Next）
- 対応ランタイムの検証と運用: vLLM や SGLang、llama.cpp などの各ランタイムにおける推奨サンプリングパラメータ（temperature=1.0, top_p=0.95, min_p=0.0）を用いた出力精度の検証が進められる。