Hot5 min · IBM · Granite 4.1
IBM、LLM「Granite 4.1」を公開──15兆トークン学習で 8B モデルが前世代 32B MoE を凌駕
5段階のデータアニーリングと GRPO を含む多段強化学習により、高効率な Dense アーキテクチャで SOTA 級の推論性能と 512K 長文脈を実現した。
The Facts
- 3B、8B、30B の 3 サイズを展開し、全モデルを商用利用可能な Apache 2.0 ライセンスで Hugging Face に公開した。
- 15兆トークンの事前学習を 5 段階で実施し、後半ステージで高品質データへのアニーリングと最大 512K までのコンテキスト拡張を行った。
- 強化学習において GRPO と DAPO 損失を採用し、数学、対話、知識較正など 4 つの独立したステージで最適化を施した。
- Granite 4.1-8B (Dense) は、前世代の Granite 4.0-H-Small (32B MoE) と同等以上のベンチマークスコアを記録し、パラメータ効率を大幅に改善した。
Why It Matters
- 巨大な MoE ではなく 8B 級の Dense モデルで高い推論性能が出せるため、エッジデバイスや安価な GPU インスタンスでの運用コストが劇的に低下する。
- 5段階のデータ混合比率や多段 RL の詳細な学習レシピが公開されており、特定ドメイン特化モデルを自社開発する際の「勝てる構成」の参照実装になる。
For Developers
IBM の Granite シリーズをベースに RAG やエージェントを構築している開発者は、モデルを 8B 版に差し替えるだけで、メモリ消費を抑えつつ 512K の長文脈と高いツール利用精度を享受できる。
For Japan
日本語を含む 12 言語に対応しており、国内の製造業や金融業など、オンプレミス環境で Apache 2.0 ライセンスの軽量・高性能モデルを求めるエンタープライズ領域での標準的な選択肢となる。