NTT、国産小型言語モデル tsuzumi 2 を公開──全パラメータ利用の Dense 構成で日本語処理と運用性を最適化
Mixture of Experts を採用せず 28B の Dense 構成で 10T トークンを学習し、単一 GPU での運用性と高い日本語実用性能を両立した。
リリース: 2026-08-19 · 読了 4 分記事の要約
1. 核心（What）
- NTTが開発した次世代国産LLM「tsuzumi 2」は28BパラメータのDenseモデルとして設計されている。
- モデルの一部を省くMixture of Expertsを採用せず全パラメータを活用することで、単一GPUでの運用性と推論性能のバランスを最適化している。
- 日本語のトークナイザや独自コーパスにより、少ないトークン数で長文脈の処理と高いコスト効率を実現している。
- AWSの「Amazon SageMaker HyperPod」を活用した分散学習により、大規模な計算コストの削減と安定した学習を達成している。
2. 影響（Why）
- 単一 GPU 運用によるコスト抑制: 莫大なインフラ投資を伴う MoE や超巨大モデルと異なり、1 基の GPU で運用できる 28B 規模の Dense 構成は、国内事業者の保守運用コストのハードルを大きく下げる。
- 国内エンタープライズの自社制御ニーズへの適合: 海外製オープンソース LLM に依存しないことで、日本のビジネス文書や法規制に最適化された厳格なデータガバナンスとプライバシーを確保できる。
3. 根拠・詳細（How）
- Dense アーキテクチャと 10T トークン学習: 28B パラメータすべてを利用する Dense 構成を採用し、10T トークンの大規模コーパスでトレーニングを実施、M-ifeval ベンチマークの日本語指示追従で高精度を証明した。
- SageMaker HyperPod による分散学習: AWS の Amazon SageMaker HyperPod を活用して、H100 GPU クラスターにおけるネットワークのボトルネックを解消し、安定したスループットで学習を完結させた。
4. 展望・課題（Next）
- マルチモーダルと Agentic Loop の実装: PDF などの文書画像処理を行う「VDocRAG」や、エージェント型処理を支えるループ機構の統合を進め、実社会での自律的な作業支援への拡張を目指す。
- Portable Reward Tuning によるモデル更新: 異なるモデル間で報酬関数や学習成果を再利用できる「Portable Reward Tuning」を考案し、バージョンアップ時のトレーニングコスト低減を図る予定。