Nanbeige、Looped Transformer 採用の 3B エージェントモデル Nanbeige4.2-3B を公開──Qwen3.5-9B を凌駕
3B の非埋め込みパラメータ数ながら Looped Transformer によりモデル容量を拡張し、ツール利用やコード生成ベンチマークで上位モデルを上回る。
リリース: 2026-07-21 · 読了 3 分記事の要約
1. 核心（What）
- 非埋め込みパラメータ数 3B のコンパクトなエージェントモデル Nanbeige4.2-3B を公開した
- Looped Transformer アーキテクチャを採用し、パラメータ数を増やさずにレイヤーを再利用して容量を拡張している
- Qwen3.5-9B や Gemma4-12B などのより大規模なモデルを、エージェントやコード生成ベンチマークで上回る性能を実証した
- 推論モードでの評価において、数学・コーディング・科学推論タスクで同等サイズのオープンソースモデルをリードする
2. 影響（Why）
- 3B 級モデルによるローカルエージェント実用化: 24GB 以下のコンシューマ向け GPU でも動く 3B スケールで大規模モデル級のエージェント性能が得られるため、社内 VRAM の制約が厳しい開発環境でもエージェント機能を組み込める。
- 国内 SaaS のエージェント機能コスト最適化: 国内の自動化ツールや業務支援 SaaS 開発者は、巨大な API モデル依存からローカル実行可能な 3B 級モデルへの移行を進めることで、トークン単価のボトルネックを解消できる。
3. 根拠・詳細（How）
- Looped Transformer と最新構造の統合: Base モデルのレイヤーをループ再利用する Looped Transformer に加え、modeling_nanbeige.py には LoopSplit、深度アテンション付き mHC、連結 n-gram 埋め込みが実装されている。
- 2段階の品質フィルタリングと報酬設計: SFT 時にはテストケース検証とルブリック評価を組み合わせた軌跡・ターン単位のフィルタリングを適用し、RL 時にはアウトカム報酬とプロセス報酬を統合して学習を安定化している。
4. 展望・課題（Next）
- Nanbeige4.5 へのアーキテクチャ継承: Nanbeige4.2-3B で検証された LoopSplit などの最新機能は、2026 年後半リリース予定の Nanbeige4.5 の学習にすでに組み込まれている。