大規模強化学習の全工程を統合するプロダクション向け学習システム Miles v0.1──64基の NVIDIA GB300 を用いた大規模エージェント型 RL の実装を公開

論文概要

本論文では、フロンティア・ポストトレーニング（事前学習後のモデル調整）のためのフルスタックかつプロダクション対応のシステムである「Miles v0.1」を提案している。slime の設計思想を基盤とし、強化学習（RL）のトレーニングループにおけるすべてのステージを「検証済みであること、クリーンであること、カスタマイズ可能であること」という単一の原則に基づいて設計されている。正確性、効率性、信頼性、スケーラビリティを第一の目標に掲げ、研究者から企業までがフロンティアスケールの強化学習を利用できるようにすることを目指している。

新規性と貢献

Miles v0.1 の主な貢献は、フルパラメータの強化学習だけでなく、LoRA RL、オンポリシー蒸留、教師あり微調整（SFT）、そして真のオンポリシー型ロールアウトとトレーニングのアライメントを同一のアーキテクチャでサポートしている点にある。さらに、このアーキテクチャをディフュージョンモデルにも拡張可能であることを示しており、汎用的なポストトレーニング基盤としての高い拡張性を持つ。

提案手法の詳細

本システムの設計は、コンポーネントのモジュール性と検証可能性を重視している。ロールアウトエンジンには SGLang を採用し、高速なテキスト生成と効率的なメモリ管理を実現している。トレーナー側では、NVIDIA Megatron-LM と PyTorch FSDP の2つのバックエンドから選択可能であり、展開トポロジーに応じた3つのウェイト同期トランスポートを用意することで、大規模分散環境での通信オーバーヘッドを最小化する設計となっている。

評価・考察

論文では、GLM-5.2 744B-A40B モデルを用いたターミナル使用コーディングタスクにおける、完全非同期のエージェント型強化学習のエンドツーエンドのケーススタディを実施している。64基の NVIDIA GB300 GPU を用いた環境において、最初の30測定ステップにおける中央値ステップ時間が 263 秒であることを実証しており、大規模モデルにおける実用的な学習スループットを確認している。

応用例と今後の展望

実務インパクトとして、大規模言語モデルやマルチモーダルモデルの開発を手がける国内のAI研究開発企業およびテックリードにおいて、大規模な強化学習インフラの構築コストを大幅に削減し、エージェント型モデルのポストトレーニングを効率化する基盤として活用できる。今後の展望として、オープンソースでの公開を通じてコミュニティフィードバックを取り入れながら、さらなるスケーラビリティの向上と対応モデルの拡充が予定されている。

結論

Miles v0.1 は、フロンティア・ポストトレーニングの全工程を統合し、スケーラビリティとカスタマイズ性を両立させたプロダクション向けの強化学習システムである。大規模なハードウェア環境での実証を通じて、実務的なAIモデル開発における強力な基盤となることを示している。

注釈

SGLang: 大規模言語モデルの推論を高速化・効率化するための実行エンジン。
PyTorch FSDP (Fully Sharded Data Parallel): メモリ効率を最大化するためにモデルのパラメータを分散・シャード化する学習手法。