OpenForgeRL: マルチターン推論ハネス向け強化学習フレームワーク──OSWorld-Verifiedで37.7を記録
推論ハネスのモデル呼び出しを軽量プロキシで記録し、veRL等の標準RLコードベースとKubernetesで統合することで、任意の環境におけるエージェントのエンドツーエンド学習を実現した。
リリース: 2026-07-23 · 読了 5 分論文概要
AI エージェントの実用化において、Claude Code や Codex、OpenClaw などの複雑な推論ハネス（Harness）がマルチターン推論、ツール使用、外部システム連携の駆動に利用されている。しかし、これらのハネスは状態管理や複数プロセスの連携を伴うため、オープンなインフラストラクチャにおける SFT（教師あり微調整）や RL（強化学習）のエンドツーエンド学習が困難であった。これに対処するため、本論文では、多様な環境下でハネスベースのエージェントをエンドツーエンドで学習するためのオープンソースフレームワーク「OpenForgeRL」を提案する。
関連研究
従来のエージェント学習は、静的なデータセットを用いた SFT や、シンプルな単一ターンの環境シミュレータに基づく強化学習が主流であった。しかし、実際の現場で使われるマルチプロセスな推論ハネスの複雑な状態遷移やインタラクションをそのまま取り込んだ大規模な強化学習の導入は、インフラ上の制約から未開拓であった。本研究は、既存の推論ハネスの振る舞いをそのまま訓練データとして切り出すアプローチにより、このギャップを埋める。
新規性と貢献
OpenForgeRL の最大の新規性は、トレーニングとインフレーション（推論）の分離にある。軽量プロキシを用いてハネス側からのモデル呼び出しをインターセプトしつつ学習データとして標準的な RL コードベース（veRL など）に流し込み、さらに Kubernetes オーケストレーターでロールアウトをリモートコンテナ上で並列実行する。これにより、任意の推論ハネスと多様な環境を組み合わせた大規模な強化学習が可能となった。
提案手法の詳細
OpenForgeRL のアーキテクチャは、モデル呼び出しを仲介する軽量プロキシ層と、サンドボックス環境を管理する Kubernetes オーケストレーターの 2 つの主要コンポーネントで構成されている。
この設計により、エージェントが普段のデプロイ環境で使用している実際のハネスを変更することなく、そのまま強化学習のループに組み込むことができる。なぜなら、ハネス側からは単なる OpenAI 互換のエンドポイントのように振る舞いながら、内部では強化学習用の報酬計算とデータ収集が同時に行われる仕組みになっているからである。
評価・考察
著者らは、ツール/クロウベースのエージェントおよびマルチモーダルな GUI ブラウザ/コンピュータ操作エージェントを含む、多様で複雑なハネスと環境でフレームワークを検証した。数百から数千のタスクを用いた訓練により、OpenForgeClaw は ClawEval で pass^3 31.7・pass@3 55.9、QwenClawBench で 33.7 を記録した。また、OpenForgeGUI は OSWorld-Verified で 37.7、Online-Mind2Web で 63.0、WebVoyager で 72.3 を達成した。これらは同規模のオープンなベースラインをほぼすべてのベンチマークで上回り、GUI 設定では数倍のパラメータを持つモデルに匹敵するかそれを超える性能を示した。
さらに、ハネスの選択（ZeroClaw、OpenClaw、Codexなど）がエージェントの挙動に与える影響を分析し、ハネスによって学習難易度が大きく異なること、強化学習が自己検証やツール網羅性、多段階計画の完遂といったエージェントとしての信頼性を向上させる一方で、エラーリカバリなどの重要な能力は依然として課題であることを見出した。
応用例と今後の展望
実務インパクトとして、金融・ITインフラ運用における自動化プラットフォームや、社内独自のエージェントハネスを持つ国内のテック企業・研究開発組織において、実運用環境（Production Harness）に直結した強化学習パイプラインを構築する基盤として直ちに適用できる。数百〜数千規模のタスクで効果を発揮するため、計算資源が限られた環境でも実験の敷居が低い。今後の課題としては、エラーリカバリ能力の向上や、さらに複雑なマルチエージェント環境へのスケーリングが挙げられる。
結論
OpenForgeRL は、推論ハネスと標準的な強化学習インフラストラクチャを接続する軽量プロキシとコンテナオーケストレーション手法を提案し、現実の複雑な環境下におけるエージェントの強力なエンドツーエンド学習を実証した。
注釈
- 推論ハネス (Inference Harness): LLM を中心に据え、外部ツールの呼び出しやメモリ管理、マルチターンの対話状態を制御するためのアプリケーション層の仕組み。
- veRL: 大規模言語モデルの強化学習を効率的に行うためのオープンソースの学習フレームワーク。