モバイル・PC・Webを統合制御する GUI エージェント Qwen-UI-Agent──MobileWorld-Realで92.2%を達成

論文概要

本論文では、モバイル、コンピューター、Web、DeepSearch の各環境を横断して実デバイスを信頼性高く操作する基盤 GUI エージェント「Qwen-UI-Agent」を提案している。複数のサンドボックス環境と大規模な実デバイスモバイルランタイムを組み合わせることで、プラットフォーム横断的なワークフロー実行を実現し、モバイル分野のベンチマークにおいて SOTA（State-of-the-Art）を達成した。

関連研究

従来の GUI エージェントは単一のプラットフォーム（主にWebブラウザや単体のモバイル環境）に特化しているものが多く、実世界の複雑なマルチモーダル操作やCLI連携を伴う長期的タスクの遂行に限界があった。本研究は、多様なデバイスを跨いだクロスプラットフォーム実行と統一アクションスペースの提供により、これらの課題を克服している。

新規性と貢献

Qwen-UI-Agent の主な貢献は、GUI操作とCLI実行をインターリーブ（交互に統合）させ、1モデルターンでバッチ化されたアクションを生成する統一アクションスペースの導入にある。また、AutoResearch スタイルのデータフライホイールを用いてタスク構築・環境生成・障害診断を自動化し、10,000以上の並行環境で100ターンを超える軌跡のオンライン強化学習（Online RL）を可能にした点に学術的・実用的な意義がある。

提案手法の詳細

提案手法の核心は、多様なサンドボックス環境と実デバイスのモバイルランタイムを統合した点にある。GUI操作だけでなく、CUI（CLI）実行を同一の空間でシームレスに処理できるため、システムレベルのコマンドライン操作と画面上のタップ・スワイプ操作を組み合わせた複雑なワークフローを構築できる。また、10,000を超える並行環境によるロールアウトの高速化によって、長大なターン数を要するタスクの安定した学習が担保されている。

評価・考察

評価実験では、モバイル、PC、ブラウザ環境の広範なスイートで検証が行われた。モバイル用途のベンチマークでは MobileWorld で 82.1%、MobileWorld-Real で 92.2%、AndroidDaily で 97.5% を記録した。また、コンピューター操作の OSWorld-Verified で 79.5%、OSWorld-v2 の部分進捗スコアで 40.0% を達成している。さらにブラウザ操作の WebArena で 73.6%、画面グラウンディングの ScreenSpot-Pro で 81.5% を記録し、Opus 4.8、Gemini 3.1 Pro、GPT-5.6 Sol などのフロンティアモデルと競合する性能を示している。

応用例と今後の展望

モバイル端末やPC、クラウド上のWebサービスを自動連携させる自律型業務自動化システムへの応用が期待される。日本のエンタープライズ領域や金融・BPO業界におけるレガシーシステムとスマートフォンアプリが混在する業務プロセスにおいて、人間を介さずにクロスプラットフォームで作業を完結させるための実務インフラとして、数千台規模の並行運用テストを見据えた実装検証が求められる。

結論

Qwen-UI-Agent は、多様なデジタルデバイス環境を統一されたアクションスペースで操作し、オンライン強化学習とデータフライホイールによって自律的に能力を向上させる次世代基盤 GUI エージェントとしての有効性を実証した。

注釈

• GUI Agent: グラフィカルユーザーインターフェースを介して人間のようにアプリケーションを操作する AI エージェント。
• CLI: コマンドラインインターフェース。テキストベースでコンピュータに指示を出す仕組み。