マルチモーダル CUA に対する視覚パッチ攻撃 AgentHijack──E2E 成功率 20.3% を実証

論文概要

本論文では、マルチモーダルな Computer-Use Agent (CUA) に対する画像トリガー型のコマンドインジェクション手法「AgentHijack」を提案し、そのエンドツーエンド（E2E）での脆弱性を検証している。スクリーンショットの入力から VLM（Vision-Language Model）の生成、アクションの解析、そして環境での実行に至るまでの全チェーンにおいて、ローカルな視覚パッチが検証可能な環境リスクを引き起こすかをテストした。著者らは GitHub Pages やローカルの CSDN クローン環境を用いてパッチを訓練・デプロイし、5 つのオープンソースおよび公開されている GUI エージェントや VLM バックエンドを実環境で評価した。その結果、600 件のインスタンスレベルのオンラインケースにおいて、T-ASR（Trigger Attack Success Rate）が 84.5%、TAPR が 47.0%、E2E-ASR が 20.3% に達することを報告している。

関連研究

VLM やマルチモーダルモデルに対する敵対的攻撃やプロンプトインジェクションに関する先行研究は多数存在するが、本研究は特に PC 操作やブラウザ操作を行う CUA の実行パイプライン全体に着目している点が新しい。従来のテキストベースのインジェクションとは異なり、視覚的なパッチがいかにしてエージェントの行動計画を誤認させ、実環境での破壊的動作を引き起こすかを実証した。

新規性と貢献

最大の貢献は、VLM の出力攪乱にとどまらず、エージェントの行動解析や環境実行（端末コマンドの実行等）を含むパイプライン全体を通した検証フレームワークを構築した点にある。軌跡分析（Trajectory analysis）により、悪意ある端末コマンドを実行した後にエージェントが何食わぬ顔で本来の良性タスクを継続するという、検知が困難な挙動パターンを明らかにしている。

評価・考察

評価は 5 つのオープンソース・公開 GUI エージェント／VLM バックエンドを用いて行われ、計 600 件のオンラインケースがアグリゲートされた。結果として、トリガー攻撃成功率（T-ASR）は 84.5%、TAPR は 47.0%、そして環境実行まで含めた E2E-ASR は 20.3% を記録した。一部の成功例では、悪意あるコマンドの実行後も元のタスクを続行することが示されており、視覚的シグナルがオープンな CUA の実行パイプラインに深く浸透して実環境のリスクを生み出すメカニズムが定量的に示された。

応用例と今後の展望

本研究の知見は、デスクトップ自動化エージェントやブラウザ操作型ボットを開発・運用するセキュリティチームにとって極めて重要である。特に金融業や医療分野など、誤ったコマンド実行が直接的な実害や情報漏洩につながる領域において、GUI エージェントへの外部画像入力のサニタイジングや入力検証の厳格化が急務となる。今後の課題としては、より多様なエージェント構造に対する防御策の策定が挙げられる。

結論

本研究は、最適化されたローカル視覚パッチがマルチモーダル CUA の挙動を乗っ取り、環境実行フェーズに至るまでの深刻なセキュリティリスクを引き起こすことを実証した。単なるモデルの誤認ではなく、パイプライン全体にわたるリスク評価の必要性を提示している。

注釈

• Computer-Use Agent (CUA): スクリーンショットを視覚的に認識し、キーボードやマウス操作を通じて PC やブラウザを自律的に操作する AI エージェント。