汚染耐性タスク構築を備えたマルチドメインCoding-AgentベンチマークTencent WorkBuddy Benchの公開

論文概要

Tencent WorkBuddy Bench Teamらは、Coding-Agentの評価において重大な課題となっているベンチマーク汚染に対抗するため、汚染耐性タスク構築を備えたマルチドメイン評価スイート「Tencent WorkBuddy Bench」を提案した。Code、Web、Office、Securityの4つの作業ドメインをカバーし、タスクの構築手法、スコアリングプロトコル、クロスモデルのリーダーボードを包括的に報告している。

関連研究

既存のCoding-Agentベンチマークは、公開されているIssueテキストやプルリクエストの記述をそのまま流用することが多く、LLMの事前学習データに含まれてしまうデータ汚染（Contamination）が性能評価の正確性を損なう要因となっていた。本研究では、単なる公開情報の適応ではなく、設計思想から汚染を回避する新しいアプローチを採用している。

新規性と貢献

本研究の最大の貢献は、すべてのタスクを実際のコミット、プルリクエスト、またはビジネスシナリオからリバースエンジニアリングし、短く口語調のロールプレイ形式のリクエストとして書き換える「汚染耐性タスク構築」の導入にある。これにより、Web検索を通じて元のIssueやコミットスレッドを復元することが不可能となり、データセットの秘匿性に依存せずバージョン管理と構築手法によって汚染耐性を担保している。

提案手法の詳細

本評価スイートでは、Code（リポジトリレベルのエンジニアリング）、Web（フロントエンド開発）、Office（ビジネスワークフロー）、Security（レッドチーム・ブルーチームセキュリティ）の4サブセットを統合的な評価フレームワークとして提供する。

それぞれのドメインは独自の検証スタイルを持ち、タスクディレクトリ、環境イメージ、評価ハーネス、テスト、リファレンスソリューションがすべてオープンにパッケージングされている。エージェントハーネス（CodeBuddy CodeおよびClaude Code）上で同一の再現可能なプロトコルによって実行される。

評価・考察

サブセットごとに異なるスコアリング手法を採用しているため、スイート全体の平均値ではなく、各ドメインに特化したクロスモデルのリーダーボードが報告されている。公開されたデータセットと再現可能なエンドツーエンドの実行環境により、第三者が各タスクを再実行して内容を監査することが可能である。

応用例と今後の展望

実世界の多様なワークフローを網羅した本ベンチマークは、国内外のソフトウェア開発企業やAI研究組織における自律型Coding-Agentの実用性能評価において重要な基準となる。特に国内のSIerやWebサービス開発企業において、セキュリティやOfficeワークフローを含む高度なエージェント導入を検討する際の実務的な検証基盤として活用される見込みである。

結論

Tencent WorkBuddy Benchは、リバースエンジニアリングベースのタスク構築によりデータ汚染を防ぎつつ、マルチドメインでのCoding-Agentの能力を多角的に評価するオープンなフレームワークを確立した。

注釈

• Coding-Agent: 自然言語の指示に基づいてコードの記述、テスト、修正を自律的に行うAIシステム。
• データ汚染 (Contamination): 評価用データがモデルの事前学習フェーズに混入してしまうことで、実用性能が過大評価される現象。