GitHub リポジトリから 5,000 件のスキルを抽出する自律研究エージェント手法 DisCo──MLE-bench で 134.3% の性能向上を達成

論文概要

AI エージェントによる機械学習研究の自動化が進む中、モデルのバックボーンやプランニング環境が整備されても、ドメイン固有のノウハウ（運用知識）がエージェントの外側に残されているという課題が存在する。本論文では、オープンソースのコードベースから運用知識を検証済みスキルとして蒸留・再利用する自律研究エージェント手法「DisCo」を提案している。タスク非依存およびタスク指向の2アプローチにより、1,000件のMLリポジトリから5,000件以上のスキルを組織化した「AREX-Skill Library」を構築した。

関連研究

従来のエージェントは、モデルバックボーンやメモリ・検証機構を持つハーネスの強化に注力してきた。しかし、論文やリポジトリに散在する「人間向けに書かれた巨大な知識」をタスク実行時にそのままロードすることは不可能であり、エージェントは毎回ゼロから試行錯誤を繰り返す構造的制約を抱えていた。

新規性と貢献

本研究の最大の新規性は、リポジトリや論文内の暗黙知をコンパクトで検証済みのスキルへと変換し、再利用可能な形でエージェントに組み込む「運用知識（Operational Knowledge）の蒸留メカニズム」を確立した点にある。これにより、バックボーンや実行予算を一切変更せずとも、外部コンテキストの補強だけで大幅な性能向上を達成した。

提案手法の詳細

DisCo は、タスク非依存の蒸留とタスク指向の蒸留という2つの補完的なプロセスで動作する。

タスク非依存の蒸留では、広く使われている1,000件のMLリポジトリを凝縮して5,000件以上のスキルを生成し、20の領域と178の機能ファミリに分類した AREX-Skill Library を形成する。タスク指向の蒸留では、個別の具体的なタスクが要求するスキルを動的に生成する。

評価・考察

GPT-5.5 バックボーンと固定の実行予算を用いた実験において、DisCo を装備したエージェントは未装備のエージェントと比較して、MLE-bench で 134.3%、PaperBench で 34.4%、FrontierCS で 9.2%、PassNet で 14.0% の性能向上を記録した。この結果は、コンテキストとして適切な運用知識を注入することが、モデル自体のスケールアップと同等以上にエージェントのタスク完遂力を引き上げることを示している。

応用例と今後の展望

本手法は、社内の独自リポジトリやプライベートコードベースをスキル化して自律型開発エージェントに組み込む開発基盤への応用が見込まれる。国内のAI研究開発組織やテック企業において、実験自動化やコード生成エージェントの精度をドメイン特有のノウハウで底上げする際の実装パターンとして活用できる可能性がある。今後の課題として、動的に変化するライブラリのバージョン追従や、低品質なリポジトリからノイズを排除するフィルタリング精度の向上が挙げられる。

結論

本論文は、リポジトリから運用知識を蒸留してスキル化する DisCo 手法を提案し、自律研究エージェントの性能を大幅に引き上げられることを示した。コードベースの知識を構造化してエージェントに供給するアプローチは、今後のAI研究・開発の標準的なアーキテクチャになると考えられる。

注釈

• 運用知識 (Operational Knowledge): 単に手法を知っている状態から、それをコード上で実際に動作させるための暗黙的なノウハウ。
• MLE-bench: 機械学習エンジニアリングタスクの解決能力を評価するためのベンチマーク。