AI 査読の修辞的堅牢性を評価するベンチマーク RobustReview と二分岐査読手法 SciCore の提案

論文概要

AI による論文査読システムにおいて、同じ科学的内容であっても表現の微小な違い（修辞）によって評価が大きく変動するという課題に対処するため、本論文では「修辞的堅牢性（Rhetorical Robustness）」の概念を定式化し、1,260件の原稿バージョンを含む制御されたフル原稿ベンチマーク「RobustReview」を構築した。さらに、この問題に対処するため、フル原稿の評価と抽出された構造化サイエンスコアに基づく評価を平均化する二分岐査読手法「SciCore」を提案している。

関連研究

LLM を用いた自動査読や論文評価に関する先行研究は多数存在するが、その多くは静的な出力の妥当性や人間とのスコア相関に主眼を置いていた。本研究は、内容が同一であるにもかかわらず表現や構成が変わった際の査読結果の変動性（修辞的脆弱性）を定量的に評価した点で先行研究と一線を画している。

新規性と貢献

主要な貢献は、内容不変の書き換えに対する安定性と、異なる論文間での識別力を同時に要求する「修辞的堅牢性」という評価軸を新たに定義した点にある。30種類の査読者構成の評価を通じて、既存のモデルが「偽の堅牢性（低い書き換え感度と論文間でのスコア崩壊の同居）」を示すことを明らかにした。

提案手法の詳細

提案された SciCore は、フル原稿に基づく全体評価と、内容を正規化した抽出済み構造化サイエンスコアに基づく評価を統合する二分岐（dual-branch）アーキテクチャを採用している。この設計により、修辞的な装飾に惑わされず、科学的実質に基づいた一貫性のある査読を実現している。

評価・考察

1,260の原稿バージョンを用いた評価において、GPT-5.5を用いた比較実験では、SciCore がベンチマーク対象となった査読者の中で最良のジョイント安定性・識別力プロファイルを示しつつ、人間との整合性も維持できることが確認された。一方で、従来行われてきた単なる内容重視のプロトコル改善だけでは、バックボーンモデル間で一貫した堅牢性の向上は見られなかった。

応用例と今後の展望

学術出版やAI学会の査読支援システムにおける応用が期待される。日本のAI研究開発・学術コミュニティ（特に大学やAI関連学会の査読プロセス）においては、査読の公平性と品質を担保するための基盤技術として、修辞に依存しない評価プロトコルの導入を検討する際の実装指針となる。

結論

修辞的堅牢性という新たな評価ターゲットの提示と、SciCore による二分岐査読アプローチの有効性が実証され、信頼性の高い AI 査読の実現に向けた重要な一歩となった。

注釈

• 修辞的堅牢性 (Rhetorical Robustness): 内容を維持した書き換えに対する安定性と、異なる論文間の違いを識別する能力を同時に満たす特性。