金融資格試験ベンチマーク FinExam-10K 公開──CFA/FRM対応の10,198問で最高精度 85.29%

論文概要

専門的な金融資格試験は、ドメイン知識、計算能力、および判断力の統合をモデルに要求するが、CFA および FRM の構造全体を網羅する単一のプロトコルに基づくベンチマークはこれまで存在しなかった。本論文では、CFA Levels I-III および FRM Parts I-II にわたる 10,198 問のエキスパート再注釈済み問題を含む、英語圏最大級とされる金融ベンチマーク「FinExam-10K」を提案する。公開分として 5,110 問、四半期ごとに維持されるリーダーボード用として 5,088 問が秘匿されている。17 モデルによる評価の結果、全体での最高精度は 85.29% であり、凍結されたハードバンドにおける Full-Coverage Track での最高スコアは 34.68%、コンテキストが完全に揃った 372 項目では 54.57% を記録した。

関連研究

従来の金融分野における LLM 評価は、特定の試験や部分的なテキスト解析に偏っており、CFA や FRM のような体系的かつ広範な資格試験の全レベルを統合した大規模な評価基盤を欠いていた。本研究は、網羅性とローカルな回答可能性を分離した評価トラックを導入することで、従来のベンチマークにおける評価の限界を克服している。

新規性と貢献

本研究の主要な貢献は、CFA Levels I-III と FRM Parts I-II の全構造をカバーする 10,198 問という大規模な専門的ベンチマークの構築にある。また、カバレッジとローカルな回答可能性を分離するため、10,198 項目の Full-Coverage Track と 7,625 項目の Context-Complete Reasoning Track を設けた点、および Function-RAG の適用がもたらすトレードオフを定量的に明らかにし、選択的ゲート手法により精度改善（70.83% から 71.23% へ向上、p = .0446）を実証した点が学術的・実用的な貢献である。

提案手法の詳細

Function-RAG および FunctionGraph-RAG は何百ものエラーを救済する一方で、多くの正解を誤答に反転させるため、ネットでの利得は微小またはマイナスになるという問題がある。これに対処するため、パブリックデータのみで訓練されたゲート機構が、問題と初期応答から FunctionGraph-RAG を実行すべきかどうかを判断する設計を採用している。これにより、無駄な検索処理や過剰なコンテキスト注入による精度の劣化を抑制する。

評価・考察

17 モデルを用いた評価において、全モデルが共通して 47 のコンテキスト完全な項目で失敗した。保持された 5,088 項目に対して、パブリックデータのみで訓練されたゲートは全体の 7.9% の質問に対して FunctionGraph-RAG を起動し、精度を 70.83% から 71.23%（p = .0446）へと統計的に有意な改善をもたらした。ハードバンドの分析からは、現在の LLM が高度な金融推論において依然として大きな課題を抱えていることが示されている。

応用例と今後の展望

金融業界における高度な資産運用やリスク管理システム、AI アシスタントの実装において、RAG の無条件な適用が必ずしも精度の向上に結びつかないという知見を提供する。国内の金融機関やフィンテック企業（特に資産運用・リスク管理部門、数千人規模のシステム開発企業）において、専門的文書検索を伴う LLM アプリケーションを構築する際、検索の実行有無を動的に制御するゲート機構の実装が実務上の必須要件となる。今後の課題として、より多様な金融データソースへの対応やゲート機構の汎用性向上が挙げられる。

結論

FinExam-10K は、CFA および FRM 試験に基づく大規模な金融推論評価を可能にするベンチマークであり、RAG の無批判な適用に対する警鐘と、選択的検索制御による改善の方向性を明確に示した。

注釈

• CFA: Chartered Financial Analyst（サーティファイド・ファイナンシャル・アナリスト）。米国の証券アナリスト資格。
• FRM: Financial Risk Manager（ファイナンシャル・リスク・マネジャー）。グローバルなリスク管理専門家資格。
• Function-RAG: 外部の関数や検索ツールを動的に呼び出して情報を補う Retrieval-Augmented Generation の拡張手法。