研究コミュニティ、構造化出力ベンチマーク「SOB」を公開──JSON 構文と値の正確性を同時評価
従来の JSON パース可否だけでなく、抽出されたデータの意味的正確性を 5 つのタスクで検証し、構造化出力の信頼性を可視化する。
リリース: 2026-04-28 · 読了 3 分記事の要約
1. 核心（What）
- JSON の構文エラー（Parse Error）と、抽出された値の不一致（Value Error）を個別にスコアリングする手法を採用
- 固有表現抽出、要約、分類、推論、データ変換の 5 つの主要タスクで LLM の構造化能力を多角的に測定
- 既存のベンチマークが「パースできたか」という形式面に偏り、内容の正確性が軽視されていた課題を解決するために設計
2. 影響（Why）
- RAG やエージェント開発において、パース成功率 100% でも中身がハルシネーションであるリスクを定量化し、本番投入の判断基準を明確化できる
- モデル選定時に「構造を守る能力」と「指示に従う能力」を切り分けて評価することで、プロンプト改善の方向性をデータに基づき決定できる
- 開発者への影響: 構造化出力を多用する LLM アプリ開発者は、単なる例外処理によるリトライ実装から脱却し、SOB の評価セットを用いて抽出精度の回帰テストをパイプラインに組み込むべき。
- 日本への影響: [国内 AI 受託開発・SaaS 業種] のテックリードは、顧客への納品精度報告において「JSON 形式の維持」と「抽出内容の正誤」を分離して定量的に説明する際の客観的指標として活用できる。
3. 根拠・詳細（How）
- Reddit r/MachineLearning 投稿 (2026-04-28 公開)