Schema、ARC-AGI-3 ベンチマークで 98.98% を達成──物理シミュレーションによる推論の構造化
モデルの推論をプログラムとして実行・検証するハーネス「Schema」により、従来の汎用ハーネス比で 56.15% のスコア向上を実現した。
リリース: 2026-07-15 · 読了 4 分記事の要約
1. 核心（What）
- ARC-AGI-3 ベンチマークにおいて、新開発のハーネス「Schema」を用いたモデルが 98.98% のスコアを記録した。
- Claude Code の汎用ハーネスと比較し、同一モデル構成で 56.15% のスコア向上（42.83% から 98.98% へ）を確認した。
- Schema は推論をベクトルではなく「実行可能なプログラム」として生成し、観測データとの整合性を逐次検証する設計を採用している。
2. 影響（Why）
- 推論の「プログラム化」という転換: LLM の推論を単なる確率的な出力ではなく、実行・検証可能なコードとして扱うことで、ハルシネーションを抑制し、環境とのインタラクション精度を劇的に向上させる。
- 国内 SaaS における RAG 構築の再設計: 複雑な業務ロジックを要する国内の Vertical SaaS 開発者は、単なる RAG 構成から脱却し、推論プロセス自体をコードとして検証するこの手法を導入することで、推論の信頼性を担保できる。
3. 根拠・詳細（How）
- プログラムによる世界モデルの構築: 観測結果をオブジェクト・変数・関係性として抽出し、状態遷移ルールをプログラムとして記述。予測と矛盾が生じた際は、状態表現とルールの双方を同時に更新する設計を採用。
- 制約付き推論パイプライン: Claude Code の汎用的なファイル操作に対し、Schema は「step() プログラムの実行」「全遷移の検証」「エラー時の計画破棄」という 3 つの制約を強制することで、試行効率を最適化した。
4. 展望・課題（Next）
- 汎化性能の検証: 今回報告されたスコアは公開セット（Public set）のみであり、未知の環境を含む Semi-private セットでの性能は未検証のため、今後の評価が待たれる。