Fable 5 と GPT-5.6 Sol、NP 困難な最適化問題で比較──/goal 機能の有効性を検証
最適化問題における /goal 機能は試行回数を増やすが、平均性能を悪化させるリスクがあることが判明。
リリース: 2026-07-17 · 読了 5 分記事の要約
1. 核心（What）
- Fable 5 と GPT-5.6 Sol を用い、532 拠点のネットワーク設計という NP 困難な最適化問題で性能を比較。
- モデルのネイティブ機能である /goal（目標設定モード）の有無による性能差を 3 回の試行で測定。
- Fable 5 は plain 設定で 31,934 点のスコアを記録し、Sol を平均 1,875 点上回る高精度を達成。
- /goal 機能は勝率では過半数を超えるものの、平均性能を低下させる大きな回帰（バッドケース）を引き起こす傾向を確認。
2. 影響（Why）
- 最適化タスクの非線形性: 最適化問題では、試行時間の延長が必ずしも精度向上に繋がらず、誤った方針を強化するリスクがある。LLM の推論ループ設計において、単なる継続指示よりも「何を実行し続けるか」の質的判断が重要となる。
- 国内 SaaS 開発への示唆: 複雑なロジックを LLM に任せる [物流・配送計画系 SaaS] のような中規模事業者において、/goal のような自動継続機能は、コスト増と精度低下を招く可能性がある。自動化の際は、一定のチェックポイントで評価を挟む設計が不可欠である。
3. 根拠・詳細（How）
- Claude Code と Codex の制御機構: Claude Code はセッションスコープの Stop hook として Haiku モデルが評価を行う一方、Codex CLI 0.144.4 は SQLite に状態を保持し、モデル自身が create_goal 等のツールを用いて進行を管理する。
- 検証環境の制約: CLIArena 上で実行され、コンテナには 8 CPU を割り当て。Fable 5 の並列ポートフォリオ戦略が有利に働く環境下で、全出力に対して最終検証を行い妥当性を担保。
4. 展望・課題（Next）
- 汎用性への課題: 本検証は単一の NP 困難な問題に特化しており、一般的なコーディングタスクにおける /goal の挙動とは異なる可能性がある。