UW Madison、コードベース維持力評価ベンチマーク SlopCodeBench を公開──Opus 5 の厳格通過率は 24%
段階的要件変更型のコード進化テスト SlopCodeBench により、Opus 5 や Sonnet 5 など最新モデルが長期開発で蓄積するコードの肥大化と複雑性を検証した。
リリース: 2025-08-29 · 読了 4 分記事の要約
1. 核心（What）
- SlopCodeBench は初期状態ですべての問題を開示せず、段階的なチェックポイントを通じてコードベースを進化させる検証用ベンチマークである。
- 厳格通過率の基準として、過去のチェックポイントから継承された回帰テストを含むすべてのブラックボックステストに合格することが課される。
- Opus 5 は circuit_eval（8 チェックポイント）および database_migration（5 チェックポイント）のテストで合計 4 つの厳格通過を達成した。
- 検証されたすべてのモデルにおいて、チェックポイントの進行に伴いコードの重複率や冗長性、サイクロomatic 複雑性が増加する挙動が観察された。
2. 影響（Why）
- 自律コーディングの現実解を見極める: 1 回のプロンプトで完結するタスクではなく、複数回の要件変更に追従するコードベースの維持力を測ることで、人間による介入なしの運用限界を正しく見積もれるようになる。
- 国内 SaaS 開発チームへの影響: 国内の受託開発・SaaS 企業で AI エージェントに長期の機能追加を任せるチームは、現状のモデルがチェックポイントの進行に伴いコードの複雑性を急増させる特性を織り込み、定期的なリファクタリング前提のパイプライン設計が必要になる。
3. 根拠・詳細（How）
- 段階的ブラックボックステスト評価機構: 各チェックポイントで生成されたコードのエントリポイントに対し、CLI や API サーバーなどの実行環境を用いて外部から隠しテストケースを走らせる検証ループを採用している。
- コード品質メトリクス解析基盤: ソース行数、サイクロomatic 複雑性、コード重複、単一使用関数、依存グラフのエントロピーなど 41 種類の品質指標を各チェックポイントのコード状態から決定論的に算出する。
4. 展望・課題（Next）
- TypeScript などの複数言語ルール拡張: Python 専用となっている現在のスロブ検出ルールセットを TypeScript などの主要言語へ展開し、実務のモノレポ環境における定量評価の精度向上を進める予定。