サイバーエージェント、QA テストケース自動生成ツールを公開──Opus 5 と対話型仕様確定で再現率 69.2% を達成
仕様書やコード等に分散した情報を Opus 5 で横断的に読み解き、過去の QA データから抽出したテスト観点を適用することで、人手作成の QA テストケースの約 7 割を再現することに成功した。
リリース: 2026-09-27 · 読了 5 分記事の要約
1. 核心（What）
- 仕様書、チャット、コード等の分散した情報源を横断的に活用し、QA テストケースを自動生成するスキルを構築した。
- 不確定な仕様やソース間の矛盾に対しては、モデルが自ら対話形式で確認事項を切り出してユーザーへ提示する設計を採用した。
- 過去の QA テストケースとのペアから暗黙的なテスト観点を事前に一度だけ抽出し、共通のテスト観点として再利用する構成にした。
- 評価フェーズでは、正例と生成された QA テストケースを 5 項目（場所・対象・前提・操作・結果）に分解して厳格な再現率を計測した。
2. 影響（Why）
- 実務水準を支える対話型仕様確定: 静的な仕様書のみでは一意に定まらない期待動作を対話で早期にクリアにできるため、根拠のない推測によるテスト項目の混入を防ぎ、品質を安定して押し上げられる。
- 国内 SaaS 開発における工数最適化: 機能追加やリリースが頻繁な国内の Vertical SaaS 開発において、人手のみではスケール限界を迎えていた QA テストケース作成の約 7 割を自動化できる実用的な選択肢となる。
3. 根拠・詳細（How）
- Opus 5 の自律的推論と effort: max 設定: 数百行におよぶ QA テストケースへの条件展開や論理破綻の防止に必要な高いコンテキスト保持力と推論力を引き出すため、Opus 5 を採用し effort: max に固定して実行している。
- 5 項目分解による厳格な再現率評価: 正例と生成結果を場所・対象・前提・操作・結果の 5 項目に独立分解し、すべてが一致または不要と判定された正例の割合を再現率（69.2%）として算出した。
4. 展望・課題（Next）
- 大規模案件への適用と限界の検証: 正例数が他の 4 倍以上に達する大規模な案件 E を対象とした追加実験を基に、大量コンテキスト入力時におけるモデルの挙動と精度限界の検証を進める。