🛠Tools🔥🔥

LLM アプリフレームワーク Claude Code 継続生成ツール──「集計・差分・優先順位」の 3 ステップでバイアスを解消

Claude Code の定時タスクで発生するデータ偏りを、生成前の実データ集計とプロンプトへの動的埋め込みで自動補正する設計パターン。
リリース: 2026-08-21 · 読了 3

記事の要約

1. 核心(What)

  • 子ども向け学習クイズアプリ「おうちドリル」の問題データ(JSON、約 3,600 件)の運用において、自動生成タスクに起因する単元ごとのデータ量の偏り(最大 4 倍以上の格差)を実測から特定した。
  • 生成タスクの前段に、collections.defaultdict や Counter を使った Python の集計処理を置き、学年×教科×単元の実数を毎回収き出す仕組みを構築した。
  • 算出された実数と学習指導要領ベースの単元一覧を突合し、0〜2 問の単元や未作成の単元を動的に洗い出して生成プロンプトに引き渡す設計を導入した。

2. 影響(Why)

  • 履歴非依存の自己修正: LLM はステートレスであり過去の生成履歴を参照できないため、指示を固定すると典型的で頻出な単元にバイアスがかかる。実行ごとに実データを集計して再入力することで、過去のメモリを持たずにドリフトを抑制できる。
  • 継続生成タスクの汎用性: テストケースの網羅性チェックやドキュメントの空白章の検出など、あらゆるコンテンツの自動生成ループの外側にそのまま流用できる実践的なアーキテクチャである。

3. 根拠・詳細(How)

  • Python による集計スクリプトの実装: json.load で questions.json を読み込み、subject と unit の組み合わせごとの出現回数を Counter で集計する前処理を生成スクリプトの先頭に配置している。
  • Claude Code 定期実行タスクへの組み込み: Claude Code の scheduled task 機能を利用し、日次の自動生成プロセスのなかでローカルの JSON 集計結果をプロンプト文字列へ動的にインジェクトするパイプラインを構築している。

4. 展望・課題(Next)

  • 他ジャンルへの展開評価: FAQ 生成におけるタグ分布の自動集計や、テストコード作成における正常系・異常系のカバレッジ計測への適用検証を進める予定。