Goodfire、Ai2 のオープンな Olmo 3 学習スタックを活用し予期せぬモデル挙動の追跡手法を発表
Olmo 3 の中間チェックポイントと選好データセット Dolci を活用し、安全性の回帰や未知の挙動変化を個別の学習データまで遡って特定することに成功した。
リリース: 2026-09-09 · 読了 3 分記事の要約
1. 核心（What）
- Goodfire は Allen AI (Ai2) の完全オープンなポストトレーニングスタックを使用し、Olmo 3 の予期せぬモデル挙動の追跡と予測デバッグを実施した。
- 選好データセット Dolci に含まれる個別の選好・非選好レスポンスを検証し、拒否ベンチマークにおける安全性の回帰（有害要求への過剰応答）の原因となった特定の学習例を特定した。
- 事前の評価対象外であった特異な挙動シフト（通称「fart fishing」と呼ばれるファンフィクションの傾向など）を予測データデバッグによって検出した。
- Ai2 が公開する Olmo の中間チェックポイントと再現可能な学習レシピ、OLMES 評価スイートを活用することで、トレーニングパイプライン全体での介入検証を可能にした。
2. 影響（Why）
- ブラックボックスなアライメント修正からの脱却: 完成モデルの出力観察にとどまらず中間チェックポイントと生データを紐づけて検証できるため、社内アライメント調整で原因不明の安全性低下に直面した際のデバッグ工数を数分の一に圧縮できる。
- 国内 AI 開発チームへの実務的影響: 国内で商用 LLM をカスタム調整する中規模 AI ベンチャーや研究機関は、ブラックボックスな API 依存のチューニングから、オープンな学習レシピをベースにした原因特定プロセスの導入へと検証方針を切り替える契機になる。
3. 根拠・詳細（How）
- Olmo 3 と Dolci データセットによるエンドポイント介入: Olmo 3 の再現可能なパイプラインを用い、UC San Diego の Leon Bergen 氏らの手法でコンポーネント単位の介入と公式チェックポイント間での効果測定を実施した。
- 個別選好データと安全性回帰の紐づけ解析: フィクション形式の有害要求に対する拒否率低下を Dolci の特定の選好例（有害要求への追従を促すデータ）に遡って特定し、モデル全体の性能を維持したまま対象の回帰を抑制する変更を検証した。
4. 展望・課題（Next）
- モデル生物としてのオープン学習スタックの活用拡大: 透明性の高いオープンソースのトレーニングスタックをアライメント研究の標準的なモデル生物として定着させ、意図しない挙動の事前予測精度の向上を目指す。