Cactus、推論信頼度スコアを出力する OSS モデル Cactus Hybrid を公開──動的ルーティングで推論コストを最適化
Gemma 4 をベースに回答の正誤を 0-1 の信頼度スコアで出力するプローブを統合し、低コストモデルと高精度モデルの自動切り替えを実現した。
リリース: 2026-07-23 · 読了 4 分記事の要約
1. 核心（What）
- Gemma 4 E2B Hybrid モデルを公開し、回答の信頼度を 0 から 1 の数値で出力する機能を統合。
- 信頼度が低い場合に高精度モデルへ転送するルーティング機能を実装し、Gemini 3.1 Flash-Lite と同等のベンチマーク性能を 15-55% のクエリ転送で達成。
- MMLU や ChartQA を含む 12 種類のベンチマークで、従来の手法（トークンエントロピー）を上回る平均 0.814 の AUROC を記録。
- Transformers, MLX, llama.cpp などの主要フレームワークに対応し、MIT ライセンスで提供。
2. 影響（Why）
- 推論コストの劇的な削減: 信頼度スコアに基づき、安価な小型モデルで完結するクエリと高精度モデルが必要なクエリを自動選別することで、API コストを大幅に抑制できる。
- 国内 SaaS 事業者への影響: カスタマーサポートやドキュメント解析を行う国内の Vertical SaaS 事業者は、本モデルをゲートウェイとして導入することで、全クエリを高性能モデルに投げる現状の設計を、精度を維持したままコスト効率の高い構成へ刷新できる。
3. 根拠・詳細（How）
- 信頼度スコアの出力機構: モデルのチェックポイント内に正誤判定用のプローブを実装。Transformers 5.5.4 以上の `generate` メソッドで `return_confidence=True` を指定することで、推論結果と同時に信頼度を構造化データとして取得可能。
- マルチモーダル対応の検証: 音声データで学習していないにもかかわらず、LibriSpeech 等の音声ベンチマークで 0.822 以上の AUROC を達成。隠れ層からモダリティに依存しない正誤信号を抽出する設計により、テキスト以外の入力にも対応。
4. 展望・課題（Next）
- 実装上の制約: Transformers 使用時は `device_map="auto"` による自動オフロードが不可。プローブが `forward()` パス外で動作するため、明示的なデバイス指定が必要。