Contrastive-LM、軽量な対照学習モデル CLM-v0.1-8B を公開──Qwen3-8B ベースで最大 9 倍の推論高速化を実現
Qwen3-8B エンコーダの上に状態・行動の射影ヘッドを配置し、双方向 InfoNCE 損失で訓練することで、エージェントタスクでの高速化と高精度化を両立させた。
リリース: 2026-09-21 · 読了 3 分記事の要約
1. 核心（What）
- Contrastive-LM チームは 2026 年 9 月 21 日、対照学習を採用した System One モデル CLM-v0.1-8B を HuggingFace で公開した。
- ベースモデルとして凍結された Qwen3-8B エンコーダを使用し、状態と行動を分離してエンコードする小規模な射影ヘッドを搭載している。
- 事前学習に約 60M 件の Nemotron Q&A ペア、中規模訓練に約 30M 件の合成ハードネガティブ、ポスト訓練に約 1M 件のエージェント軌跡データを使用している。
- DeepSWE ベンチマークで 81.6%、Terminal-Bench 2.1 で 87.6% のスコアを達成し、従来モデル比で 4〜6 倍高速に動作する。
2. 影響（Why）
- エージェント構築のレイテンシ削減: 候補のスコア算出に特化することで、従来の自律エージェントと比較して最大 9 倍の高速化を達成し、リアルタイム応答が求められるシステム実装のハードルを下げる。
- 国内エージェント開発への影響: 社内業務の自動化やツール呼び出しエージェントを開発する国内の受託開発・SaaS事業者は、単一 GPU で高速に動く検証モデルとして、パイプラインに組み込む選択肢が生まれる。
3. 根拠・詳細（How）
- 双方向 InfoNCE 損失による訓練構造: 凍結された Qwen3-8B の最終トークンをプールしたエンコーダの出力を基に、状態ヘッドと行動ヘッドの 2 つの小規模射影ヘッドを双方向 InfoNCE 損失で結合している。
- 状態と行動のキャッシュ機構: 状態と行動を独立してエンコードすることで行動側の埋め込みをキャッシュし再利用可能に設計されており、約 1,000 候補の処理時に Jev 比で 13 倍の高速化を実現している。
4. 展望・課題（Next）
- マルチモーダル版の開発予定: より多くのデータと計算資源、パラメータを投入したマルチモーダル対応の CLM-35B が 2026 年 10 月初旬に公開される予定となっている。