r0b0tlab、推論特化データセット qwen3.8-max-glm5.2-kimi-k3-distillation を HuggingFace で公開
Qwen、GLM、Kimi などのモデル群から高度な推論トレースを蒸留し、論理推論や数学問題解決能力を高めた学習用データセット。
リリース: 2026-08-09 · 読了 2 分記事の要約
1. 核心（What）
- r0b0tlab は HuggingFace において qwen3.8-max-glm5.2-kimi-k3-distillation データセットを公開した。
- 本データセットには、Qwen 3.8-max、GLM 5.2、Kimi K3 などの先端モデルから蒸留された思考プロセス（<think> タグ形式）のデータが多数収録されている。
- 数学の文章題、論理推論、コードデバッグなどの多様なタスクに対応するマルチターンプロンプトと応答のペアが含まれている。
2. 影響（Why）
- 高度な推論能力のローカル調達: 閉域環境でのファインチューニングにおいて、最先端モデルの思考プロセスを模倣したトレーニングが可能になり、API 依存を回避できる。
- 国内開発におけるコスト圧縮: 独自に大規模な推論トレースデータを生成・収集するコストを削減し、効率的なモデル改良を実現する。
3. 根拠・詳細（How）
- マルチモデル蒸留とプロンプト構造: Qwen、GLM、Kimi などの複数モデルの推論出力を統合し、<think> タグによる段階的な思考プロセスを厳密にフォーマットした構成を採用している。
- 多様なタスクドメインの網羅: orca-math-word-problems-200k や Evol-Instruct-Code-80k-v1 などの上流データソースを基に、数学的厳密性とコード生成能力を検証する設計となっている。
4. 展望・課題（Next）
- 小規模モデルへの適用検証: 本データセットを用いた 7B〜14B クラスのオープンウェイトモデルに対する SFT 実行時の精度とオーバーフィッティングの検証が次の課題となる。