Hugging Face、データセット Qyrou/reasoning-corpus-4K-5M-v1 を公開──DeepSeekやQwen等の推論トレースを統合
DeepSeek-v4やQwen3などの主要モデルの推論トレースを5,000トークン以内のシーケンスで統合し、SLMの教師あり微調整を効率化するデータセット。
リリース: 2026-07-17 · 読了 3 分記事の要約
1. 核心（What）
- DeepSeek-v4 や Qwen3 などの主要モデルから取得した推論トレースを統合した大規模コーパスである。
- ユーザープロンプト、思考過程（thought_trace）、アシスタントの応答、ソース情報を分離した状態で格納している。
- 5,000トークン以内のシーケンス長に絞り込んでおり、SLM のファインチューニングや蒸留実験に対応している。
- Hugging Face の datasets ライブラリを用いて streaming=True で読み込み、事前ダウンロードを回避できる。
2. 影響（Why）
- 推論蒸留のコスト効率化: 自前で推論トレースを生成・収集する手間を省き、低コストで高精度な推論能力を持つ SLM を学習させられる。
- 国内研究開発への波及: 国内の独自 LLM 開発チームが、商用モデルに匹敵する reasoning 機能をオープンなデータから自社環境にインポートできる。
3. 根拠・詳細（How）
- 分離されたデータ構造とストリーミング読み込み: repo_id や tok_len などのカラムを保持し、datasets.load_dataset に streaming=True を指定してメモリ消費を抑えながらイテレーションを行う。
- ChatMLおよび独自テンプレートへの変換設計: 事前フォーマット済みの ChatML をそのまま利用するか、AutoTokenizer の apply_chat_template を用いて各モデルのネイティブな思考トークン構造に再構築できる。
4. 展望・課題（Next）
- トークン長とシャッフルバッファの調整: tok_len は見積もり値であるため、正確なシーケンス長はモデル固有のトークナイザーで再計算し、4096 程度のバッファサイズでシャッフルを実行する。