HuggingFace、データセット HuggingFaceCode/stack-v3-train を公開──15.9 TB・4.9兆トークンのコード事前学習用コーパス
2025年8月時点のGitHubをクロールしUTF-8ソーステキストをインラインで埋め込んだ、コードLLM事前学習向けのオープンな最大規模データセット。
リリース: 2024-02-29 · 読了 3 分記事の要約
1. 核心（What）
- Hugging Faceが公開した stack-v3-train は、15.9 TBのソースコードと約4.9兆トークンを含むコードLLM事前学習用データセットである。
- 713のプログラミング言語に対応し、1億7,300万のGitHubリポジトリから2025年8月時点のデフォルトブランチHEADを直接クロールして構築された。
- デコード済みのUTF-8ソーステキストがインラインで各行に埋め込まれており、ダウンロード完了後直ちに事前学習を開始できる設計となっている。
- 全リポジトリ構造を維持した近傍重複排除済み（near-deduplicated）の train スプリットに加え、メタデータと全ファイルが分離されたフルコーパス stack-v3-full も併せて提供される。
2. 影響（Why）
- 再現性の高いコード事前学習の実現: 非公開データに依存しがちだった商用級コードLLMの学習プロセスを透明化し、VPC内完結の独自モデル構築や研究再現のハードルを大幅に下げる。
- 国内コード生成SaaSのベースモデル強化: 国内のコード補完・AIエージェント開発を行う中堅SaaS企業は、自社リポジトリとのハイブリッド学習用ベースラインとして商用利用可能な16TB級オープンデータを直ちに活用できる。
3. 根拠・詳細（How）
- データパイプラインとライブラリ連携: go-enry（GitHub LinguistのGoポート）による言語検出とScanCodeによるSPDXライセンス識別を実施し、datasets.load_dataset を用いたストリーミングおよびローカルキャッシュ読み込みをサポートする。
- Parquet形式による効率的な分析アクセス: HuggingFace Storage Bucket上に展開された Parquet ファイルに対し、DuckDB や Polars の HfFileSystem 拡張を用いてライブラリを介さず直接SQLクエリを実行できる。
4. 展望・課題（Next）
- 削除要請プロセスの運用: パッチリリースごとにリポジトリのオプトアウト申請が反映されるため、継続的なデータセットの更新と再インデックスへの追従が必要となる。