MatrAIx2026、100 万ペルソナデータセット MatrAIx_Persona_1M を公開──4bit 圧縮とスパース構造を採用
59 万の実データと 40 万の合成データからなる 99 万 9,847 ペルソナを収録し、4bit コードと pyarrow デコードで 4.17 GB に圧縮した研究用データセット。
リリース: 2026-06-21 · 読了 3 分記事の要約
1. 核心（What）
- 総数 999,847 件のペルソナデータを 10 個の Zstandard Parquet シャード（4.17 GB）として HuggingFace に公開した。
- 各ペルソナは 1,290 個のカテゴリカル属性を持ち、4bit コード化により 645 バイトに圧縮されている。
- 実データ由来 599,847 件と合成データ 400,000 件で構成され、age_bracket や region など 4 次元が 2024 年の国際機関の人口統計に合わせて校正されている。
- 標準の dataset viewer では 1,000 列制限のため一部制限され、完全なデータは Parquet ファイルの直接取得が必要となる。
2. 影響（Why）
- ペルソナデータの効率的な一括処理: 100 万件規模の多次元属性を 4.17 GB に圧縮して配布しているため、ストレージ負荷を抑えた大規模エージェントシミュレーションの検証基盤として利用できる。
- 実データと合成データの混在設計: 実レコードと合成データが混在し、かつスパース性を維持しているため、偏りのないエージェント挙動のストレステストやベンチマーク作成に直結する。
3. 根拠・詳細（How）
- pyarrow による 4bit デコード処理: datasets ライブラリの直接読み込みに対応せず、pyarrow.parquet を用いてシャードを読み込み、persona_codes.schema.json の 4bit ニブル値と null_bitmap を参照してデコードする。
- インデックスを活用した高速フィルタリング: 4 GB のデータスキャンを回避するため、indexes/postings.sqlite によって各属性値とグローバル行 ID をマッピングし、効率的なクエリ実行を担保している。
4. 展望・課題（Next）
- カスタムスキーマの運用と検証: attribute_overrides を用いた例外値の処理や、シード値 20260720 によるビルド再現性の維持を確認しながら実運用へ組み込む必要がある。