ulamai、評価ベンチマークデータセット UnsolvedMath を HuggingFace で公開
未解決問題の数学的論理を LLM に検証させるためのテストデータセットであり、現時点でデータセット構造に JSON パースエラーが確認されている。
リリース: 2026-01-24 · 読了 2 分記事の要約
1. 核心（What）
- ulamai が HuggingFace 上でデータセット UnsolvedMath を公開した
- 公開日は 2026-01-24 である
- データセットビューアで ArrowInvalid 例外や Pandas の JSON パースエラーが確認されている
2. 影響（Why）
- 評価パイプラインの停止: データセット側のスキーマ不整合により、自動評価スクリプトが例外で停止するため、前処理の修正コストが発生する。
- 国内事業者への影響: [教育 AI 開発ベンチャー] のような組織では、外部データセットを直接読み込む構成をとっている場合、パイプラインのハンドリング例外処理を追加する必要がある。
3. 根拠・詳細（How）
- JSON パースエラーの発生: pandas の read_json メソッドおよび ujson_loads を経由した行データ生成時に、行 0 におけるオブジェクトメンバーの名称欠落や配列長不一致（ValueError: All arrays must be of the same length）が発生している。