韓国語指示チューニング用データセット GLAN-QnA-KR を公開──30 万件超の重複なしデータを生成

論文概要

本論文は、韓国語の指示チューニング（Instruction-tuning）向けに設計された大規模データセット「GLAN-QnA-KR」を提案する。Microsoft の Phi-3.5-MoE-instruct を生成モデルとして活用し、シード（種）を必要としないタクソノミー（分類体系）駆動型のパイプラインにより、合計 303,581 行の高品質な質問・回答ペアを生成した。本データセットは OpenRAIL ライセンスの下で公開されており、韓国語の指示チューニング用データとしては最大規模かつ、検証可能な汚染度管理がなされている点が特徴である。

関連研究

従来、LLM の指示チューニング用データセットは、特定のシードデータから拡張する手法が主流であった。しかし、これらはデータの多様性確保や、評価用ベンチマークとの重複（汚染）管理が課題となっていた。本研究は、特定のシードに依存しないタクソノミー駆動型生成パイプラインを採用することで、これらの課題を回避している。

新規性と貢献

1. シードレス生成: 1,084 の英字ラベル付き分野に基づき、シードデータに依存せず広範なトピックをカバーする。
2. 高いユニーク性: 30 万件を超えるデータの中で、完全な質問の重複はわずか 1 件であり、高い多様性を実現している。
3. 厳格な汚染度監査: KMMLU、KoBEST、HAE-RAE-Bench との文字トライグラム Jaccard 類似度および埋め込みベクトルを用いた二層の汚染チェックを実施し、データ汚染を最小限に抑えている。

提案手法の詳細

本手法は、GLAN（Generalized Language-model-based Annotation and Generation）パイプラインを韓国語へ適用したものである。Phi-3.5-MoE-instruct を生成器として使用し、100 から 900 までの難易度スケールを設定することで、回答の質と複雑さを制御している。質問の平均文字数は 313 文字、回答は 1,098 文字となっており、長文の論理的推論を要するタスクにも適した設計である。

評価・考察

汚染度評価では、20,000 件をサンプリングして主要な韓国語ベンチマークとの比較を行った。文字トライグラム Jaccard 類似度は最大 0.163 であり、Jaccard 係数 0.7 以上の重複データはゼロである。また、multilingual-E5 を用いたコサイン類似度でも 0.95 以上の類似度を持つデータは存在せず、ベンチマークに対する過学習のリスクが極めて低いことが示された。

応用例と今後の展望

本データセットは、韓国語特化型の LLM 開発において、指示チューニングのベースラインとして活用できる。特に、金融や法務分野など、正確な回答が求められるドメインでの学習用データとして、その網羅性と重複の少なさは大きな利点となる。日本のエンジニアや研究者にとっては、多言語対応モデルの構築や、日本語以外の言語におけるデータ生成パイプラインの構築手法として、その設計思想が参考になるだろう。

結論

GLAN-QnA-KR は、韓国語の大規模言語モデル開発におけるデータセットの透明性と多様性を向上させる重要なリソースである。検証済みの汚染度管理と大規模なデータ数は、今後の指示チューニング研究における標準的なデータセットとしての地位を確立する。

注釈

• 指示チューニング (Instruction-tuning): モデルがユーザーの命令（指示）に従ってタスクを実行できるように、命令と回答のペアで追加学習を行う手法。
• MoE (Mixture of Experts): 複数の専門家モデル（エキスパート）を組み合わせ、入力に応じて適切なパラメータを選択して処理するアーキテクチャ。
• OpenRAIL: AI モデルの利用における倫理的制約を課しつつ、オープンな利用を促進するためのライセンス形態。