形態素境界を意識する構造統一型トークナイザ SuTRA──BPE 比で意味復元力を 34% 向上

論文概要

従来の BPE (Byte-Pair Encoding) などのサブワードトークナイザは統計的な圧縮効率を最適化する一方で、単語の形態素構造、特に語根（Root）と接辞の関係を無視する傾向があった。これにより、インド諸言語のような形態素豊かな言語では、基本単位である音節（aksharas）が意図せず分断される「Morphological Shattering（形態素崩壊）」が発生するという課題がある。本論文では、語根の意識を持たせた構造統一型トークナイザ「SuTRA (Structurally-Unified Tokenization with Root Awareness)」を提案する。SuTRA は akshara の不可分性を維持し、形態素境界を跨ぐマージにペナルティを課すことで、ヒンディー語、マラーティー語、グジャラート語の各評価において、BPE 比で形態素境界整合性（Boundary F1）が最大 +14.7%、意味復元力（Semantic Recoverability）がヒンディー語で +34% 向上したことを実証した。また、これらの構造的改善により、機械翻訳タスクの chrF2 スコアが平均 +8.08 改善している。

関連研究

LLM の急速な普及に伴い、多言語対応や低リソース言語向けトークナイゼーションの改善が活発に研究されている。しかし、多くの手法は英語圏の統計的特徴をベースに設計されており、アジア圏や南アジアの言語における形態素構造の無視が性能ボトルネックとなっていた。本研究は、語根と接辞の関係性に着目し、形態素境界の保持をトークナイザのアルゴリズムレベルに組み込んだ点が従来の統計的アプローチと明確に異なる。

新規性と貢献

本研究の主要な貢献は、形態素境界を明示的に意識するトークナイザ SuTRA の設計と、ヒンディー語、マラーティー語、グジャラート語向けの新しい形態素分割データセットの公開にある。単なる頻度ベースのマージではなく、語根とアフィックスの結合関係を損なわないペナルティ機構を導入したことで、形態素崩壊を大幅に抑制し、意味表現の安定性を高めた。

提案手法の詳細

SuTRA は、akshara の整合性を保つ前処理フェーズと、形態素境界を考慮したマージプロセスの 2 段階で構成される。従来の BPE が頻度のみを基準として文字のペアを統合するのに対し、SuTRA では形態素の境界を跨ぐ統合に対してペナルティを課す設計を採用した。これにより、語根の分断を防ぎ、言語学的により自然な単位でトークン列を生成することが可能となっている。

評価・考察

評価実験では、複数の南アジア言語を用いて BPE との比較が行われた。結果として、Boundary F1 が最大 +14.7%、ヒンディー語における意味復元力が +34% 向上した。また、機械翻訳モデルへの統合実験においても、chrF2 スコアが平均 +8.08 向上するなど、構造的特徴の保持が下流タスクの性能に直結することが数値として示されている。

応用例と今後の展望

本手法は、英語以外の多言語、特に形態素が複雑な低リソース言語をターゲットとした LLM の事前学習において極めて有用である。日本のエンジニアや研究者にとって、日本語のように agglutinative（膠着語）な特徴を持つ言語へのトークナイザ最適化や、カスタムドメインの形態素境界を保持したトークナイザ設計を行う際の重要な参照実装となる。今後の課題としては、より多様な言語族へのスケーラビリティ検証や、計算効率と形態素保持精度のトレードオフのさらなる最適化が挙げられる。

結論

SuTRA は、形態素構造の無視に起因するトークナイゼーションの限界を克服する新しい構造統一型トークナイザである。語根と接辞の関係性を維持する設計により、形態素崩壊を抑制し、下流タスクである機械翻訳等において顕著な性能向上が確認された。多言語 LLM の構築におけるトークナイザ設計の新たな標準となり得る成果である。

注釈

• BPE (Byte-Pair Encoding): データ圧縮アルゴリズムの一種であり、LLM においては頻出する文字のペアを連続するトークンとして統合していくサブワードトークナイゼーションの標準的手法。
• chrF2: 機械翻訳の評価指標の一つで、文字単位の n-gram 精度と再現率を組み合わせて評価するもの。
• Akshara: インド系の文字体系における基本的な音節単位。