小規模言語モデル向け直接三線形積 FFN 手法 TriPLU──検証損失 1.0637 を達成

論文概要

小規模なデコーダ専用言語モデル（Decoder-only Language Models）のフィードフォワード層（FFN）において、学習済み特徴量射影を直接掛け合わせる設計が有効か検証した研究である。He Zhang 氏による本論文では、通常のゲート付き FFN 分岐を、3 つの射影ストリームを座標ごとに乗算する次数 3 の積分岐（Trilinear Product）に置き換えた TriPLU（Trilinear Product Linear Unit）を提案している。文字レベルの TinyStories 1M バイトのプレフィックス実験において、TriPLU は平均ベスト検証損失 1.0637 を記録し、SwiGLU（1.1017）や他の次数コントロールを上回る結果を示した。

関連研究

近年の Transformer アーキテクチャの多くは、SwiGLU に代表されるゲート付き活性化関数を採用し、表現力の向上を図ってきた。しかし、これらの多くは大規模モデルでのスケーリング則を主眼として置いており、極小規模な設定や特定演算による効率化に関する体系的な比較は限定的であった。本研究は、乗算の次数（Degree）を変更した直接積分岐のコントロール実験を行い、次数 3 の構造が小規模パラメータ環境でどのような挙動を示すかを明らかにしている。

新規性と貢献

本研究の主要な貢献は、FFN のゲート構造を廃し、直接的な三線形積（Trilinear Product）を用いる手法 TriPLU の提案と、低計算量レジームにおける定量的評価である。次数 3 の積分岐が、従来の SwiGLU 比較で検証損失を低減させることを示し、さらに最適化学習率に対する依存性や、高学習率時の挙動についても詳細な診断を行っている。

提案手法の詳細

TriPLU は、従来の SwiGLU のようなゲート機構をバイパスし、学習された 3 つの射影ストリームを直接座標ごとに乗算（Trilinear Product）する次数 3 の分岐を FFN に導入する。なぜこの設計にしたかという直感として、非線形なゲート制御を明示的に挟むのではなく、多重の射影ストリーム間の直接的な積によって特徴量の相互作用をより直接的に表現できる狙いがある。

評価・考察

文字レベルの TinyStories 1M バイトプレフィックス実験において、TriPLU は平均ベスト検証損失 1.0637 を達成した。これは比較対象である SwiGLU の 1.1017、次数 4 の積コントロールの 1.0780、次数 2 のコントロールの 1.1026 を下回る（良好な）数値である。また、Byte-BPE 実験の低学習率設定でも検証および保持データにおける BPB（Bits Per Byte）を低下させた。一方で、定数学習率の診断では、高学習率スケジュール下において最終的な BPB が劣化する傾向も確認されており、最適化に対して敏感であるという制約も示されている。

応用例と今後の展望

本研究の手法は現段階では極小規模モデル・特定低計算量レジームでの検証にとどまっており、FLOPs 正規化された効率性や大規模 LLM でのスケーリング挙動は確立されていない。日本の組み込み AI 分野やエッジデバイス向け超小型 LLM（パラメータ数百万規模）のアーキテクチャ研究において、FFN の構造最適化を検討する際の実験的知見となりうるが、実務への直接的な適用は限定的である。

結論

TriPLU は、小規模言語モデルの FFN において直接的な三線形積を用いることで、特定の低計算量設定で検証損失を改善できることを示した。ただし、最適化に対する感受性が高く、大規模スケールでの有効性は未検証である。

注釈

• FFN (Feed-Forward Network): Transformer ブロック内でアテンション層の後に配置される全結合層。
• BPB (Bits Per Byte): 言語モデルの圧縮効率や予測性能を評価する指標の一つ。