プロンプトインジェクション検出で SOTA を達成する 184M パラメータの安全性分類器 Semalith v1.4

論文概要

金融サービスや自律型エージェント（Agentic）環境における LLM デプロイでは、プロンプトインジェクション、規制コンプライアンス、および一般的な有害性を同時に処理する安全性分類器が求められるが、従来のオープンなガードレールは単一の推論パスでこれらを網羅していなかった。Semalith v1.4 は、DeBERTa-v3-base をベースとした 1.84 億（184M）パラメータの分類器であり、単一のフォワードパスでプロンプトインジェクション、一般有害性、BFSI（銀行・金融サービス・保険）規制コンプライアンスの 3 軸の安全性分類を同時に実行する。49 の公開ソースからマイニングした 76,204 行のコーパスでトレーニングされ、22 の評価ベンチマークのうち 21 でコンタミネーションゼロ（最大 0.22%）を達成している。

新規性と貢献

最大の新規性は、184M という軽量なパラメータ数でありながら、プロンプトインジェクション（9 サブタイプ）、一般有害性、および BFSI 規制ラベル（11 種）を含む 22 クラスのヘッドを単一推論パスで処理できる点にある。Llama-Guard-3-8B との 22 のホールドアウトベンチマークにおける比較では、プロンプトインジェクション評価の全 7 件で勝利し、全体でも 18 ベンチマーク中 11 件で勝利を収めた。また、208 件の良質なエージェント用プロンプトに対する偽陽性率（FPR）は 0.000 を記録し、Llama-Guard-3-8B の 0.063 と比較して優れた誤検知抑制能力を示している。

提案手法の詳細

提案手法の核心は、22 クラスのヘッド（BENIGN、9 つのプロンプトインジェクションサブタイプ、一般有害性、11 の BFSI ラベル）を、4 クラスの補助スーパーカテゴリヘッドと共に結合加重損失（jointly weighted loss）のもとで訓練する構造にある。 Figure 1: BFSI label taxonomy (B-01..B-11) with regulatory grounding. この設計により、多様な脅威を効率的に分離・検出することが可能となっている。また、学習データは SHA-1 による厳格な重複排除が行われており、評価セットへのデータ汚染が徹底的に排除されている。

評価・考察

2,151 行のホールドアウト検証スプリットおよび 22 のベンチマークを用いた評価の結果、Semalith v1.4 はプロンプトインジェクションの検出において Llama-Guard-3-8B を上回る性能を実証した。一方で、WildGuardMix、HEx-PHI、HarmBench などの一般有害性（general-harm）ベンチマークにおいては Llama-Guard-3 が優勢であり、両モデルの間には補完的な関係が存在することがセクション 4 で報告されている。さらに、6 つの測定された弱点も明示されており、用途に応じた使い分けが示唆されている。

応用例と今後の展望

実務的なデプロイガイドとして、会話型モデレーション用途（ToxicChat F1 0.624）では v1.3 が推奨される一方、BFSI ラベルの網羅性や良質なエージェントプロンプトに対するゼロ FPR が優先される場合には v1.4 の採用が推奨される。金融機関や高度なエージェントシステムを構築する国内のテックリードや AI エンジニアにとって、LLM の前段に配置する軽量かつ高精度なガードレールとして、推論コストを大幅に抑えたインフラ設計の選択肢を提供する。

結論

Semalith v1.4 は、184M パラメータという極めてコンパクトな規模でありながら、単一推論パスで多軸の安全性分類とプロンプトインジェクション検出の高精度化を両立できることを実証した。大規模モデルに依存しないガードレールの実用化を加速する成果である。

注釈

DeBERTa-v3-base: Transformer のアセンブリ構造を改良し、高精度なテキスト分類を実現した言語モデルのベースアーキテクチャ。
BFSI: Banking, Financial Services, and Insurance（銀行・金融サービス・保険）の略称。