HuggingFace、検閲なしモデル評価ベンチマーク UGI-Leaderboard を公開──RP・創作性能を可視化
安全フィルタリングを排除した「検閲なしモデル」に特化し、ロールプレイや創作における表現の自由度と指示追従性を定量化した。
リリース: 2024-05-20 · 読了 2 分記事の要約
1. 核心（What）
- HuggingFace Spaces 上で「UGI-Leaderboard (Uncensored General Intelligence)」が公開され、トレンド入りした。
- 検閲なし（Uncensored）モデルを対象に、ロールプレイ、指示追従（IFEval）、数学（GSM8K）、コード生成などの多角的な評価を実施している。
- Llama-3 や Mistral をベースとした微調整モデルが上位を占め、ガードレールの有無が推論能力や表現力に与える影響を可視化している。
2. 影響（Why）
- 汎用 LLM の過度なガードレールを回避したい開発者が、ローカル LLM の「表現の自由度」と「知能」を両立したモデルをデータに基づいて選定できる。
- 開発者への影響: AI キャラクターやゲーム NPC を開発するエンジニアは、Llama-3 派生モデル等のうち、どの微調整版が最も指示に忠実かつ制限が少ないかを即座に判断できる。
- 日本への影響: 国内のエンタメ系スタートアップやソーシャルゲーム開発者は、グローバルな検閲基準に縛られない独自の対話体験を構築する際、モデル選定の客観的なベンチマークとして活用できる。
3. 根拠・詳細（How）
- HuggingFace Spaces: UGI-Leaderboard (公開日未確認)