Qwen 3:0.6B を Unsloth でファインチューニング──RAG 用の超軽量質問分類器を構築
600M パラメータの超小型モデルを 850 件のデータで学習させ、プロンプトのみでは 10% だった分類精度を実用レベルへ引き上げる手法。
リリース: 2026-06-16 · 読了 3 分何が起きた
Qwen 3:0.6B（600M パラメータ）を使用し、RAG の検索空間を絞り込むための質問カテゴリ分類器を構築した。
Unsloth フレームワークを採用し、約 850 件の家庭内質問データセットを用いてファインチューニングを実施した。
ベースラインのプロンプト制御のみでは 131 件中 13 件（約 10%）しか正解できず、存在しないカテゴリを捏造する傾向があった。
ファインチューニング後はカテゴリの捏造が抑制され、特定のドメインに特化した分類タスクにおいて実用的な精度を達成した。
なぜ重要
「何でもできる巨大モデル」ではなく、特定タスクに特化した 1B 未満の極小モデルを RAG パイプラインの部品として組み込むことで、推論コストとレイテンシを劇的に削減できる。
👁️ 開発者
開発者は Unsloth を用いることで、24GB 以下のコンシューマ向け GPU 環境でも、特定のドメイン知識に基づいた高精度な分類器を数十分で作成できる。
🇯🇵 日本
[国内 スマートホーム SaaS 業種] のような、エッジデバイスや低リソース環境で LLM を動かす必要がある事業者は、Qwen 3 等の極小モデルと特定タスク学習を組み合わせることで、クラウド API 依存を脱却する道が開ける。