unsloth、ローカルモデルランナー unsloth/Laguna-S-2.1-GGUF を公開──118B MoE と 1M コンテキストに対応
118BパラメータのMoEモデル Laguna-S-2.1 の Unsloth Dynamic 2.0 量子化版であり、llama.cpp の b10087 以降で 1M トークンコンテキストとネイティブ推論を活用できる。
リリース: 2026-07-21 · 読了 3 分記事の要約
1. 核心（What）
- unsloth は Laguna-S-2.1-GGUF リポジトリにおいて、Unsloth Dynamic 2.0 量子化した Laguna S 2.1 の GGUF 版を公開した。
- モデルは 256 個のルーテッドエキスパートと 1 個の共有エキスパートを持つ MoE 構造を採用している。
- UD-Q4_K_XL シャードは約 40GB で構成され、llama.cpp の b10087 以降で動作する。
- 1M トークンのコンテキストウィンドウと、ツール呼び出し間のネイティブな推論（interleaved thinking）をサポートする。
2. 影響（Why）
- ローカル環境での大規模MoE運用: 量子化済みの GGUF 版を用いることで、全パラメータ 118B の巨大モデルを効率的にローカルサーバーへデプロイし、推論コストを大幅に抑制できる。
- 国内インフラでの長文脈活用: 1M トークンとネイティブ推論により、日本の開発現場で大規模なコードベース全体を読み込ませたエージェント開発をローカルで完結させられる。
3. 根拠・詳細（How）
- llama.cpp によるサーバー起動: llama.cpp の release b10087 以降を使用し、分割された最初のシャードファイルを指定して llama-server を `--fit on --ctx-size 16384` などのオプション付きで起動する。
- Dynamic 2.0 量子化の適用: imatrix キャリブレーションを用いた Unsloth Dynamic 2.0 量子化フォーマット（UD-Q4_K_XLなど）により、精度劣化を抑えつつファイルサイズを分割圧縮している。
4. 展望・課題（Next）
- 上流 llama.cpp への統合: ベースとなる Laguna サポートの上流 ggml-org/llama.cpp#25165 でのレビュー進行に伴い、公式リポジトリへのマージが予定されている。