carloslfu、推論サーバー slotstream を公開──125B の Qwen3.8-Flash-Next を 48GB Mac で毎秒 12 トークン実行
105GB の MoE モデルを SSD からストリーミングし、ユニファイドメモリの制約下でも実用的な速度でローカル実行を可能にする Swift バイナリの推論エンジン。
リリース: 2026-09-02 · 読了 3 分記事の要約
1. 核心（What）
- carloslfu は 2026 年 9 月 2 日、125B パラメータの MoE モデル Qwen3.8-Flash-Next（4-bit 105GB）を 48GB Mac 上で動作させる推論サーバー slotstream を公開した。
- Apple Silicon の MLX と Metal を採用し、48GB 構成の M5 Pro で warm decode 時約 12 tok/s、ピークメモリ 32GB を記録した。
- Python 依存のない単一の Swift バイナリで実装され、Ollama および OpenAI のチャット API 互換エンドポイントをポート 11434 で提供する。
- 初回起動時や slotstream pull コマンドにより 105.3GB の重みファイルを 25 ファイルに分割して安全にダウンロード・検証機能付きで取得できる。
2. 影響（Why）
- ローカル検証コストの劇的な低下: 数千ドルの専用 GPU クラスターを用意せずとも、手元の開発用 MacBook Pro で 100B 超の最新 MoE モデルを動かせるため、プライベートなプロトタイピングの敷居が大幅に下がる。
- 国内エッジ AI 開発チームへの実務的インパクト: [国内 AI 受託開発・コンサル] のような中小規模の事業者は、クラウド API にデータを送信できないセキュアな顧客案件に対し、単一の Mac 端末で完結するローカル LLM 検証環境を低コストで構築できるようになる。
3. 根拠・詳細（How）
- SSDs からのエキスパートストリーミング設計: 3.8GB の trunk を常駐させ、専門家（エキスパート）を固定プール経由で SSD からユニファイドメモリへ直接ストリーミングすることで、メモリ不足による過剰なスワップを防ぐ。
- MLX と Metal による最適化: Apple Silicon の統合メモリ構造を前提に MLX フレームワークと Metal を直接叩くことで、プロンプト処理時の sweep パスや grouped matrix multiplies を効率化している。
4. 展望・課題（Next）
- 対応機能の拡充: 現行バージョンではツール利用、画像入力、JSON スキーマ出力、logprobs は非対応であり、該当リクエストには 400 エラーを返す仕様となっているため今後のアップデートを確認する必要がある。