Upstage、オープンモデル Solar-Open2-250B を公開──250B規模で実効15BのMoEと1Mトークン長文脈を実現
250Bパラメータ・アクティブ15BのMoE構造とハイブリッドアテンションを採用し、1Mトークン長文脈と最小限の推論コストを両立したエージェント向け大規模言語モデル。
リリース: 2026-07-22 · 読了 4 分記事の要約
1. 核心（What）
- Upstageが250B-A15Bのオープンウェイト大規模言語モデル Solar-Open2-250B をHugging Faceで公開した
- オフィス生産性、ドキュメント処理、コーディングなどのエージェント向けワークフローに特化している
- 英語、韓国語、日本語の多言語に対応している
- NVIDIA H200やB200等のGPU8基による分散推論を想定している
2. 影響（Why）
- 長文脈と低コストの両立: 1Mトークン長文脈を扱いつつKVキャッシュ容量を従来の1/4程度に抑えられるため、長文ドキュメント処理のインフラコストを大きく圧縮できる。
- ローカルエージェント開発への応用: 国内のAI受託開発やSaaS企業は、商用APIに依存せずClaude CodeやHermes AgentをローカルのvLLMサーバーに直結させる実証実験を容易に始められる。
3. 根拠・詳細（How）
- ハイブリッドアテンションによるNoPE: 3層の線形アテンションと1層のソフトマックスアテンションをインターリーブし、リカレント状態でトークン順序を内部エンコードすることでRoPEの制限を排除している。
- 効率的な重み初期化と推論サービング: Solar Open 1 (102B) から生き残る2.3%の重みを選択的に継承し、残りをランダム初期化して250Bスケールでの急速な収束を実現。vLLM v0.22.0および専用のTransformersブランチでサービングを行う。
4. 展望・課題（Next）
- デモ公開と量子化モデルの展開: Hugging Face Spacesでのデモ公開が予定されており、 NotaAIによる小規模GPU向けの公式量子化モデルの提供も順次進められる。