電力制約下での LLM 推論を最適化する PowerSlider──オンライン goodput を既存比 1.64 倍に改善

論文概要

AI 推論クラスターの制約はエネルギー消費量そのものよりも瞬間的な電力（Instantaneous Power）に依存しつつあり、グリッド事業者による時間変動する電力キャップ（Power Cap）の課金・制限が課題となっている。従来の LLM サービングシステムは静的なエネルギー最適化や固定優先度ティアの破棄を行っていたため、電力エンベロープ変動時に goodput が著しく低下していた。本論文では、LLM パイプラインにおけるフェーズごとの電力感度の違いに着目した新しいサービング手法「PowerSlider」を提案する。SGLangを用いた評価において、30%の電力キャップ削減下で 78.3% のオンライン goodput を達成し、既存のベースライン最高値（47.6%）に対して 1.64 倍の向上を実証した。

Figure 1: POWERSLIDERの全体アーキテクチャと各コンポーネントの関係を示す概要図。

新規性と貢献

本研究の主要な貢献は以下の 3 点である。

Flex SLO 契約の導入: ユーザーの許容可能な遅延スラックを最適化制約として取り入れる新しい契約フレームワーク。
フェーズ分離型ディスアグリゲーション: プレフィル・思考・デコードの各ステージにおける周波数および KV キャッシュ制御の分離。
KKT オンラインソルバー: 動的なキャップ変更に対して 7.7 ms 以内に再ソルブを実行する軽量な最適化メカニズム。

提案手法の詳細

LLM の推論パイプラインは均一な負荷ではない。計算集約型（Compute-bound）のプレフィルフェーズは GPU 周波数に比例してスループットが直線的に低下する一方、メモリ集約型（Memory-bound）の答えのデコードフェーズは定格の $0.57\times$ までスループットを維持可能であり、推論時の思考フェーズでは KV キャッシュ容量とスケジューリングが結合している。PowerSlider は、各ワットあたりの性能コストが最も低い箇所へ電力キャップを誘導する設計を採用している。さらに、DVFS が静的電力の限界に達した際にドレインされたインスタンスをパワーゲートする統合フェイルセーフを備える。

Figure 2: 多様なワークロードにおける消費電力削減率に対するオンラインおよびオフラインのグッドプット評価結果。

評価・考察

SGLang と実運用のトレースを用いた評価では、30%の電力キャップ削減時に PowerSlider は 78.3% のオンライン goodput を維持し、ベストなベースライン（47.6%）を大きく上回った。また、レイテンシーに敏感なテイルレイテンシーを定格の $1.3\times$ 以内（ベースラインは $2.3\sim 6\times$ 、最大 $12\times$ ）に抑制することに成功した。CAISO（カリフォルニア ISO）のグリッド緊急時の再プレイデータ（トラフで $0.41\times$ まで低下）においては、平均 goodput 92%（最低でも 54%、ベースラインはすべて 7% 未満）を達成している。

Figure 3: 実際のグリッド・緊急時データ（CAISO）を再プレイしたシナリオにおけるグッドプットとGPUプール割り当ての推移。

応用例と今後の展望

本手法は、電力供給の制約が厳しいデータセンターや、再生可能エネルギーの変動に直接連動させる必要のある大規模 LLM 推論ファームにとって実務上の価値が高い。特に、国内の大規模データセンター運用事業者やクラウドベンダー（例: さくらインターネットや主要な通信事業者等）において、電力ひっ迫時のサービング品質低下を防ぐためのアーキテクチャ設計に直接的な示唆を与える。今後は、より多様なハードウェア構成やマルチテナント環境下でのスケーラビリティ検証が課題となる。

結論

PowerSlider は、LLM 推論のフェーズ非対称性を利用することで、電力キャップの変動下でも高い goodput と低レイテンシーを両立させる画期的なサービングシステムである。Flex SLO と KKT オンラインソルバーの組み合わせにより、制約付き環境における LLM 運用の信頼性を大きく引き上げる。

注釈

goodput: 単なるスループット（処理量）ではなく、SLA（サービス品質保証）を満たした有効なリクエストの割合。
DVFS: Dynamic Voltage and Frequency Scaling（動的電圧周波数スケーリング）。プロセッサの動作電圧と周波数を動的に変更する技術。
KV キャッシュ: Transformer モデルの自己注意機構において、過去のトークンの Key/Value テンソルを保持し計算を効率化するメモリ領域。