Cloudflare、推論サーバー用 DNS キャッシュ最適化ツールを公開──100TB のメモリ削減を実現
Cloudflare の 1.1.1.1 などの DNS サービスにおいて、キャッシュエントリの構造体を見直し、フットプリントを 50% 以上削減した。
リリース: 2026-08-27 · 読了 3 分記事の要約
1. 核心（What）
- Cloudflare は 1.1.1.1 などの DNS サービスで保持する 250 億件以上のキャッシュエントリのメモリ構造を最適化した。
- 5 段階のメモリ最適化手法により、エントリごとのメモリフットプリントを 50% 以上削減した。
- フリート全体で合計約 100 テラバイトのメモリを解放し、Gen 13 サーバー 130 台分の RAM 削減に相当する効果を得た。
- 最適化の結果として、インサートスループットが 43% 向上し、ルックアップレイテンシが 19% 低下した。
2. 影響（Why）
- ハードウェアコストの直接削減: 250 億件規模のエントリを持つシステムでは 1 バイトの無駄が数百ギガバイトのメモリ消費につながるため、構造体最適化による省メモリ化はインフラ投資の圧縮に直結する。
- 国内インフラ事業者への示唆: 国内の大規模トラフィックを扱うインフラ事業者やクラウドサービス提供企業にとって、Rust のメモリレイアウト改善はハードウェア増設を回避する有効な選択肢となる。
3. 根拠・詳細（How）
- Box<[T]> による可変長配列のオーバーヘッド排除: 不変のキャッシュエントリで不要となる Vec 型の capacity フィールドや余分なヒープ領域を排除し、Box<[T]> や Box<str> へ置き換えることでエントリあたり 64 バイトを節約した。
- オフセット管理と構造体パディングの削減: 複数のリストポインタを排除し、2 バイトのオフセット値を用いた単一リスト構造へ変更。さらにブール値をビットフラグにまとめてパディングを削減した。
4. 展望・課題（Next）
- 大規模分散キャッシュへの展開: 今回の最適化手法をベースに、他の高負荷なインメモリキャッシュコンポーネントへの適用範囲を拡大していく予定である。