150 億パラメータゲノム MoE をブラウザで安全に分散実行する GenomeOcean Anywhere

論文概要

ゲノム基礎モデルの活用には、機密性の高いDNA配列をデータセンターへ送信する必要があるという課題が存在する。本論文では、150億パラメータを持つゲノム Mixture-of-Experts（MoE）モデルを、信頼できないボランティアのウェブブラウザ上で分散実行するシステム「GenomeOcean Anywhere」を提案している。信頼できるコーディネーターがアテンションとルーティングを管理し、ブラウザワーカーが手書きの WebGPU カーネルを用いて各専門家のフィードフォワードネットワークを実行する構成をとる。

関連研究

未確認

新性と貢献

従来のプレーンテキストでの専門家入力には、単一のベクトルからトークンが復元されたり、単一のワーカーが 300 個の順序なしトークンから元のゲノムを 92% の精度で特定できたりするというプライバシー上の懸念があった。本研究では、実数値 Lagrange coded computing を導入することで、各ワーカーがガウス雑音が付加されたシェアのみを受け取るようにし、ワーカーの持つ情報量を 1 フォワードパスあたり 1 ビット未満に制限しつつ、BF16 のノイズフロア以下の精度（KL ダイバージェンス 0.0036 nats/トークン）を維持する点を主要な貢献としている。

提案手法の詳細

システムの中核となるのは Lagrange coded computing による専門家入力の保護である。コーディネーターは 3 つのワーカーのうち任意の 2 つからデコードを行っており、ワーカーの 1 つが障害で停止した場合でも、レプリカなしで処理を継続できる。また、すべての専門家のフィードフォワードネットワークは、手書きの WebGPU カーネルにより各ブラウザワーカー上で効率的に処理される。

評価・考察

GenomeOcean-MoE（8 専門家、top-2 ルーティング、24 層）を用いた検証の結果、ブラウザ上のパスはすべての量子化レベルでネイティブの処理結果と一致した。分散パスにおける数値的ノイズは BF16 のノイズフロアに留まり、エミュレートされた広域ネットワークリンク下では、未調整のレイテンシモデルが中央値で 0.74% 以内に収まるデコード時間を予測した。Chrome 環境におけるコード化されたデコード処理速度は、ルーティングの隠蔽度合いに応じて 1 トークンあたり 220 から 376 ms となっている。

応用例と今後の展望

医療・バイオインフォマティクス分野におけるゲノム解析において、機密性の高い患者の DNA 配列を中央のデータセンターに送信することなく、クライアントサイドのリソースを活用したプライベートな推論インフラ構築への応用が期待される。今後の課題としては、広域ネットワーク上のさらなるレイテンシ最適化や、多様なブラウザ環境におけるスケーラビリティの検証が挙げられる。

結論

GenomeOcean Anywhere は、プライバシー保護と分散コンピューティングを両立させながら、ブラウザ上で大規模ゲノム MoE モデルを実行可能な実用レベルの性能を持つことを示した。

注釈

• MoE (Mixture-of-Experts): 入力に応じて複数の専門家ネットワークの一部を動的に選択して処理を行うニューラルネットワークアーキテクチャ。
• Lagrange coded computing: 秘密分散と符号理論を組み合わせ、データを安全に分割して複数ノードで計算を行わせる技術。