🧠 research

2026-05-03 · 4 topics

モデルアーキテクチャ研究、LLM の拒絶反応を制御する単一の内部ベクトルを特定

13 種類のオープンソースモデルにおいて、残差ストリーム上の単一方向を操作するだけで安全ガードレールを無効化できることを実証した。

DeepSeek、284B パラメータの MoE モデル DeepSeek-V4-Flash を公開──1M トークン対応で KV キャッシュを 90% 削減

Hybrid Attention 採用により、1M トークン処理時の KV キャッシュ消費量を DeepSeek-V3.2 比で 10% に抑えつつ、推論コストを大幅に最適化した。

NVIDIA、マルチモーダルモデル Nemotron-3-Nano-Omni-30B を公開──動画・音声・GUI を統合処理

31B パラメータの Mamba2-Transformer ハイブリッド MoE 構成を採用し、256k トークンの長文脈と推論能力をエッジ環境で実現した。

Unsloth、LLM モデル Qwen3.6-27B の GGUF 版を公開──262K トークンの長文脈と MTP に対応

27B パラメータの Qwen3.6 が vLLM や SGLang で利用可能になり、推論時の思考プロセス保持と MTP による高速化を実現した。