Notable3 min · LLM · Attention Mechanism
個人開発者、Softmax-free Attention 採用の 3.5 億パラモデルを公開──VRAM 消費を抑えた長文脈推論を実現
構造的スパース性と Triton カーネルによる Tile-skipping を組み合わせ、GPT-2 Medium 規模で Softmax 不要の Attention 機構を実証した。
The Facts
- GPT-2 Medium 規模（約 3 億 5400 万パラメータ）のモデルを 115 億トークンで学習し、オープンウェイトで公開。
- Softmax を排除した Attention 機構に構造的スパース性を導入し、Tile-skipping 処理により計算を効率化。
- カスタム Triton カーネルの実装により、長文脈（Long-context）環境における VRAM 使用量を削減。
Why It Matters
- Softmax の計算コストが壁となる長文脈処理において、線形計算に近い効率で Attention を代替できる手法の有効性が実証された。
- Triton カーネルの実装が公開されているため、既存の Transformer アーキテクチャを VRAM 節約型へ改造する際の具体的な実装ベースとして機能する。
For Developers
LLM 推論エンジンやランタイムを開発するエンジニアは、FlashAttention 以外の選択肢として、スパースな Softmax-free カーネルの統合によるメモリ最適化を検討すべきフェーズにある。
For Japan
エッジ AI やモバイルアプリ開発を行う国内のスタートアップは、24GB 以下の VRAM 環境で長文脈を扱うための軽量化手法として、このアーキテクチャの採用を検証する価値がある。
Sources
Brief3 min · Regenerative Medicine · Genomics
哺乳類の部位再生能力は「消失」ではなく「休眠」状態──特定の遺伝子スイッチによる再生制御メカニズムを解明
従来は失われたと考えられていた哺乳類の四肢再生能力が、実は遺伝子レベルで抑制されているだけであり、特定の分子経路を操作することで再活性化できることを突き止めた。
哺乳類が進化の過程で再生能力を完全に失ったのではなく、遺伝的な「スイッチ」によってオフにされていることを発見
Brief3 min · ML Education · Research Policy
ML博士課程の卒業要件に『トップ会議論文』は必須か──研究の本質的評価と査読ガチャのジレンマ
トップ会議への採択を卒業の絶対条件とすべきか、研究の質で判断すべきかを問うコミュニティ議論。（原題: Would you let an ML PhD student graduate without a top-tier paper?）
機械学習分野の博士号取得において、NeurIPSやICLR等のトップティア会議への論文採択が実質的な必須条件となっている現状がある。
Brief6 min · Geometric Algebra · Linear Algebra
幾何代数（Geometric Algebra）への批判的考察──幾何積の限界と主流数学との乖離を指摘
物理学やCGで注目される幾何代数に対し、幾何積の特権化やコミュニティの排他性が普及を妨げているとする理論的・文化的批判。
幾何代数（GA）が線形代数の不備をすべて解決する理論として過大評価されている現状に対し、David Hestenes が提唱した「幾何積（Geometric Product）」の数学的欠陥を指摘した。
Brief3 min · LLM · Coding
コミュニティ、Qwopus-3.6-27B-Coder を公開──SWE-bench で解決率 67.0% を記録
Claude-4.7-Max の回答から思考プロセスを逆生成する Trace Inversion 手法により、27B サイズで商用モデル級のコーディング性能を実現した。
SWE-bench Verified (500) において、GGUF Q5_K_M 版が思考オフ設定で解決率 67.0% (335/500) を達成した。