2026-07-28 · 8 topics
Prism ML、量子化モデル推論サーバー Ternary-Bonsai-27B-gguf を公開──27B モデルの FP16 比 9.4 分の 1 軽量化を実現
🔥🔥🔥27B クラスの推論モデルを三値重み（ternary weights）で 7.2 GB に圧縮し、Apple M5 Pro 上で 26 tok/s のインタラクティブ動作を達成した。
Vercel、TypeScript コンパイラ tool scriptc を公開──Node 依存なしのネイティブバイナリ生成
🔥🔥Node.js や V8 エンジンを同梱せず、普通の TypeScript を数 100KB のネイティブ実行ファイルにコンパイルする軽量ツールチェーン。
Microsoft、セキュリティ AI モデル MAI-Cyber-1-Flash を公開──脆弱性解析に特化したコード解析モデル
🔥🔥毎日 1 兆件以上のセキュリティシグナルを学習データに活用し、複数エージェントを結合する MDASH ハーネスで脆弱性特定を自動化する。
AWS、ナレッジ圧縮ツール Task-Aware Knowledge Compression を公開──RAG の限界を超える 8x から 64x のマルチレート圧縮基盤
🔥🔥膨大な複数ドキュメントをタスク別に事前圧縮し、クロスドキュメントの文脈を保持しながらトークン数を最大 1/64 に圧縮する AWS 上のオープンソース実装。
医療文書解析ツール Guardoc、Amazon Nova を活用した RAG パイプラインを公開──エラー率 46% 削減と年間 40万ドルの ROI を実現
🔥🔥Amazon Bedrock の Amazon Nova Pro や 2 Lite を組み合わせた多段階コスト階層化パイプラインにより、手書きやスキャンを含む複雑な医療記録の抽出・分類精度を実証した。
Moonshot AI、推論高速化カーネル FlashKDA をオープンソース公開──Kimi Linear を GPU で 2 倍高速化
🔥🔥Kimi Linear の基盤である Kimi Delta Attention 向けに MIT ライセンスの専用 CUTLASS カーネルを公開し、モデル改変なしで推論スループットを 2 倍に引き上げた。
Vercel、OSS の TypeScript ネイティブコンパイラ「scriptc」を公開──C言語変換でバイナリサイズを 170KB に削減
🔥🔥TypeScript コードを型付き中間表現経由で C 言語に変換し clang でコンパイルすることで、Node.js ランタイム不要の高速な単一バイナリを生成する。
LLM 推論高速化ツール TurboQuant を解説──3ビット KV キャッシュ圧縮の実際とトレードオフ
🔥🔥Google Researchらが発表した TurboQuant の仕組みを読み解き、3.5ビット無損失の理論値と 3〜4ビット実装の現実的なトレードオフを整理する。