📜 papers
2026-07-16 · 4 topics
LLaMA 3をRAG向けリランカーへ転用する手法──従来比で精度最大21%向上
🔥🔥LLaMA 3 (8B) をLoRAと4-bit量子化でリランカーへ最適化し、RAGパイプラインにおける回答正確性を従来手法比で21%向上させた。
LLMの点字翻訳能力を検証──韓国語点字で既存モデルは軒並み低精度、小規模モデルのSFTが有効
🔥🔥主要LLMは点字の双方向翻訳で不安定な出力を示し人間との評価乖離が顕著だが、T5-smallを用いた教師あり微調整でSacreBLEU等の指標が大幅に改善した。
高次元空間の性質を利用する高速なIndexer-TopKカーネル「LiteTopK」──GLM-5.2で1.2倍の高速化を実現
🔥🔥高次元ベクトルの距離集中性を利用してクエリのスコア範囲を動的に推定し、メモリI/Oを削減することで、既存のSparse Attentionカーネル比でプリフィル処理を1.2倍高速化した。
線形AttentionのKVキャッシュを回転行列で制御する手法SFDA──循環的記憶学習で精度向上
🔥🔥線形Attentionの固定状態を複素回転行列で拡張し、既存のKDA比で循環的記憶の保持能力を大幅に高めた手法を提案。