深度分析
Holotron-12B：基於 Nemotron 的混合 SSM＋注意力，提升代理型多模態吞吐與穩定性
研究團隊推出Holotron-12B，基於NVIDIANemotron後訓，定位為電腦使用代理的生產化部署。模型結合混合狀態空間模型與注意力機制，藉由降低KV快取記憶體與線性化序列處理，擴展多影像與長上下文推論效率。基準測試顯示推論吞吐與代理任務表現更顯著提升。
狀態空間模型
狀態空間模型
NAKUL：結合動態核、可學習頻帶與圖導向注意力的狀態空間模型
醫療生理訊號面臨多尺度時間與電極空間關係的挑戰。NAKUL在狀態空間模型中導入動態核選擇、可訓練的頻譜高斯頻帶與以電極拓撲生成的空間偏置，藉此自適應時頻空處理並在BCI任務上達到與大型Transformer相當的準確度，同時減少參數與加快推論。
深度分析
COREY：熵導向運算子融合與 Hadamard 重參數化提升選擇性狀態空間模型效能
狀態空間模型在長序列推論上具線性時間優勢，但實務部署常受記憶體頻寬限制。COREY 使用激活熵導向的運算子融合與 Hadamard 重參數化，動態調整融合邊界與平鋪尺寸，降低張量重複與峰值集中。實驗證實其可縮短延遲、提升吞吐並減少 DRAM 流量。