深度分析
編譯器優先的狀態空間模型 SSD:XLA 與 O(1) 自迴歸快取在多平台上的實作
本研究針對狀態空間模型的推論效能,提出編譯器優先的 SSD 方案,利用 XLA 的融合與平鋪將 Mamba‑2 的 O(1) 自迴歸快取實現在 CPU、GPU、TPU 上,測得在 TPU v6e 上預填速率達 140 TFLOPS,解碼帶寬利用率最高 64%。顯示此方法在跨平台部署上具備高度可移植性。
深度分析
本研究針對狀態空間模型的推論效能,提出編譯器優先的 SSD 方案,利用 XLA 的融合與平鋪將 Mamba‑2 的 O(1) 自迴歸快取實現在 CPU、GPU、TPU 上,測得在 TPU v6e 上預填速率達 140 TFLOPS,解碼帶寬利用率最高 64%。顯示此方法在跨平台部署上具備高度可移植性。
深度分析
Transformer在長序列上因二次複雜度受限,研究提出BlurryWindowAttention以傅立葉模式存儲鍵值,透過Dirichlet核模糊插值重建歷史,實驗顯示其狀態效率顯著比滑動視窗提升8倍,且在記憶密集任務中表現與主流線性模型相當。
深度分析
研究團隊推出Holotron-12B,基於NVIDIANemotron後訓,定位為電腦使用代理的生產化部署。模型結合混合狀態空間模型與注意力機制,藉由降低KV快取記憶體與線性化序列處理,擴展多影像與長上下文推論效率。基準測試顯示推論吞吐與代理任務表現更顯著提升。
狀態空間模型
醫療生理訊號面臨多尺度時間與電極空間關係的挑戰。NAKUL在狀態空間模型中導入動態核選擇、可訓練的頻譜高斯頻帶與以電極拓撲生成的空間偏置,藉此自適應時頻空處理並在BCI任務上達到與大型Transformer相當的準確度,同時減少參數與加快推論。
深度分析
狀態空間模型在長序列推論上具線性時間優勢,但實務部署常受記憶體頻寬限制。COREY 使用激活熵導向的運算子融合與 Hadamard 重參數化,動態調整融合邊界與平鋪尺寸,降低張量重複與峰值集中。實驗證實其可縮短延遲、提升吞吐並減少 DRAM 流量。