混合 SSM 注意力

深度分析

Holotron-12B：基於 Nemotron 的混合 SSM＋注意力，提升代理型多模態吞吐與穩定性

研究團隊推出Holotron-12B，基於NVIDIANemotron後訓，定位為電腦使用代理的生產化部署。模型結合混合狀態空間模型與注意力機制，藉由降低KV快取記憶體與線性化序列處理，擴展多影像與長上下文推論效率。基準測試顯示推論吞吐與代理任務表現更顯著提升。