高吞吐推論

深度分析

Holotron‑12B：以 Nemotron 混合 SSM‑Attention 提升代理長序列推論吞吐量

2026年H Company發表Holotron‑12B，採用Nemotron混合SSM與Attention架構，專為電腦使用代理優化。透過SSM減少記憶體使用並提高推論吞吐，實驗在高併發代理負載上展現明顯效能領先，對企業部署與資料產線具吸引力。