多流殘差混合

速報

受限流形超連結（mHC）導入 SSM：實驗驗證語言模型品質提升

研究探討將受限流形超連結（mHC）應用於狀態空間模型（SSM）語言建模。做法包括將殘差流擴展成多平行流，透過Sinkhorn-Knopp做單純形預混與後混，並在每層施加雙重隨機矩陣投影。結果在WikiText-2上顯示驗證損失與困惑度皆改善，代價是推論吞吐略降且記憶占用增加。