注意力 sink

深度分析

OASIS：在 token↔depth 路由中引入 null 分量以減輕 AttnResidual 的量化病態

背景：AttnResidual在壓縮與長序推論下放大注意力異常與sink累積。核心：OASIS於token與depth正規化加入null通道並做token-to-depth耦合，將無效質量引導至null，降低outlier與sink。結果：提升量化穩定性與長序列表現。