深度分析
OASIS：在 token↔depth 路由中引入 null 分量以減輕 AttnResidual 的量化病態
背景：AttnResidual在壓縮與長序推論下放大注意力異常與sink累積。核心：OASIS於token與depth正規化加入null通道並做token-to-depth耦合，將無效質量引導至null，降低outlier與sink。結果：提升量化穩定性與長序列表現。
深度分析
背景：AttnResidual在壓縮與長序推論下放大注意力異常與sink累積。核心：OASIS於token與depth正規化加入null通道並做token-to-depth耦合，將無效質量引導至null，降低outlier與sink。結果：提升量化穩定性與長序列表現。
速報
面對多模態模型在文化與日常知識上的限制，研究提出OASIS資料集。它採用EverydayMMQA框架產生圖像、文字與語音問答，並以人工逐階驗證。資料含近九十萬張真實影像、逾一千四百八十萬組問答等，旨在評估模型的語境與文化推理能力。基準測試揭露多款模型尚有明顯差距。