深度分析
Subquadratic SSA:以內容導向稀疏注意力挑戰注意力二次方瓶頸
一個邁阿密新創宣稱用一種稱為 SSA 的稀疏注意力架構,把注意力計算從二次方複雜度降為線性。該法以內容導向選取重要標記、避免全域比對,並在長文脈檢索與程式碼任務上報告大幅速率與成本優勢。若獲第三方驗證,將改變企業處理長脈資料的成本結構與系統設計。
深度分析
一個邁阿密新創宣稱用一種稱為 SSA 的稀疏注意力架構,把注意力計算從二次方複雜度降為線性。該法以內容導向選取重要標記、避免全域比對,並在長文脈檢索與程式碼任務上報告大幅速率與成本優勢。若獲第三方驗證,將改變企業處理長脈資料的成本結構與系統設計。
深度分析
Subquadratic宣布具備12百萬標記的超大上下文視窗,代表模型能在單次輸入中處理遠超過常規長度的文本。這種做法可能減少對分段、檢索輔助的依賴,並改寫長篇推理、程式碼分析與多文件協同的應用設計。但更長的視窗也會帶來推理成本、延遲與部署複雜度的挑戰。