深度分析
Subquadratic 推出 1,200 萬標記上下文視窗:擴展長文本推理能力
Subquadratic宣布具備12百萬標記的超大上下文視窗,代表模型能在單次輸入中處理遠超過常規長度的文本。這種做法可能減少對分段、檢索輔助的依賴,並改寫長篇推理、程式碼分析與多文件協同的應用設計。但更長的視窗也會帶來推理成本、延遲與部署複雜度的挑戰。
深度分析
Subquadratic宣布具備12百萬標記的超大上下文視窗,代表模型能在單次輸入中處理遠超過常規長度的文本。這種做法可能減少對分段、檢索輔助的依賴,並改寫長篇推理、程式碼分析與多文件協同的應用設計。但更長的視窗也會帶來推理成本、延遲與部署複雜度的挑戰。
速報
研究團隊檢驗大型語言模型的上下文視窗效用。研究提出最大有效上下文視窗(MECW)定義,並設計跨長度與題型的測試方法,以及統一比較模型在放大上下文時的效能表現。結果顯示MECW顯著小於官方宣稱的最大上下文,且會隨題型變動,導致準確度與幻覺率出現顯著差異。