深度分析
LoRe:以每步預算與狀態驅動動態路由,擴展圖形疊代解算器的推理規模
面對大尺度圖形疊代求解的記憶體與延遲瓶頸,本文提出LoRe:在每步強制互動評估預算,動態路由計算到高衝突或高不確定互動,並以輕量回補維持全局影響,實驗顯示在MIS與TSP上能大幅減少記憶體與加速推理。在多項實驗中保持解品質同時顯著降低記憶體與時間成本。
深度分析
面對大尺度圖形疊代求解的記憶體與延遲瓶頸,本文提出LoRe:在每步強制互動評估預算,動態路由計算到高衝突或高不確定互動,並以輕量回補維持全局影響,實驗顯示在MIS與TSP上能大幅減少記憶體與加速推理。在多項實驗中保持解品質同時顯著降低記憶體與時間成本。
深度分析
這篇論文提出 Token-Selective Attention(TSA),在每個 transformer 區塊之間加入輕量路由器,為每個 token 產生連續的停用機率,軟性地對殘差更新做門控。方法僅增加約 1.7% 參數,不需離散抽樣或強化學習,訓練時保持可微分,推論時可轉為稀疏執行以節省實際耗時。