PLOT:以最佳傳輸定位神經網路中的因果變數
因果抽象嘗試把高階因果模型與神經網路的低階運算對齊,但事前不知道哪些神經位點能作為介入句柄,逐一搜尋代價高。本文提出PLOT(Progressive Localization via Optimal Transport),以最佳傳輸配對抽象變數與候選神經位點,產生全域軟性對應並校準為可用的介入句柄。
PLOT:以最佳傳輸定位神經網路中的因果變數
因果抽象要把高階因果模型對齊到神經網路的低階運算,但事先不知道哪個神經位點能被當作介入句柄,逐一搜尋成本很高。PLOT採用最佳傳輸,將抽象變數與候選神經位點擬合成一個全域軟性對應,並校準為可操作的介入句柄。
在簡單場景下,對個別神經元做一次配對已足夠;在較大模型裡,PLOT採漸進式定位,先從粗粒度支援(例如 token、時間步、層級)開始,再縮小到座標群組或主成分子空間等細粒度。僅以傳輸的PLOT在速度與準確度間表現競爭;若以PLOT導引DAS,則能在顯著降低搜尋負擔的同時,達到與原始DAS相近的準確度,成為可擴展的因果抽象定位工具。
延伸閱讀
- NOVA:以座標型INR權重重構世界模型,解除解碼器瓶頸
- HaM-World:結合Soft-Hamiltonian與Mamba記憶的 q/p/c 幾何化規劃型世界模型
- H^2-EMV:讓人形機器人學會選擇性記憶與語言化遺忘
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。