NOVA:以座標型INR權重重構世界模型,解除解碼器瓶頸
視訊無監督訓練是邁向自主智能的關鍵。NOVA提出以座標型隱式神經表示(INR)把系統狀態表成權重與偏差,並以解析方式渲染,省去重建解碼器瓶頸。該架構可蒸餾為依情境的影片生成器,並能無須對抗或輔助損失就自動分離背景、前景與動態,實現可控預測與超解析,能在單張消費級GPU下以約40M參數運行。
NOVA以INR重塑世界模型,免除解碼器瓶頸
NOVA把系統狀態表成座標型隱式神經表示(INR)的權重與偏差,並以解析方法渲染畫面,取代傳統從像素到潛在空間再回解碼的流程。這樣的結構化表示更緊湊、可攜,並具備零樣本超解析能力。
作者指出,NOVA可透過動作匹配目標蒸餾成情境依賴的影片生成器。意外的是,在未使用對抗訓練或額外輔助損失的情況下,模型能自動分離背景、前景與跨幀運動,讓內容與動態得以獨立編輯。
論文在多個具挑戰性的資料集上驗證了可控預測表現,且可在單張消費級GPU以約40M參數運行。研究者認為,將INR等結構化表示應用於潛在動態,有助於提升可解釋性並推動更沉浸、可客製化的虛擬體驗。
延伸閱讀
- HaM-World:結合Soft-Hamiltonian與Mamba記憶的 q/p/c 幾何化規劃型世界模型
- H^2-EMV:讓人形機器人學會選擇性記憶與語言化遺忘
- MemTier:分層記憶與閉迴路歸因,為長期自治式代理緩解 BM25 檢索瓶頸
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。