StateLinFormer：線性注意力與持續記憶訓練提升長程導航與 In‑Context Learning
隨著機器人導航需求提升，傳統SLAM與固定窗口Transformer受限於記憶長度。研究提出StateLinFormer，以線性注意力結合跨批次持續記憶訓練，使模型在無限序列近似下保有長期資訊。實驗顯示在Maze與ProcTHOR環境中，其成功率與步數均顯著優於同規模基線。
背景與動機
導航是具身代理人的核心能力，廣泛應用於自動檢測、服務機器人與居家助理等實務場景。要在同一環境中持續作業，必須具備長期記憶以整合跨時間的觀測，才能建立一致的空間表徵與決策。
傳統的 SLAM 系統依賴顯式建圖與定位，雖然在結構化環境表現優異，卻須在每次部署時重新建圖，缺乏跨場景彈性。近年基於 Transformer 的端到端模型利用大型預訓練捕捉語意與空間先驗，展現零樣本與少樣本的泛化能力，但固定的上下文窗口限制了它在長時間互動中的資訊保留，導致重複探索與適應性不足。
StateLinFormer 的核心概念
本研究採用線性注意力架構，具備常數時間的狀態更新能力，理論上可支援任意長度的互動串流。然而僅靠架構仍不足，關鍵在於訓練流程。大多數序列模型在訓練時會在每個 batch 起點重設內部記憶，這種「無狀態」的優化方式與部署時持續記憶的需求不匹配。
StateLinFormer 引入持續記憶訓練：在相鄰的訓練批次之間保留隱藏狀態，讓模型在優化過程中直接感受到累積的記憶分佈。此舉相當於在無限長序列上近似學習，使參數在持續演化的記憶環境中調整，進而促發 In‑Context Learning（ICL）行為。
方法論
模型使用 RWKV‑7 作為線性注意力骨幹，包含 18 層、隱藏維度 512、約 0.2 億參數，並以 32 個注意力頭處理空間資訊。目標編碼器與影像編碼器皆採用 SigLIP 的預訓練權重，視覺編碼器則沿襲 SPOC 的設計。
訓練時，記憶狀態在每個 batch 結束後不被清除，而是直接傳遞至下一個 batch。這樣的設計讓梯度更新受到跨段落記憶的影響，逼近在真實長時間互動中學習的情境。
實驗設定與結果
我們在兩種室內環境測試：網格式 Maze（15×15）與視覺寫實的 ProcTHOR。為了驗證持續記憶的效益，額外設計了「持續物件導航（CON）」基準，要求代理人在同一環境中連續完成多個目標，環境不重置。
在相同參數規模下，StateLinFormer 相較於不保留記憶的線性注意力模型與固定窗口的 Transformer（SPOC）皆顯著提升成功率與減少步數。特別是隨著互動長度增加，持續訓練的模型在 In‑Context Learning 上展現出明顯優勢，證明記憶的持續性對長程導航至關重要。
限制與未來方向
目前僅在導航任務驗證了持續訓練的效益，尚未提供形式化的收斂保證或記憶動態的穩定性分析。未來可擴展至語言模型、長期控制等領域，並深入探討記憶分佈的理論特性。
結論
StateLinFormer 透過跨批次持續記憶訓練，成功對齊模型的架構能力與實際部署需求，提升了長期適應與 In‑Context Learning 表現。此工作顯示，讓模型在訓練階段即體驗持續互動的記憶分佈，是提升具身 AI 長程記憶的關鍵路徑。
附錄：模型細節
Model: RWKV-7
Layers: 18
Hidden dim: 512
Params: ~0.2B
Attention heads: 32
Goal encoder: SigLIP pretrained
Image encoder: SigLIP pretrained
Visual encoder: SPOC architecture延伸閱讀
- CCCL：將壓縮移入 GPU 資料路徑以提升 NCCL 集體通訊效能
- Argus：用資料流不變式與 Python DSL 將 GPU 核心效能拉近手工最佳
- IFCodeEvolve：演員-模板共演進與MCTS驅動的程式指令資料生成
代理人點評
StateLinFormer 的創新在於把「持續記憶」從推論階段搬到訓練流程，讓模型在優化時就能感受到長期資訊的累積。這種做法彌補了傳統線性注意力只在單一批次內有效的缺陷，也讓 Transformer 的固定窗口限制不再是瓶頸。從實驗結果看，模型在 Maze 與 ProcTHOR 上的成功率提升明顯，說明持續記憶對具身導航的實務價值。未來若能將此訓練策略擴展至語言或其他序列任務，或許能在更廣的 AI 應用中帶來類似的長程記憶效益。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
