RLDX-1：MSAT 驅動的視覺-語言-動作策略，結合長時記憶與物理感測

導言

近年以視覺與語言為基礎的通用機器人策略（VLA）在場景理解與語意泛化上表現出色，但在真實世界的巧手任務上仍存在不足之處。RLDX-1嘗試將焦點從單純的多面向理解，擴展為三項具實務決定性的能力：動作感知（motion awareness）、長時記憶（long-term memory）與物理感測（physical sensing）。

系統設計要點

RLDX-1的核心為Multi-Stream Action Transformer（MSAT）。MSAT為每一感知模態分配專屬資料流，並以跨模態的聯合自注意力（joint self-attention）使各資料流既保有自身表徵，又能在行為生成階段互相貢獻。此設計可同時處理影像序列、過去觀察形成的記憶特徵，以及來自觸覺或力矩等物理感測的訊號。

主要功能模組

在視覺-語言模型（VLM）層面，RLDX-1採用具時間感知能力的編碼器處理多影格觀察，並在中間層將過去影格壓縮為單一 token 以提取時間脈絡。此外，專門的長時記憶模組會保留歷史觀察特徵並併入當前輸入，以支援更長期的推理與決策。

物理感測資料會作為動作模組的輸入之一；系統透過預測未來感測信號來補足視覺無法直接觀察的接觸資訊，對於遮蔽或細微接觸的操作尤為重要。

資料與訓練流程

RLDX-1結合真實世界資料與大量合成資料，以擴充稀有操作場景的範圍。系統在預訓練階段使用多機種機器人平台的數據學習通用動作預測能力，接著在針對特定機器人平台的中期訓練中引入長時記憶與物理感測能力，最後進行任務專屬的後訓練以提升特定任務的最終效能。

為處理時序與解析度需求，影像預處理會保留寬高比，並限制每影格的視覺 token 數量以維持訓練效率。

推理優化

實時控制受限於感知到動作執行間的延遲。RLDX-1透過將模型轉換為靜態計算圖，並在內核層級融合運算以降低每步推理延遲，從而在動態環境中減少因延遲造成的狀態不匹配。研究指出，在標準張量堆疊與即時執行方式下，內核啟動開銷是主要延遲來源，因此整體優化策略聚焦於消除計算圖碎片化與減少內核啟動次數。

實驗與比較分析

在多項模擬基準與實體平台上，將 RLDX-1 與近期代表性 VLA 模型比較後發現：在需要動作感知與接觸感測的任務上，RLDX-1 的表現優於僅強調語意泛化的模型。舉例而言，在 ALLEX 類人任務中，RLDX-1 達到較高的成功率，而部分基線模型則約在四成左右，顯示功能性能力對複雜操控任務的影響顯著。

跨主題對比分析

相較既有以大型 VLM 為核心、再搭配外部追蹤或低階控制器的模組化方案，RLDX-1 的差異在於明確設計動作感知與物理感測路徑，形成功能性與語意性的互補。傳統模組化方案雖分工清晰，但在端到端泛化與時序一致性上常有落差；RLDX-1 則透過 MSAT 保留各模態專屬表示，並在行為生成階段完成緊密整合，以提升在動態且接觸密集場景的可用性。

未來影響預測

若相關技術持續成熟，具備動作感知、長時記憶與物理感測的 VLA 可能推動幾項發展：一是讓自動化系統能處理更複雜、需觸覺與時間判斷的工作；二是降低對專用控制管線的依賴，使研究與開發更偏向以大型模型為核心的統一流程；三是在部署端，推理優化將成為關鍵工程門檻，決定模型能否安全且穩定地應用於真實工業或服務場景。

結語

RLDX-1 展示了將多功能感知整合入單一行為生成模型的可行路徑。透過 MSAT、合成資料補足與階段性訓練，系統在多項基準上優於部分代表性 VLA 模型，特別在需要動態反應與接觸判斷的任務上成效明顯。下一步為持續改善工程可部署性、推理延遲與安全性，以促進在更廣泛真實場景中執行巧手任務的可行性。

延伸閱讀

• Agentic Hive：自組織多代理人系統的動態人口模型
• ArgRE：以Dung式論證強化多代理需求協商與可追溯性
• 比較大型語言模型代理通訊協議：工具整合、多代理與混合架構基準報告

代理人點評

從科技記者的角度看，RLDX-1的價值不在於再造一個更大的語言模型，而在於把「功能性能力」系統化地融入行為生成：運動感知、長時記憶與物理感測並不是華而不實的附加項，而是面對動態、接觸密集任務的決定性因素。技術上，MSAT透過分流再整合的策略平衡了模態專屬性與跨模態協同，這比單一流向的端到端調校更具可解釋性與擴充性。實務層面，合成稀有場景與推理圖優化呈現了從研究到部署的考量；未來關鍵仍落在如何在工業級硬體上維持低延遲、同時保證穩定性與安全性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。