OmniDreams：即時生成式世界模型提升自駕車政策評估

自駕車在長尾情境的安全評估仍是主要挑戰，傳統閉環模擬因受限於初始資料，難以呈現極端天氣或不預測的動態行為。

OmniDreams 生成式世界模型

研究團隊以 Cosmos 擴散模型為視覺先驗，並在 21,000 小時的駕駛情境上進行中後訓練，開發出 OmniDreams。該模型能即時自回歸產生以當前動作條件的寫實感感測影片，並根據過去畫面與模擬器狀態調整輸出。

系統整合與效能

OmniDreams 與 Alpamayo 1 政策模型及 AlpaSim 編排器結合，形成高度回應的閉環環境，提供可擴展的訓練與評估平台。初步測試顯示，從 OmniDreams 後訓練的世界‑動作模型（WAM）在 Physical AI 自駕車 NuRec 資料集上，以僅 1/5 參數量超越 VLA 為基礎的 Alpamayo 1.5 研究模型，證明即時世界模型亦可作為政策架構的骨幹。

延伸閱讀

• GeoSAM-3D：利用單目 Gaussian Splatting 與圖形測地熱核實現即時 3D 分割
• FLORO：以 MAE 與可用性感知構建的多模態地理空間基礎模型，強化跨感測器與跨尺度轉移能力
• EMO：以文件邊界促成語義導向的 Mixture-of-Experts（MoE）模組化

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。