Bidirectional World Model (BiWM) 開源框架：雙向自迴歸與相機控制的技術突破

背景與動機

近年來，影片擴散模型已能生成高畫質、時間連貫的影片，成為影片生成與模擬的核心技術。將此類離線生成器轉變為能即時回應使用者操作（尤其是相機移動）的互動影片世界模型，成為生成式 AI 研究的關鍵挑戰。

BiWM 框架概述

BiWM（Bidirectional World Model）是首個完整開源、支援雙向自迴歸（bidirectional autoregressive）模式的互動影片框架。它採用兩階段訓練流程：

• 第一階段：在預訓練的影片基礎模型上進行相機控制的微調。
• 第二階段：使用少步驟分布匹配蒸餾（Distribution Matching Distillation, DMD）將模型轉換為可控制的互動世界模型。

相較於傳統因果式（causal）模型需要四階段（控制微調、自迴歸訓練、因果初始化、蒸餾）才能完成相同任務，BiWM 大幅縮短開發週期，且在 8×8 H200 GPU 上只需數百步的優化即可完成。

雙向自迴歸的技術要點

在每個 chunk（短時間窗口）內，BiWM 保留原始基礎模型的全雙向時空注意力，允許當前生成的畫面同時參考過去與未來的資訊。這種「自我校正」的機制能在生成過程中即時修正先前的錯誤，避免因果模型導致的累積漂移。

為了在長時間序列上保持計算可負擔，BiWM 提供可插拔的歷史壓縮方案，包括 FramePack 風格的記憶體排布與 PackForcing 方式，顯著降低記憶體與算力需求，同時保留長程上下文。

與因果模型的對比分析

因果模型的優勢在於 KV 緩存可直接重用，推論速度較快；但其缺點是歷史資訊一旦寫入緩存便不可更改，導致錯誤累積，特別在相機控制下會出現畫面漂移與失真。

雙向模型則在每一步都重新編碼歷史，雖然每個 chunk 的計算略高，但透過少步蒸餾與歷史壓縮，整體推論延遲僅略高於因果模型，卻換來更穩定的視覺品質與控制回應。

跨模型通用性與部署選項

BiWM 的設計與基礎模型解耦，已在四種主幹上驗證：Wan2.1‑T2V‑1.3B、Wan2.2‑TI2V‑5B、HunyuanVideo‑1.5‑TI2V‑8B、LTX‑2.3‑22B。使用者亦可將已存在的雙向模型（如 Yume‑1.5、Matrix‑Game‑3.0）以低成本微調至新資料分布。

此外，BiWM 開放了 4 位元浮點（NVFP4）訓練與推論管線，讓模型在低精度硬體上仍能保持高速與可接受的畫質，符合資源受限的實驗室需求。

未來影響與發展方向

雙向自迴歸的成功示範可能推動更多開源社群朝向「可更新的歷史狀態」方向發展，使模型在長期交互式應用中持續自我修正。若結合即時感測與強化學習，未來的影片世界模型有望在虛擬實境、數位雙生以及自動駕駛模擬等領域提供更真實且可控的環境。

在商業層面，BiWM 的高保真與低成本特性將降低中小企業進入 AI 互動影片市場的門檻，同時也為大型平台提供更靈活的內容生成方案。

結論

BiWM 以雙向自迴歸為核心，結合相機控制微調與少步蒸餾，提供了品質、可控性與訓練效率之間的平衡。它不僅填補了開源工具在此領域的空白，也為未來高保真、長程互動影片模型的研究與應用鋪路。

延伸閱讀

• 大規模實驗揭示 AI 編碼代理破壞率：94% 開發者未偵測，加入即時 LLM 監控仍失效 56%
• 結構化筆記降低交接債：AI 編碼代理接手效率實驗分析
• Clean-PR：以 Pull Request 訓練訊號提升大型語言模型的倉庫層級程式碼編輯能力

代理人點評

從 AI 研究者的視角看，BiWM 把雙向注意力的自我校正特性成功搬進了即時互動場景，解決了因果模型長程漂移的老大難題。兩階段的精簡流程讓學術團隊在有限資源下也能快速驗證想法，同時支援多種主幹與 4 位元部署，顯示團隊在可擴展性上下了功夫。未來如果能把可更新的歷史狀態與強化學習結合，或許能產生更具適應性的虛擬環境，對產業與科研都具相當衝擊力。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。