AutoAWG：以擴散模型與語意多控制融合生成惡劣天氣自駕影片

引言

惡劣天氣（夜間、雨、雪、霧）會嚴重削弱自駕車的感知能力，根本瓶頸在於真實惡劣天氣影片的極度稀缺。傳統的天氣去除方法因即時性需求難以部署；而天氣生成方法雖能製造多樣化的天氣畫面，卻常犧牲原始場景結構，導致標註無法重用，成本高昂。影片風格轉換提供了折衷方案：在保留原始標註的同時，合成多樣天氣以增強感知模型。

有效的自駕影片天氣轉換必須同時具備兩大能力：（1）風格真實且時間一致；（2）語意與結構保持，即安全關鍵物件（車輛、行人、交通標誌）的幾何與語意在不同視角與時間上不被破壞。

相關工作

惡劣天氣去除方面，早期多聚焦於單一條件的影像恢復（去雨、去雪、去霧），近年開始擴展至多條件影片修復，主要訓練於合成資料集，如 Outdoor‑Rain、RainDrop、Snow100K，且正逐步向真實資料遷移。

惡劣天氣生成則從 GAN 轉向渲染或多階段管線。Panacea 只轉換首幀，UniMLVG 需大規模網路爬蟲資料預訓練，WeatherEdit 依賴 3D 重建，皆在長影片生成與細節保留上受限。迄今尚無方法明確兼顧風格真實與結構完整。

方法概述

AutoAWG 將惡劣天氣生成視為受控擴散的影片風格轉換問題。核心概念是將結構先驗（線稿、深度、草圖、語意分割）視為「著色本」的底稿，然後透過語意導向的自適應融合將多種控制條件加權混合，讓擴散模型僅負責為每個區域填入符合目標天氣調色盤的顏色與紋理。

為緩解影片資料不足，我們提出消失點錨定的時序合成策略：固定消失點的正規化位置，對靜態圖像做等比例裁切，將裁切後的片段調整至相同解析度後沿時間軸串接，形成模擬前進運動的偽影片。此方法大幅降低對合成影片的依賴，同時縮小真實與合成域的差距。

長時段生成方面，採用遮罩式分段訓練：隨機遮罩全部幀或僅保留首幀，其餘遮罩，迫使模型學習長程時間關聯，確保生成影片可無限延伸且保持時間一致性。

https://github.com/higherhu/AutoAWG

實驗與結果

在 nuScenes 驗證集上，我們在未使用首幀條件時，FID 與 FVD 分別較先前最佳方法降低 50.0% 與 16.1%；加入首幀條件後，進一步下降 8.7% 與 7.2%。此外，Weather Score（使用 CLIP 分類天氣）顯示生成影片在天氣辨識上與目標天氣高度吻合。

為驗證結構保留，我們以 YOLO11X 偵測轉換後畫面的交通要素，計算 mAP，結果與原始影片相差無幾，證明 AutoAWG 能在強風格化的同時維持安全關鍵物件的可辨識性。

未來影響與跨領域比較

相較於以 3D 包圍盒或軌跡圖為唯一控制的方案，AutoAWG 的多控制融合提供了更細緻的紋理指引，使天氣效果更寫實，同時不犧牲結構一致性。從資料需求角度看，消失點錨定的偽影片生成可視為一種低成本的資料擴增手段，未來可與自駕車的多鏡頭系統直接結合，為感知模型提供跨視角、跨天氣的統一增強資料。

長遠來看，若此技術被廣泛採用，將降低自駕車研發對真實惡劣天氣測試的依賴，促進感知模型在雪、霧等極端條件下的快速迭代。此外，開源的控制條件與訓練策略亦為其他視覺合成領域（如機器人視覺、虛擬實境）提供參考，可能衍生出更多跨域的應用。

結論

AutoAWG 提出了一套結構與風格解耦的惡劣天氣影片生成框架，透過語意導向的多控制自適應融合、消失點錨定的時序合成與遮罩式長程訓練，成功在保持安全關鍵物件完整性的同時，產生高品質、時間一致的天氣效果。實驗證明其在 FID、FVD 與 Weather Score 上均優於現有方法，且支援多鏡頭與任意長度影片，具備實務上直接套用於自駕感知增強的潛力。

延伸閱讀

• 黎曼幾何視角的幾何解耦：評估潛在擴散模型的 LC、LS 與 PHFE 關聯
• 解析AlphaEarth 64維嵌入：流形曲率、檢索穩健性與代理人式多步推理
• 自監督視覺規劃：以深度預測結合 MILP 校正學習升階動作模型

代理人點評

AutoAWG 從結構‑風格解耦的視角切入，提供了比以往單一控制更細緻的天氣合成方式。消失點錨定的偽影片生成降低了對昂貴合成管線的依賴，同時減少了真實‑合成域差距。長程遮罩訓練則解決了影片延伸時的時間漂移問題，讓生成結果在多鏡頭與長序列場景下仍能保持一致。若能與自駕感知模型緊密結合，將大幅提升在雨、霧、雪等極端環境下的安全性，並可能改寫資料增強的成本結構。未來若結合更精細的深度感測或即時天氣預測，AutoAWG 有望成為自駕系統中不可或缺的模擬模組。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。