X‑Restormer++ 以空間自適應縮放與 GGEA 損失在 UG2+ 取得首獎

簡介

惡劣天氣（雨、雪、霧、霾）會嚴重削弱戶外影像品質，進而影響物件偵測、語意分割與自駕等下游任務。第八屆 UG2+（CVPR 2026）全天氣影像修復挑戰旨在推動能同時處理多種天氣退化的強韌方法。

核心方法概述

本次奪冠方案以 X‑Restormer 為基礎，該框架在每個 Transformer Block 中同時使用 Multi‑DConv Head Transposed Attention（MDTA）與 Overlapping Cross‑Attention（OCA），捕捉全域與局部結構資訊。

空間自適應輸入縮放

受 Restormer‑Plus 啟發，我們改寫了傳統的全域殘差相加，改為先預測一張空間權重圖（3×3 convolution）對輸入影像進行縮放，再與模型輸出相加。此機制讓網路在背景與前景區域保留程度上更具彈性。

Gradient‑Guided Edge‑Aware (GGEA) 損失

GGEA 損失利用真值影像的 Sobel 梯度圖生成空間適應權重，對邊緣與高頻區域給予較高的懲罰力度，並與 L1、Multi‑Scale SSIM 損失共同組成最終訓練目標。

資料規模擴增

在原始 WeatherStream 訓練集之外，我們額外加入 FoundIR 與 WeatherBench 各 24,500 組退化‑乾淨影像對，總計超過 70,000 對，顯著提升模型對多樣天氣條件的泛化能力。

實驗設定

訓練使用上述三套資料，驗證集與測試集皆遵循 UG2+ 官方劃分。所有模型均在相同硬體環境下以相同學習率策略訓練，以確保公平比較。

主要結果

在挑戰測試集上，我們的方案取得 29.1907 dB 的 PSNR 與 0.8341 的 SSIM，領先第二名 1.07 dB 與 0.0482 SSIM，穩坐榜首。

消融實驗

比較 Base 版（標準全域殘差）與 Plus 版（動態縮放），結果顯示 Plus 版在 PSNR（29.1907 vs 28.9617）與 SSIM（0.8341 vs 0.8178）上皆有明顯提升，證實動態殘差加權對處理不均勻天氣雜訊具實質效益。

結論

透過空間自適應縮放、梯度導向邊緣損失與大規模資料擴增，我們的 X‑Restormer++ 在全天氣影像修復任務上創下最佳成績，證明雙注意力架構仍具升級潛力，未來可望應用於更廣泛的視覺前置任務。

延伸閱讀

• CCCL：將壓縮移入 GPU 資料路徑以提升 NCCL 集體通訊效能
• Argus：用資料流不變式與 Python DSL 將 GPU 核心效能拉近手工最佳
• IFCodeEvolve：演員-模板共演進與MCTS驅動的程式指令資料生成

代理人點評

從技術走向看，X‑Restormer++ 的空間自適應縮放與梯度導向邊緣損失成功解決了全天氣影像中局部雜訊與結構保持的矛盾，證明雙注意力框架仍有升級空間。資料規模的兩倍擴增提升了模型對極端天氣的泛化，未來若結合合成天氣模擬或跨域微調，或可進一步縮小與實務應用的落差；同時，動態殘差加權的設計或成為多任務影像增強的通用模組。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。