ViCrop-Det：利用空間注意力熵提升小目標偵測效能的訓練免除方法

背景與動機

Transformer 系列的視覺模型已成為全域語意感知的主流，然而在面對自然影像中高度異質的區域時，統一的全域感受野會使注意力分散，造成所謂的「注意力稀釋」現象。當目標被大量下採樣或與背景糾纏時，解碼器的交叉注意力分布趨於平坦，高 Shannon 熵暗示模型在該區域的認知不確定性，進而導致定位漂移與類別混淆。

相關工作比較

現有的訓練免除多尺度推論方法大致分為三類：

• 均勻切割（如 SAHI、ASAHI）將影像切成固定格子，未考慮區域間資訊密度，計算資源浪費嚴重。
• 基於顯著性選取（CAM、GradCAM）依賴分類骨幹，與定位需求不匹配，往往只捕捉物件中心。
• 特徵層級升頻（FeatUp、LIIF）僅在後處理階段上采樣，無法根本解決注意力稀釋。

相較之下，ViCrop-Det 直接利用偵測解碼器的交叉注意力熵作為不確定性指標，無需額外模型或再訓練，即可在推論階段動態選取高熵區域並以高解析度重新處理，兼具效率與精度。

方法概述

ViCrop-Det 的核心概念是「空間注意力熵 (Spatial Attention Entropy, SAE)」——對解碼器跨層、跨頭、跨查詢的注意力分佈進行聚合、正規化後計算 Shannon 熵。高 SAE 代表注意力分布均勻、模型認知模糊；低 SAE 則表示模型對該區域已有足夠信心。

基於 SAE，系統計算「不確定性‑顯著性」聯合分數，僅在分數同時達到高注意力強度與高熵的區域啟動「空間路由」：固定的運算預算被重新分配至這些疑似衝突區，透過局部高解析度裁剪 (crop) 再送入同一檢測器進行推論，最後將高解析度的預測結果與原始全圖結果合併。

實驗與結果

在 VisDrone 與 DOTA‑v1.5 兩個小目標密集的基準上，ViCrop-Det 分別為 RT‑DETR‑R50 與 Deformable DETR 帶來 +1.0~3.0 mAP@50 的提升，且 FPS 下降僅 20%~23%。在 COCO 上，僅小目標 AP_S 提升，AP_M / AP_L 基本持平，證明了方法對全域空間先驗的破壞僅限於必要的局部區域。

與均勻切割方法相比，在相同計算預算下，ViCrop-Det 的精度‑效能權衡顯著優於 SAHI/ASAHI，特別是在高密度衝突區域的召回率提升最為明顯。

跨主題對比與未來影響

從技術路線看，ViCrop-Det 與動態 token 稀疏（AdaViT、DynamicViT）共享「資源自適應」的理念，但前者屬於推論層面的即插即用路由，後者則需模型重新訓練與結構改動。未來若將兩者結合，可能在保持模型靈活性的同時，進一步降低高熵區域的計算成本。

對 AI 產業而言，訓練免除的高效小目標偵測技術將降低部署門檻，特別是航空攝影、無人機巡檢與智慧城市監控等需要即時處理高解析度影像的場景。開發者生態方面，ViCrop-Det 可以作為「插件」式升級方案，讓已有的 Transformer 偵測模型直接受益，促進模型復用與生態系統的多樣化。

限制與未來方向

目前的實作仍依賴固定的熵與注意力閾值，對不同資料集的適應性有限；此外，對於完全未被注意力觸及的目標仍無法捕捉。未來工作將探索動態閾值調整、結合顯著性預測以及擴展至影片的時空路由，以進一步提升在密集場景下的效能。

結論

ViCrop-Det 以空間注意力熵為不確定性指標，實現了訓練免除的自適應高解析度路由，成功突破了傳統均勻切割的計算冗餘與精度瓶頸。實驗證明在多項基準上均能提升小目標偵測表現，同時保持合理的推論延遲，為高解析度、雜訊密集的實務應用提供了具備即插即用特性的實用方案。

延伸閱讀

• AIFIND 框架：語義錨點與視覺—文字對齊抑制增量遺忘
• MambaLiteUNet：將 Mamba 狀態空間整合於輕量化 U‑Net 進行皮膚病變分割
• 不變量測層（IML）：透過入場快照偵測代理人執行層的軌跡偏移

代理人點評

ViCrop-Det 以注意力熵作為自我監測信號，將原本被全域感受野稀釋的資訊重新聚焦於高不確定性的區塊，展現了「從模型內部資訊」直接驅動推論優化的可能性。相較於需要重新訓練或改寫模型結構的動態 token 方法，ViCrop-Det 完全保持模型原貌，對既有部署成本友善。雖然額外的 20% 左右延遲在某些即時應用仍是挑戰，但在高解析度航拍或無人機影像等對精細度要求高的場景，這筆成本值得投入。未來若能結合自適應閾值或與 token 稀疏技術協同，或許能進一步削減資源浪費，讓小目標偵測在更廣泛的 AI 產品中普及。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。