Remote SAMsing：以多通行自適應門檻與無參數合併，將 SAM2 擴展至大尺度遙測影像分割

導言

遙測影像的物體導向分析（Object-Based Image Analysis）仰賴分割作為前置步驟，但高解析度航照與衛星影像跨尺度、跨譜段與地形類型多樣，為每種場景訓練專屬模型代價高昂。近年興起的基礎模型，如 SAM2，展示了在自然影像上的零樣本分割能力，但直接套用到大尺度遙測場景時，會遭遇兩個根本問題：遮罩產生器在品質與覆蓋率間的取捨，以及為了配合模型固定輸入尺寸所需的切片操作導致的物體斷裂。

Remote SAMsing 概觀

Remote SAMsing 是一個開源流程，目標在不修改 SAM2 架構、也不需場景標註資料的前提下，解決上述兩個問題。它的核心由兩部分組成：

• 覆蓋控制：使用多通行（multi-pass）的自適應門檻演算法，第一輪以嚴格門檻擷取高品質遮罩；每輪將已分割像素標記為已處理（填黑），讓殘餘場景逐步簡化；當覆蓋增益停滯時再逐步放寬門檻，確保先擷取到的遮罩品質較高。
• 空間一致性：對切片採用上下文填充（contextual padding），並以無參數的最佳比對合併策略（基於 Union-Find）來恢復跨切片被切斷的物件，達成線性時間的全域一致標記。

方法細節

多通行自適應分割

流程對每個切片執行多輪 SAM2 的自動遮罩生成（AMG）。第一輪採用 k×k 的密集點網格與最嚴格的接受門檻 τ_start，取得最可靠的遮罩。每輪結束後，將已被接受的像素填黑，然後在殘餘區域重新放置點位（保留原有密度但剔除落在已分割區的點），並以相同門檻重跑。當覆蓋率增益低於某一停滯門檻 ε 時，才把門檻以固定步長 Δ 下調，繼續下一輪。迴圈在達成預設覆蓋、門檻耗盡或到達最大輪次時終止。

Algorithm 1 Multi-pass adaptive segmentation (per tile)
Input: tile image I, thresholds τ_start and τ_end, decay Δ, stagnation ε, target coverage
1: τ ← τ_start
2: Run SAM2 on I with k×k point grid at τ; assign labels
3: repeat
4: Paint segmented pixels black in I
5: Place prompts on residual areas
6: Run SAM2 at τ; accept and assign new masks
7: if coverage gain 

為避免遮罩中的非連通區塊造成誤判，系統會把 SAM2 產出的遮罩拆成連通元件逐一評估，丟棄過小的元件或與既有遮罩重疊比例過高的片段。

跨切片合併與一致性

切片邊界附近的分割品質透過上下文填充改善，保留鄰接區域資訊以利 SAM2 在邊緣形成完整遮罩。合併時採用無參數的最佳比對策略，透過區塊間遮罩相似度尋找最佳搭配，並以 Union-Find 將邊界碎片合併成一致的標籤映射。該過程對於記憶體需求近乎恆定，能處理任意大的影像馬賽克化情況。

實驗設計與資料

評估橫跨七個場景，包含三種解析度（從 5 公分到 4.78 公尺）、兩種光譜組成（RGB 與 MNF 偽彩）、以及都市與農業等不同地表類型。主要資料集包括 ISPRS Potsdam（5 cm）、Brasília 航照（24 cm）與 Agri-BR（Planet 衛星、4.78 m）。實驗比較單次 SAM2、SAM2 的內建多尺度機制（crop_n_layers）與 Remote SAMsing 的整體流程，並以覆蓋率、Det@0.5 與邊界 IoU（BIoU）等指標量化結果。

主要結果

在多場景實驗中，單次嚴格門檻的 SAM2 覆蓋率約為 30–68%，即使採用較寬鬆門檻也僅能達到 77–93%。導入 Remote SAMsing 後，覆蓋率普遍提高至 91–98%。消融研究顯示，自適應門檻衰減為覆蓋提升的主要驅動因素之一，而填黑殘餘區塊（blackout）則可提供約 4–11 個百分點的額外提升。但高覆蓋亦有代價：在較大切片尺寸下，晚期放寬門檻可能產生跨物件的巨型遮罩，進而降低 Det@0.5。

切片大小在此流程中扮演隱含的尺度參數角色：將切片由 1000 調整為 250，可在某些城市場景顯著提高物件檢測率（例如 Det@0.5 從 56% 提升至 85%），效果超過 SAM2 內建的多尺度機制。但對於地景單一、物體尺度過大或過於一致的農業場景，過小的切片會導致合併後出現過度鏈接的巨型段，反而降低邊界精度。實驗指出最適切片大小依賴場景，需在覆蓋、檢測率與邊界精確度間權衡。

與既有方法的比較

與傳統影像分割演算法（例如 SLIC、Felzenszwalb）相比，Remote SAMsing 在建築與車輛等離散物件的邊界精細度上具明顯優勢；在建築分割上 Det@0.5 可達 95%，車輛則介於 82–93%（依場景而異）。此外，與僅做預設切片且不具覆蓋優化的 SamGeo2 相比，Remote SAMsing 在覆蓋率上可帶來從 6–27% 的提升至九成以上。

深度分析與歷史脈絡

在遙測領域，長期以來分割方法多仰賴場景特化模型或基於圖割與超像素的經典方法。基礎模型（foundation models）提供了一條不同路徑：以巨量預訓練獲得通用表徵，嘗試用單一模型面對多樣影像來源。Remote SAMsing 的價值在於，它證明了不改動基礎模型本體、僅靠輸入端與後處理設計，就能顯著擴展 SAM2 對大尺度遙測影像的適用性，與過去需複雜微調或大量人工 prompt 的做法形成對比。

跨主題對比分析

與微調專屬模型相比，Remote SAMsing 的優勢是部署快速且無需標註；缺點是仍受限於原模型的感受野與內部固定解析度，需靠切片策略與合併技巧彌補。相較於基於物件偵測再分割的流程（先偵測再分割），本流程以遮罩生成為核心，可在邊界精細度上取得優勢；但在密集小物體情境下，若切片設計不佳仍會出現碎片化或合併錯誤。

未來影響預測

Remote SAMsing 指出一條實用的過渡路徑：在基礎模型日益成熟的背景下，工程層面的流程設計（多通行簡化、門檻自適應、無參數合併）即可將零樣本模型推向生產級的遙測分割任務。對產業而言，這可能降低新場景上線的門檻，讓非標註驅動的分割成為常態；對開發者生態，則可能促成更多以流程與資料工程為核心的工具，而非僅靠模型微調。然而，運算成本、切片參數選擇與不同譜段的穩健性仍為實務採用時的關鍵議題。

限制與未來工作

研究指出幾項限制：自適應放寬門檻雖提高覆蓋，但晚期產生的巨型遮罩可能破壞物件可分性；切片尺度需針對場景調整；某些譜組（例如非 RGB 的偽彩）雖展示良好遷移，但廣泛通用性仍需更多驗證。未來可探索基於場景自動選擇切片尺度、結合弱監督微調以提升小物體檢測，以及在合併策略中引入更多語義或形狀先驗以避免過度鏈結。

結論

Remote SAMsing 提供一套務實且可擴展的方案，將 SAM2 的零樣本分割能力以工程化方式應用到大尺度遙測影像，解決了覆蓋與跨切片一致性兩大痛點。實驗顯示在多種解析度與譜組上均能顯著提升覆蓋率並保有良好邊界精度，但在切片尺寸與門檻調整上仍需場景化的權衡。整體而言，這種由流程驅動而非修改模型本體的做法，為遙測分割走向更廣泛的產業應用提供了可行路徑。

延伸閱讀

• ELIQ 無標籤框架：以多模態大型語言模型提升 AI 生成影像品質與提示對齊評估
• ViCrop-Det：利用空間注意力熵提升小目標偵測效能的訓練免除方法
• AIFIND 框架：語義錨點與視覺—文字對齊抑制增量遺忘

代理人點評

Remote SAMsing 的價值不在於改模型，而在於工程化地彌補基礎模型在大尺度遙測上的缺口。透過黑遮罩與門檻自適應的多通行策略，能先保留高品質遮罩，再逐步填補不足區域；上下文填充與最佳比對合併則處理切片邊界問題。這種以流程為中心的思路，對急需快速部署而又缺乏場景標註的應用場景尤其實用。不過，效益高度依賴切片尺度與影像特性，且在晚期放寬門檻時仍會面臨大型跨物件合併的品質退化，實務上需在覆蓋率、檢測率與邊界精確度間做明確取捨。未來若能結合場景自適應參數選擇或少量弱標註微調，將可進一步縮小這些折衷。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。