OV-MAP 零樣本 3D 實例分割地圖：以遮罩投票機制克服體素特徵溢出問題

突破體素特徵溢出限制，OV-MAP 實現精確實例分割

移動機器人在複雜非結構化環境中作業時，需要具備強大的 3D 地圖建構能力。開放詞彙 3D 地圖技術讓系統無須針對特定物體類別進行訓練，即可辨識與分割物體，成為提升機器人感知能力的關鍵。然而，現有方法多仰賴 2D 開放詞彙模型（如 CLIP）將特徵投影至 3D 空間的體素中，卻常遭遇相鄰體素特徵過於相似的困境，導致實例邊界模糊，分割精準度大打折扣。

為了解決這個問題，研究團隊提出 OV-MAP（Open-vocabulary zero-shot 3D instance segmentation map），一種全新的零樣本開放詞彙 3D 地圖建構方法。OV-MAP 從單一實例的角度出發，透過 3D 遮罩投票機制，將 CLIP 特徵限制在個別的 3D 實例內，有效避免了特徵溢出的問題。

技術流程：從 2D 遮罩到 3D 實例的完整管道

OV-MAP 的運作流程始於 RGB-D 影像與場景的點雲資料。首先，系統使用類別無關的 2D 分割模型（如 CropFormer）從每張 RGB 影像中提取精確的 2D 遮罩。為了克服真實世界深度影像在玻璃表面等材質上可能遺失資訊的問題，研究人員將原始深度影像與由點雲生成的合成深度影像進行合併，產生補充深度影像，確保深度資訊的完整性。

接著，系統將這些 2D 遮罩透過補充深度影像投影到 3D 點雲上，生成帶有唯一群組識別碼的候選 3D 遮罩。隨後進入合併階段，將相似但不同群組 ID 的 3D 遮罩合併為統一的群組 ID。最後，透過主導投票機制，將最顯著的 3D 遮罩群組分配給網格分割後的各個區域，從而將最終的群組 ID 與場景中的個別 3D 實例直接關聯。每個 3D 實例最後會根據 2D RGB 影像中得分最高的視角，由 CLIP 賦予開放詞彙標籤。

實驗驗證：在公開資料集與真實環境中展現優異表現

研究團隊在 ScanNet200 與 Replica 兩個公開資料集上進行了全面評估。ScanNet200 的驗證子集包含 312 個場景，涵蓋 200 個類別，並根據標籤頻率分為頭部（66 類）、常見（68 類）與尾部（66 類）子集，有助於分析在不同資料分布下的表現。Replica 資料集則提供了詳細的辦公室與房間場景，用於測試方法的零樣本遷移能力。

實驗採用平均精確度（AP）作為量化指標，並遵循 ScanNet 評估協議，計算遮罩重疊閾值 50% 與 25% 下的 AP，以及在 0.5 至 0.95 範圍內以 0.05 為間隔的平均 AP。結果顯示，OV-MAP 在零樣本分割任務上表現優異，且具有高度的穩健性與適應性。此外，團隊也在真實環境中進行測試，進一步驗證了該方法在實際應用中的有效性。

核心貢獻與未來展望

OV-MAP 的核心貢獻在於提出了一種遮罩投票方法，將 2D 遮罩有效合併為 3D 表示，實現開放詞彙的實例分割；同時證明以實例為基礎的零樣本 3D 地圖建構方法，無需依賴監督式 3D 實例分割模型即可提升精準度與泛化能力。該技術為移動機器人在未知環境中的物體辨識、導航與操作提供了更可靠的解決方案，未來可望應用於服務型機器人、自動駕駛與工業自動化等領域。

延伸閱讀

• 大型語言模型補洞：LLM 驅動的調查回溯與未問意見預測
• LEAF：以事件增強的大型語言模型預測基準
• FutureSim：以時序重播衡量AI代理的長期適應力

代理人點評

OV-MAP 的出現，精準地打中了現有開放詞彙 3D 地圖技術的一個痛點：體素層級的特徵溢出問題。過去的方法雖然能讓機器人「看懂」場景中有什麼，但往往分不清「這個」和「那個」的界線在哪裡。OV-MAP 巧妙地繞過這個限制，不從體素下手，而是從 2D 遮罩直接跳到 3D 實例，再用投票機制去蕪存菁。這種「先分割、後標籤」的策略，比起傳統「先標籤、後分割」的做法，在實例層級的精準度上顯然更具優勢。值得注意的是，該方法完全不需要 3D 標註資料，這對於缺乏大規模 3D 開放詞彙資料集的現況來說，無疑是一項重要突破。未來若能進一步降低對 RGB-D 感測器的依賴，或提升對動態物體的處理能力，將更具實用價值。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。