概念導向即時分割（CG-ICS）提升系統穩定性與精準度

研究背景

即時分割（In‑Context Segmentation, ICS）要求模型在不調整參數的前提下，僅憑少量參考影像與遮罩，即可在查詢影像上分割目標區域。過往研究多聚焦於提升準確度，卻少檢視模型在不同參考組合下的穩定性。

概念導向即時分割（CG-ICS）概念

CG-ICS 以高階語意概念取代純粹的低階視覺匹配。系統包含兩條路徑：

• 概念推理模組：使用多模態大型語言模型（MLLM）產生概念候選，透過 SAM3 驅動的評分函數與樹狀搜尋精煉可靠概念。
• 視覺範例路徑：以簡易上下文構建方式，將參考影像的空間資訊直接提供查詢端作為定位基礎。

文字概念與視覺範例共同激活凍結的 SAM3 主幹，完成最終分割。

實驗結果

在標準 ICS 基準測試中，CG-ICS 不僅刷新了準確度最高紀錄，同時顯著降低了因參考圖不同而產生的結果變異，證明其在穩定性上的優勢。

延伸閱讀

• 多教師蒸餾 TheProfessor 提升 CLIP 系列模型在領域轉移任務的效能
• Pocket‑Dentist：緊湊多模態視覺語言模型與LoRA微調在牙科影像的在地推論與效率評測
• CIVIC：以路徑一致性端到端序列緊湊化降低 VLM 的 KV-cache 與延遲

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。