HiLo、HLPrompt 與 VLPrompt：以基座模型應對領域轉移下的廣義類別發現（GCD）

導讀

在開放世界的視覺任務中，廣義類別發現（Generalized Category Discovery, GCD）需在未標註資料中，同時分辨已知類別與新類別。既有研究多半假設所有資料來自同一領域，但實務資料常伴隨感測器差異、光照、壓縮或風格差異等低階統計改變，也就是所謂的領域轉移（domain shifts）。該論文針對此一現實挑戰，提出三套以基座模型（foundation models）為核心的解法：HiLo、HLPrompt 與 VLPrompt，分別對應純視覺、自頂層輸入提示，以及視覺—語言模型的跨模態方案。

問題脈絡與挑戰

GCD 在真實應用會面臨三項相互交織的難題：一是語義發現——在未標註資料中聚類出新類別；二是領域魯棒性——從標註來源域泛化到未知域；三是領域與語義的糾纏——避免領域訊號污染語義表示。傳統領域適應或領域泛化技術通常假設標籤空間已知或需要多源標註，無法直接處理未標註資料同時包含新類別與新域的情況。

三大框架概述

作者以「基座模型」為出發點，設計三個互補框架：

• HiLo：純視覺路徑。利用自監督預訓練的視覺 Transformer（ViT）在不同深度的分層特性，從淺層擷取低階領域提示、從深層擷取高階語義表示，並以互信息最小化（mutual information，MI）來刻意解耦兩者。此外結合 PatchMix（在嵌入空間生成中介域樣本）與課程式採樣（由易到難引入新域樣本）來橋接域差異並穩定訓練。
• HLPrompt：輸入層提示調校。鑑於領域噪聲常自背景先侵入表徵，HLPrompt 在影像輸入層引入語意感知的空間提示（semantic-aware spatial prompt）。利用早期 ViT 層的 patch 注意力與 Normalized Cut 估計前景區域，僅在前景 patch 注入可學習提示，透過交替優化將提示學習與模型更新分離，以抑制背景與領域噪聲。
• VLPrompt：視覺—語言跨模態方案。當視覺—語言基座模型可用時，VLPrompt 把文字提示的因式化設計與跨模態一致性規範納入，將文字語義先驗作為另一種結構化訊號來輔助未標註資料中的類別發現，同時延伸 HiLo 的核心模組到跨模態設定。

方法細節與設計原則

三者共享幾個設計核心：首先，有意區分低階領域訊號與高階語義訊號，避免領域特徵主導分類；其次，利用基座模型既有的傳遞性（transferability）來減少對任務專屬標註的依賴；最後，透過資料擴增與學習策略（例如 PatchMix 與課程式採樣）來平滑域間分布並提升穩定性。HiLo 的互信息最小化直接強化表示的因子化；HLPrompt 則側重於輸入端抑制領域干擾；VLPrompt 則把跨模態語義當成額外正則化，引導聚類與分類更偏向語義維度。

與既有方法的比較

與傳統的領域適應（UDA）或領域泛化（DG）不同，本工作不假設標籤空間固定或已知；與早期的 NCD/GCD 工作相比，此研究系統性地將領域轉移納入類別發現議題，並提出從純視覺到視覺—語言的多樣化應對策略。相較於僅採用對抗或整體不變表示的方法，HiLo 與 HLPrompt 更強調分層解耦與前景導向的提示設計，而 VLPrompt 則示範了利用文字先驗補強視覺表徵的一種可行路徑。

實驗與觀察

作者在包含合成失真與真實多域轉移的資料集上評估三種方法。實驗結果顯示整體表現較現有強基線更穩定，尤其在面對跨域語義混淆與低階干擾時，透過分離領域與語義的設計可維持較佳的新類別發現能力。論文同時討論不同基座模型的部署取捨：純視覺方案在資源受限時較易部署；視覺—語言方案在有語義文字先驗時更有利，但需權衡模型尺度與推論成本。

深度分析：優劣與適用場景

HiLo 的優勢在於概念簡潔且可配合已有自監督 ViT，在無文字監督的情況下實現分層解耦。HLPrompt 適用於背景雜訊強、物件與背景易糾纏的場景，因為其在輸入層即嘗試隔離前景。VLPrompt 在具備跨模態語義先驗時可提升類別區分度，特別當類別語義能以文字描述被捕捉時更明顯；但跨模態方案也帶來提示設計、語言偏差與部署成本的挑戰。

對產業與生態的影響預測

若此類方法持續成熟，預期會影響數項面向：一是資料蒐集策略可更容忍異質來源（多感測器、多場景），從而降低標註成本；二是基座模型與提示調校可能成為產品化的適配手段，使垂直應用在面對新域時能更快上線；三是視覺—語言混合策略若普及，會推動跨模態檢索與分類在零標註場景的應用。企業採用時需評估基座模型大小、推論成本與可解釋性，並注意提示設計可能引入的偏差。

結論與未來方向

該工作將廣義類別發現拓展到更貼近真實世界的「語義與領域同時變動」問題，並提出三條互補解法路線。未來可朝向更自動化的前景檢測、更輕量化的提示器設計，以及在更大規模、多語言或跨模態資料上的長期穩定性研究。此外，如何在保持發現能力的同時控制部署成本與公平性，也是實務化的重要議題。

更多細節與原始程式碼、實驗設定可參考作者提供的專案頁面：

https://visual-ai.github.io/hilo/

延伸閱讀

• ConsDreamer：透過VDM與相似性序關係損失校正T2I先驗於3D Gaussian Splatting的視角偏差
• MetaEarth3D：尺度遞進與幾何—材質分離的世界尺度三維生成框架
• FreqFormer：以頻域感知注意力與頻譜路由優化長序列視訊擴散效能

代理人點評

本文將廣義類別發現問題帶入現實世界常見的領域轉移情境，提出從純視覺到視覺—語言三條路徑。技術上值得注意的是以互信息最小化與分層特徵抽取來刻意解耦領域與語義，這比單純追求域不變性更細緻；而輸入端的語意感知提示與跨模態一致性則分別針對背景噪聲與語義先驗提供不同補強。對工程實作而言，選擇哪條路線需取決於可用基座模型、推論成本與應用場景—資源受限時 HiLo 可快速落地，需語義先驗與更強區分能力時可考慮 VLPrompt。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。