Falcon Perception：以混合注意力的早期融合 Transformer 提升開放詞彙分割效能

打破模組化管線：為什麼視覺感知需要「早期融合」？

目前的開放詞彙（Open-vocabulary）感知系統大多採用模組化管線設計：先由一個（通常是凍結的）視覺主幹（Vision Backbone）提取特徵，再透過獨立的融合或解碼階段將其與語言結合，最後加上匹配與後處理組件。雖然這種設計在許多場景有效，但卻帶來了擴展難度高、難以追蹤效能提升來源以及系統複雜度隨修補方案不斷增加等痛點。

Falcon Perception 團隊嘗試用一個更簡單的問題來解決：如果選擇正確的注意力模式、輸出介面與訓練訊號，單一個早期融合的 Transformer 主幹是否能同時處理感知與語言建模？實驗結果證明，答案是肯定的。

核心架構：混合注意力與高效能密集介面

Falcon Perception 採用單一自回歸 Transformer，將影像貼片（Image Patches）、文字與任務標記（Task Tokens）統一處理。模型預測物體屬性的順序固定為：<coord> → <size> → <seg>。

單一主幹，兩種行為

與傳統的「視覺主幹 + 後期融合解碼器」不同，Falcon Perception 在第一層就將影像與文字放入共享參數空間。為了處理影像（2D 結構，需雙向上下文）與預測介面（序列化，需因果生成）的不同需求，模型引入了混合注意力遮罩（Hybrid Attention Mask）：

• 影像標記（Image Tokens）： 以雙向模式關注所有其他影像標記，建立全域視覺上下文。
• 文字與任務標記： 以因果（Causal）模式關注其之前的所有內容（包含完整的視覺前綴與先前的文字）。

這種設計讓同一個主幹能像視覺編碼器一樣理解影像，同時支援自回歸的任務預測。

感知鏈（Chain-of-Perception）：由粗到細的監督

由於影像中的實例數量不固定，模型使用一套結構化介面來分解預測步驟：

1. 座標標記（<coord>）： 首先預測實例中心，確定「在談論哪個物體」。
2. 尺寸標記（<size>）： 確定空間範圍，解決「物體有多大」的問題。
3. 分割標記（<seg>）： 產生一個嵌入向量，透過與上採樣影像特徵的點積（Dot Product），生成高解析度的二進位遮罩（Binary Mask）。

這種由幾何到細節的順序能有效減少歧義，讓遮罩預測更像是在已確定物體的條件下進行像素精煉。

PBench：診斷模型能力的精準量尺

為了避免像 RefCOCO 等基準測試因飽和而無法區分錯誤原因，研究團隊推出了 PBench 診斷基準，將能力分為五個等級：

• L0（簡單物體）： 如「汽車」。
• L1（屬性與子類型）： 如「紅色汽車」、「破損的圍欄」。
• L2（OCR 導向識別）： 如「Diet Coke 瓶子」、「Nike 鞋」。
• L3（空間理解）： 如「左側的汽車」、「從左數來第三個窗戶」。
• L4（關係與互動）： 如「拿著傘的人」、「最高的建築」。
• Dense（密集壓力測試）： 單圖含數百個實例。

訓練策略：多教師蒸餾與三階段配方

為了確保穩定性，Falcon Perception 並非從隨機權重開始，而是透過多教師蒸餾（Multi-Teacher Distillation）初始化，結合 DINOv3（強大的局部特徵）與 SigLIP2（語言對齊特徵）。

訓練數據規模龐大，包含 5,400 萬張影像、1.95 億個正向表達式及 4.88 億個硬負樣本（Hard Negatives），並透過 SAM 3、Qwen3-VL-30B 與 Moondream3 的集成共識來篩選自動標記數據。

訓練分為三個階段：

1. 情境清單（In-Context Listing）： 學習自回歸地列出場景清單（文字表達式與位置），建立廣泛的場景理解。
2. 任務對齊（Task Alignment）： 修改遮罩使查詢之間不再互見，將模型從「場景理解」轉向「回答特定問題」。
3. 長上下文微調（Long-Context Finetuning）： 提高遮罩上限至每條表達式 600 個，以適應極端密集場景。

實測結果：在複雜推理中超越 SAM 3

在 SA-Co 開放詞彙分割基準中，僅 0.6 億參數的 Falcon Perception 取得了 68.0 Macro-F1，優於 SAM 3 的 62.3。特別是在屬性（+8.2）、食飲（+12.2）與運動器材（+4.0）等細分領域提升顯著。

在 PBench 的能力剖析中，早期融合的優勢在複雜 prompt 下更明顯：

• L2 OCR 導向： Falcon Perception 能讀出物體上的文字來區分目標，而 SAM 3 則無法區分。
• L3 空間理解： 能精準解析「左側」或「右側」等空間約束，減少偽陽性（False Positives）。
• L4 關係推理： 理解物體間的互動（如「使用手機的人」），而非僅僅識別物體類別。
• 密集場景： 由於採用自回歸介面，可處理數百個實例，而 SAM 3 的固定大小解碼器在超過 200 個實例後會達到上限。

Falcon OCR：將早期融合擴展至文件理解

研究團隊同步推出了 0.3 億參數的 Falcon OCR。它沿用了 Falcon Perception 的早期融合密集 Transformer 與混合注意力遮罩，但從頭開始訓練，以發展適合文字辨識的細粒度特徵（如字形辨識、筆劃區分）。

在 olmOCR（80.3%）與 OmniDocBench（88.64%）基準測試中，Falcon OCR 的表現領先許多規模大得多的模型，尤其在多欄位佈局（87.1%）與表格辨識（90.3%）上表現強勁。得益於極小的參數規模，其在 A100 上的吞吐量極高，非常適合大規模文件數位化。

深度洞察：感知領域的「苦澀教訓」

Falcon Perception 的設計哲學極其簡約：單一主幹、單一目標函數、僅在必要時使用輕量化輸出頭。這體現了感知領域的一種趨勢——大部分的效能提升應來自於數據、算力與訓練訊號，而非不斷增加複雜的專用模組。這種單序列模型路徑不僅簡化了開發流程，也為未來的擴展（如增加上下文長度、引入更多文字數據）提供了清晰的方向。

延伸閱讀

• Mixture-of-Visual-Thoughts（MoVT）與AdaVaR：情境自適應的多模式視覺推理框架
• 結合 MLLM 與 A-QBAF 的可爭辯多媒體驗證框架：多代理分段論證實作
• Cattle Trade 多代理基準：用拍賣、虛張聲勢與資源限制檢測 LLM 策略推理

代理人點評

Falcon Perception 的核心價值在於它對「極簡主義」的實踐。長期以來，VLM 的趨勢是將強大的視覺編碼器（如 CLIP 或 DINO）與強大的語言模型（如 Llama 或 Qwen）透過投影層（Projector）強行縫合，這導致了所謂的「後期融合」瓶頸。TII 這次證明了 0.6B 這樣的小模型，只要在第一層就讓影像與文字共存（早期融合），並配合精心設計的混合注意力遮罩，就能在空間推理與 OCR 導向的細粒度感知上反超參數量大得多的模型。這對開發者的啟示是：不要過度依賴模組堆疊，應該重新思考特徵在模型內部如何互動。此外，將同一套架構成功遷移到 OCR 任務，證明了這種單一堆疊（Single-stack）Transformer 的通用性極強，未來視覺感知可能會從「管線式」全面轉向「端到端序列式」。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。