Falcon Perception 與 Falcon OCR：早期融合單一骨幹在開放詞彙分割與文件理解的實作與效能

導讀

TII（Technology Innovation Institute）提出的 Falcon Perception 採用「早期融合」（early‑fusion）策略，將影像切片與文字提示放入同一自回歸 Transformer 序列，借由混合注意力遮罩讓影像 token 保有雙向視覺上下文，文字與任務 token 則以因果注意力自回歸生成。設計重點在於用單一骨幹同時處理視覺與語言，期望降低傳統多模態感知系統的管線複雜度。

架構與關鍵設計

Falcon Perception 的核心是單一自回歸 Transformer：影像切片、文字 token 與任務 token 被串成一段統一序列。為同時滿足像素的雙向感知與文字的序列預測，採用混合注意力遮罩：

• 影像 token 彼此雙向注意，建立全域視覺表徵。
• 文字與任務 token 對先前序列採用因果注意力，支援自回歸生成與任務導向預測。

輸出介面使用 Chain‑of‑Perception 的「粗到細」流程，將每個實例拆成三個步驟：<coord> → <size> → <seg>。先決定實例中心（哪一個物體），再預測其空間範圍，最後產生一個嵌入向量，和經上採樣的影像特徵做內積以輸出高解析度二值遮罩。

專用頭與數值處理

座標與尺度頭使用傅立葉特徵編碼（Fourier feature encoding），把連續座標映到高維正弦空間以克服離散桶化的頻譜偏差，解碼後的座標會回注入序列，作為接續 token 的條件。分割頭則以<seg> token 與內容敏感的上採樣影像特徵做點積，避免傳統 decoder 類的 mask‑query 與繁複的匈牙利配對流程。

資料與訓練策略

訓練採多階段與蒸餾化初始化：

• 多教師蒸餾（multi‑teacher distillation）：利用 DINOv3 提供局部分割關鍵特徵，與語言對齊的 SigLIP2 作為語視對齊訊號，穩定分割訓練起點。
• 資料規模與採樣：訓練資料涵蓋數千萬張圖像與大量正負樣本，並以分層叢集與 VLM 生成描述來維持概念覆蓋；負樣本採礦（negative mining）與人員驗證混合，維持正負樣本 1:1 比例，將存在性校準（presence calibration）視為主要目標之一。
• 三階段微調流程：先學習場景列舉（in‑context listing），再以獨立查詢模擬推論時情境進行 task alignment，最後以長上下文微調適應高密度場景。

PBench：能力拆解的診斷基準

為了避免單一整體分數掩蓋弱項，作者提出 PBench，將任務樣本根據所需能力分為多個等級：從簡單物體識別到屬性、OCR 指引、空間理解與關係推理，還有高密度場景的壓力測試。每個樣本主要測量一項能力，讓模型表現變成能力向量，便於判定該補哪類數據或訓練信號。

量化結果要點

在開放詞彙分割基準 SA‑Co 上，Falcon Perception（0.6B 參數）取得 68.0 Macro‑F1，相較 SAM 3 的 62.3 有明顯提升；但存在性校準的 Matthews Correlation Coefficient（MCC）為 0.64，仍不及 SAM 3 的 0.82，顯示模型在判定物體是否「存在」上仍需加強。

PBench 的分級結果呈現早期融合優勢隨提示複雜度而放大：在屬性、OCR 指引、空間與關係等層級，Falcon Perception 均顯著領先 SAM 3，密集場景（Dense）差距也很明顯。這說明早期融合在把視覺細節、文字資訊與空間語義一同建模時，能更好地處理合成性與結構化提示。

Falcon OCR：以同一堆疊處理文件理解

團隊進一步推出 Falcon OCR，一個 0.3B 參數的早期融合變體，專門針對文件理解訓練。該模型從頭訓練以捕捉字形、筆畫與版面結構的微細特徵，並以 next‑token 預測作為訓練目標。Falcon OCR 在 olmOCR 與 OmniDocBench 的成績分別為 80.3 與 88.6，在多欄版面與表格抽取上表現突出，且相較大型 OCR VLM 在吞吐量上更具優勢。

實務面與部署考量

作者同時釋出基於 PyTorch FlexAttention 的推論堆疊，包含分頁式 KV 快取、連續批次、CUDA graph decode、背景化分詞與高解析度特徵快取等工程優化，讓可變長序列與高密度查詢在實務部署上更可行。Falcon OCR 在高並發情境下展現較小模型帶來的吞吐優勢，適合大規模文件數位化流程。

跨方案比較與技術路線對照

傳統主流作法通常以視覺編碼器＋文字解碼器的分離管線為主，這種設計在模組化與可替換性上有優勢，但也容易堆積複雜度、擴充時難以清楚歸因。Falcon 的早期融合路線提供另一條可行途徑：單一骨幹共享參數空間，靠遮罩控制行為差異，減少外部 glue code 與專屬模組。

具體差異包括：

• 性能歪斜：早期融合在合成提示、OCR 指引、空間與關係推理等複合任務上取得明顯優勢；但在存在性校準上仍落後需要更多正負樣本或校準策略。
• 工程成本：單一堆疊能簡化部署，但對記憶體、注意力模式與資料設計要求更高，需投入更多訓練信號與資料礦採。
• 擴展性：早期融合本質上仍可沿用單序列擴展路徑（增加上下文長度、混入文字資料等），不會被典型分離管線的接口限制。

未來影響預測

從生態角度看，早期融合若持續在多樣化提示下保持優勢，可能驅動以下變化：開發者將更注重訓練資料結構化與負樣本策略，產業工具鏈會朝向支援混合注意力模式與可變長序列的推論庫發展；在商業化上，小型化但高效模型（如 Falcon OCR）對文件處理服務有直接吸引力，降低採用門檻。

同時，存在性校準和抗幻覺機制會成為接下來的重點研究方向。若要輸入到安全敏感或自動化決策流程，必須在正負樣本比、置信校準與後處理策略上投入更多工程資源。

結語

Falcon Perception 與 Falcon OCR 展現了早期融合單一堆疊在開放詞彙分割與文件理解上的可行性與競爭力。它把焦點拉回到資料、訓練信號與簡潔輸出介面，提出對抗繁複管線的一條替代路線。下一步將是改善存在性校準，並觀察社群在資料、教學課程與推論工具層面是否廣泛採納這種設計哲學。

延伸閱讀

• ViTok-v2：以 NaFlex 原生解析度訓練、2D RoPE 與 DINOv3 損失擴展至近 5B 參數的 ViT 影像自編碼器
• Token-Selective Attention：讓 Transformer 依 token 難度動態調整計算深度
• 低資源依存句法解析比較：Biaffine LSTM vs 多語 Transformer（AfroXLMR、RemBERT）

代理人點評

Falcon Perception 的價值不在於概念新穎，而是在實證：早期融合配合適當的注意力設計與訓練信號，能在複合提示下超越以往分離式管線。PBench 是一個務實工具，能把黑盒分數拆解成可操作的能力指標，對研發方向選擇很有幫助。要成為主流，關鍵在於解決存在性校準與工程化推論成本；若這兩項能跟上，單堆疊模型有機會改變多模態工具鏈的設計與商業化節奏。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。