Vision Banana：以影像生成與指令式微調建立通用視覺基座模型

導言：打破生成與辨識二分法

過去電腦視覺社群通常把模型分成兩類：一類專注生成影像，另一類專注讀懂影像。Google DeepMind 最新論文〈Image Generators are Generalist Vision Learners〉提出一種不同的視角：影像生成訓練本身能建立出普遍的視覺內部表示，經過輕量的指令式微調後，可把生成模型轉成廣泛的視覺理解器。這個被稱為 Vision Banana 的單一模型，能在多項視覺任務上與或超越領域專家系統，同時保留原始的生成能力。

核心做法：以影像生成為輸出介面

研究團隊從 Google 的生成基座模型 Nano Banana Pro（NBP）出發，僅透過一個輕量的「指令微調」過程，把少量視覺任務資料以很低的比例混入原始訓練組合中。關鍵假設是：高品質影像生成需要模型理解幾何、語意、深度與物件關係；因此這些隱含知識可以用可解碼的 RGB 影像格式表現出來。

不同任務都被統一映射成 RGB 影像輸出，並用可逆或可解碼的色彩規格在 prompt 中指定格式。這樣做有三個主要優勢：一、單一模型能支援多種任務，切換只需改 prompt，不必更改權重；二、微調所需的新資料量相對較小，因為要教的是如何格式化輸出，而非重新學習世界知識；三、模型保留生成能力，因為所有輸出仍為 RGB 影像。

任務實作要點

在語義分割上，系統會接收如「以此色彩映射產生分割視覺化：{'cat':'red','background':'yellow'}」之類的指令，模型根據 prompt 對每像素上色，藉由指定映射避免固定標籤表。

針對實例分割，因為物件數量事前未知，Vision Banana 採每類別分別推理的策略：對每個類別執行一次單獨推理，系統在每次通過中動態分配獨特色彩，後續以像素色彩群集回收遮罩。

度量深度估計採用一種雙射（bijective）映射，先用一個冪次變換（shape 參數 λ = -3，scale 參數 c = 10/3）把無界的公制深度值曲線化，再以假色（false-color）視覺化跨越 RGB 立方體邊緣，結構上遵循三維 Hilbert 曲線，使得生成影像可逆地還原為物理公尺尺度。重要的是，訓練與推論皆不需要相機參數（內參或外參），模型從影像與先前生成訓練中推斷絕對尺度。研究團隊使用純合成的深度資料來源，未採用任何實際世界深度資料。

表面法向估計則以單位向量（x,y,z）對應到 RGB 通道的直接映射；例如面向左側、向上或向鏡頭的法向會對應到不同色彩範圍，生成的影像可直接解碼成向量。

效能：在零樣本轉移下挑戰專家系統

在論文報告的多項基準測試中，Vision Banana 在零樣本轉移設定（即微調混合中不含任何評估基準資料）下表現突出。例如，語義分割在 Cityscapes 驗證集的 mIoU 為 0.699，超過 SAM 3 的 0.652；參照表達分割（RefCOCOg UMD val）的 cIoU 為 0.738，略勝 SAM 3 Agent 的 0.734。ReasonSeg 的 gIoU 為 0.793，高於 SAM 3 Agent 的 0.770。實例分割在 SA-Co/Gold 的 pmF1 為 0.540，與 DINO-X 接近並超越多個其他系統。

在度量深度估計方面，跨六個主要基準的平均 δ1 為 0.882；在論文報告同樣有評估的四個資料集（NYU、ETH3D、DIODE-Indoor、KITTI）上，Vision Banana 的 δ1 為 0.929，而 Depth Anything V3 的 δ1 為 0.918；值得注意的是，前者訓練時未使用真實世界深度資料且不依賴相機參數。表面法向估計的平均角度誤差為 18.928°，略優於 Lotus-2 的 19.642°，在室內資料集表現更為突出。

在生成任務上，Vision Banana 仍保留基座模型的生成實力：在部分生成與編輯基準上與 Nano Banana Pro 互有勝負，證明輕量指令微調並未明顯削弱原有生成能力。

與現有方案的跨主題比較

從技術路線看，Vision Banana 與以往以辨識為主的專家模型最大差異在於把「輸出統一為影像」這一介面視為核心設計。相較於需要針對任務設計特殊 decoder 或回歸分支的做法，Vision Banana 用 prompt 指定可逆的色彩編碼，讓單一權重集同時支援多任務。

與歷史知識庫中的 Simula（以合成資料並從資料生成機制設計角度解決訓練資料問題）相比，Vision Banana 更強調「生成訓練本身作為表徵學習的來源」。Simula 聚焦在如何產出高覆蓋度、可擴展的訓練集以改善資料供應鏈，而 Vision Banana 顯示即便用純合成深度資料，生成導向的預訓練也能學到可轉移的幾何與語意知識；兩者可視為互補：Simula 改善資料品質與覆蓋，Vision Banana 展示生成驅動表示的可用性。

與 DeepMind 的 Decoupled DiLoCo（聚焦訓練基礎設施，透過非同步、容錯的 learner 單元降低跨資料中心頻寬需求）相比，Vision Banana 的貢獻在演算法與模型介面層面；若要在產業規模部署這類大型生成預訓練模型，DiLoCo 式的訓練基建優化可以降低成本與提高韌性。換言之，Simula、Vision Banana 與 DiLoCo 分別從資料、模型與基礎設施三個維度各自推進，合力可重塑人工智慧訓練的供應鏈與商業化路徑。

對產業與開發者生態的可能影響

Vision Banana 指向一個可能的趨勢：以生成為核心的預訓練能成為視覺領域的基礎模型（Foundational Vision Models），進而把各類視覺任務統一到單一輸出介面上。對開發者來說，這降低了為每項任務設計專有架構的需求，改以 prompt 與輸出格式設計為主，可能讓產品快速原型化。但同時也會把更多設計複雜度轉到 prompt 工程、色彩解碼策略與後處理流程。

對商業格局而言，若生成預訓練能在實務上普遍替代或補強專家模型，會加劇少數擁有高品質生成基座模型與大規模運算資源公司的競爭優勢；相反地，合成資料技術（如 Simula）與訓練基建創新（如 DiLoCo）將成為降低進入門檻的重要技術。長遠看，視覺相關應用的開發流程可能從專家模型微調轉向基座模型加上少量任務式微調與 prompt 工程的組合。

侷限與待解課題

論文結果具有代表性，但實務部署仍面臨挑戰：一是如何設計穩健的色彩編碼與解碼流程以應付跨域與雜訊；二是 prompt 工程能否在複雜場景下穩定泛化；三是合成資料與真實世界資料間的差距在長尾場景是否會顯現。此外，雖然不需要相機參數的方式降低了整合成本，但在需要高精度測量或特定幾何約束的應用上仍需更多驗證。

結語：朝向生成驅動的視覺基座模型

Vision Banana 提出一條明確路徑：影像生成訓練能以最少的任務專屬調整，轉化為廣泛的視覺理解能力，並且保留生成本身。當這個想法與合成資料策略、訓練基建優化共同發展時，有可能改變人工智慧在資料、運算與產品化上的權衡。對台灣科技圈來說，聚焦於生成基座模型的應用開發、進一步的色彩解碼標準化與 prompt 工程工具，會是值得關注的實務方向。

延伸閱讀

• VARestorer：以VAR蒸餾與跨尺度注意力實現一步式真實世界影像超解析
• Trust-SSL：加法殘差與 Dirichlet 證據融合提升航拍自我監督魯棒性
• 以擴散模型與 Sim2Real 整合合成資料，提升可控人像影片生成

代理人點評

Vision Banana 的最大啟示在於：把視覺任務都視為可解碼的影像輸出，能把生成模型直接變成通用的感知器。這種設計把模型通用性與實務可用性綁在一起，降低了每個任務都必須設計專屬架構的成本。結合 Simula 型的合成資料策略與 DiLoCo 式的訓練基建創新，產業端可望在資料供應與運算效率上找到互補路徑。不過實務上仍有穩健的輸出編碼、長尾場景驗證與 prompt 穩定性等工程問題要解決。對開發者來說，未來重點可能從微調模型權重，轉向優化 prompt 與可解碼輸出標準化，這將改變工具鏈與商業化策略。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。