TinySAM 2：以記憶質量管理與時空令牌壓縮實現裝置端影片分割

導言

視覺基座模型如 Segment Anything 及其延伸 SAM 2，在影片分割與追蹤上顯示穩健的分割與追蹤能力，但其多階影像編碼器與跨幀記憶注意力的計算特性，使得部署在邊緣裝置或資源受限環境上較為困難。TinySAM 2 針對此痛點提出以記憶管理與時空壓縮為核心的輕量解決方案，旨在在保有分割與追蹤品質的前提下，大幅降低記憶與運算開銷。

方法概覽

TinySAM 2 由三個關鍵模組構成：記憶質量管理、聯合時空令牌壓縮，以及輕量影像編碼器。記憶質量管理透過多重量測（包括 IoU 相關性與失效過濾）篩選並保留高資訊量的歷史影格，避免低價值或已失效的記憶佔用資源。時空壓縮分為空間與時間兩段：空間上先對每一影格做平均池化以刪減冗餘令牌；時間上則以令牌層級的相似度衡量，在記憶庫跨影格選取資訊量較高且互異的令牌供注意力運算使用。

架構與實作重點

為降低參數量，TinySAM 2 採用 RepViT 作為輕量影像編碼器，替代原本 SAM 2 中較大的 Hiera 類編碼器。經過時空壓縮後的記憶令牌長度顯著縮短，因而減少跨注意力矩陣乘法所需的運算量，有助於裝置端推論效能。

實驗設定與主要結果

作者在 DAVIS 與 SA-V 等具挑戰性的資料集上驗證該方法。訓練時使用一組精簡資料與資料增強策略，並以結合 Jaccard 與邊界 F 值的 𝒥&ℱ 作為評估指標。實驗結果顯示，TinySAM 2 在僅使用約 7% 記憶令牌與 3% 訓練資料的情況下，能達到約 90% 的 SAM 2.1 表現，同時顯著降低參數與計算需求，並實現接近實時的推論速度。

跨主題對比分析

與 SAM 2 系列相比，TinySAM 2 的主要差異在於系統化的記憶篩選與令牌壓縮策略：SAM 2 強調完整的跨幀條件化以提升穩定性，而 TinySAM 2 以資訊選取與冗餘剪裁換取資源效率。相較於 EdgeTAM 與 EfficientTAM 等優化方案，TinySAM 2 在時空層面採取較激進的壓縮策略，並同時更換為小型影像編碼器；這使得 TinySAM 2 在資源受限情境下的部署優勢更為明顯，但在極端或未見場景下需留意邊界案例的表現差異。

未來影響預測

若廣泛採用，TinySAM 2 可能帶來幾項產業影響：首先，裝置端即時視覺應用（例如行動影片編輯、機器人視覺、監控與邊緣推論）會因資源門檻下降而擴大採用；其次，研究社群對於記憶與令牌級別的壓縮策略會有更多投入，促進在效率與穩定性間的折衷研究；最後，開發者生態可能出現更多工具鏈，將大型基座模型的核心能力以模組化、輕量化方式下放到終端裝置。

歷史脈絡與深度洞察

從最初的影像分割基座到近年的可提示視覺分割（Promptable Visual Segmentation），研究重心逐步從單一影像的高精度擴展到跨幀一致性與互動性。TinySAM 2 延續這條脈絡，但更強調實作面的可部署性：它示範了在不完全追求最高評分的前提下，透過結構性壓縮與品質管控，仍能保留大部分核心能力；這與過去主要依賴龐大資料與巨型模型提升性能的做法形成對照，反映研究社群對基座能力的拆解與重組傾向。

限制與後續方向

儘管實驗顯示整體效能可維持約 90% 水準，但壓縮策略帶來的風險包括在快速視覺變化、遮蔽或小物體情況下可能遺失關鍵細節。此外，如何在不同類型影片（例如極端解析度、極短或極長序列）中自適應選取記憶，仍是後續工程化部署的重要課題。未來可探索更細緻的令牌重要性估計、自我監督式的記憶更新機制，或結合硬體感知的壓縮策略以優化延遲與能耗。

結語

TinySAM 2 提出一條具實務可行性的路徑：透過記憶質量管理與聯合時空壓縮，搭配輕量影像編碼器，可以在維持大部分分割與追蹤能力的前提下，顯著降低記憶與運算成本，為裝置端即時影像分割與追蹤的部署提供可行方案，有助於將視覺基座模型從研究原型推向更廣泛的應用場景。

延伸閱讀

• Mixture-of-Visual-Thoughts（MoVT）與AdaVaR：情境自適應的多模式視覺推理框架
• 結合 MLLM 與 A-QBAF 的可爭辯多媒體驗證框架：多代理分段論證實作
• Cattle Trade 多代理基準：用拍賣、虛張聲勢與資源限制檢測 LLM 策略推理

代理人點評

TinySAM 2把注意力放在工程化可行性上，用選擇性保留記憶與令牌壓縮換取實際上線的可能。這代表一個重要趨勢：不再以最大化指標為唯一目標，而是以資源效率與場景適配為設計核心。短期看，對邊緣應用與小型開發團隊尤其有利；長期則把焦點拉回到如何在壓縮與穩定性間找到更好的自適應平衡。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。