為 VLA 模型優化的 ActQuant：矩陣位元分配、尺度優化及 OmniModel.cpp 工具鏈

導言

隨著視覺‑語言‑動作（VLA）模型成為通用機器人操作的主流方案，它們把視覺、語言映射到低階動作的能力顯著提升，但同時帶來沉重的記憶體與計算需求。像是大型語言骨幹配合視覺編碼器會佔用數十 GB 的權重記憶體，遠超出常見邊緣加速器的統一記憶體預算。因此，把模型壓縮到次 4-bit 是邊緣部署的自然選擇，但既有後訓量化技術在該區間常會造成任務成功率大幅下降。

問題切入與設計原則

研究指出，VLA 類模型的量化挑戰來自兩個面向：一是動作生成對特徵的敏感度，二是量化誤差會在閉環執行中累積並推進系統進入校準集未覆蓋的狀態。傳統為語言模型設計的量化指標（如僅用 LM 損失衡量）對 VLA 不夠適切，因為 VLA 在動作輸出端有第二條監督途徑。

基於此，ActQuant 遵循兩項硬體友善的原則：位元分配要以「對動作的貢獻度」為準，並在每個權重矩陣內保持一致位元寬度，好讓矩陣乘法能使用單一的密集整數內核；同時要能在矩陣內做細粒度的尺度（scale）調整，將動態範圍集中到對控制最重要的參數上。

方法概覽

ActQuant 分兩階段運作：

• 階段一 — 矩陣（Inter‑Tensor）位元分配：為每個權重矩陣計算一個行為敏感度分數，根據在校準集上該矩陣輸出與目標動作之間的統計依賴程度分配位元數。關鍵在於同時衡量「輸入冗餘」與「任務關聯」兩個面向，以免把位元浪費在對動作無助的冗餘表徵上。
• 階段二 — 矩陣內（Intra‑Tensor）尺度優化：在每個被指定位元寬度的矩陣內，將矩陣切成分塊，透過一種結合動作頭損失的敏感度估計（文中稱為 Action‑Mixed Fisher）來重新優化每個分塊的量化尺度與零點。這能把可用的動態範圍集中到對控制最有影響的權重元素。

技術要點

在矩陣級別的敏感度計算上，ActQuant 使用一種基於 HSIC（Hilbert‑Schmidt Independence Criterion）的指標，將兩項量綁定在同一得分上：一項衡量層輸出與動作標籤的依賴（代表任務相關性），另一項衡量輸出相對於輸入的冗餘（代表可量化的容忍度）。兩者透過正負權重平衡，以排序並在整體位元預算下決定每個矩陣的位元數。

在矩陣內優化時，研究者把先前用於二階近似的 Fisher（海森）資訊概念延伸到 VLA 場景，結合動作頭的損失訊號來加權每個元素或分塊的重要性，並只調整尺度而不變更位元分配，保留矩陣內的一致性，兼顧細緻性與硬體可執行性。

落地執行 — OmniModel.cpp

僅有演算法量化不足以帶來邊緣效益；為了把低位元推論化為實際速度與記憶體節省，研究團隊開發了 OmniModel.cpp，一套能將 PyTorch 已訓練的 VLA 架構自動轉為原生 C/C++ 推論執行檔的工具鏈。此路徑省去框架依賴，並結合已有基於 GGML 的低位元內核，使得 ActQuant 的混合精度模型能直接在目標設備上使用高效的低位元矩陣乘法（matmul）實作。

實驗與結果重點

研究在模擬的 LIBERO 基準與真實的 6‑DoF UR3 機臂上評估，對象包含 OpenVLA‑OFT 與 π0.5 等 VLA 策略，與多種權重唯量化基準方法比較。主要觀察點為每權重位元（bits-per-weight, bpw）在 4.0、3.5、3.0、2.5（以及對一個模型額外測試 2.0）時的閉環成功率。

關鍵結果包括：ActQuant 是唯一能在或低於 3 bit/weight 運作的 PTQ 方法，同時在 OpenVLA‑OFT 與 π0.5 保持高成功率（報告值約為 95.0% 及 94.8%）；進一步推到 2.5 bpw 時，OpenVLA‑OFT 在約 90.1% 成功率下能將主幹模型的權重從 14.3 GB 壓縮到 2.7 GB（約 5.3×）；在 UR3 真機上，π0.5 經 ActQuant 量化後保留了原始成功率，同時把記憶體佔用減少約 2.5×。

與既有方案的對比分析

傳統 LLM 專用的 PTQ 方法（例如 GPTQ、AWQ）通常以語言建模或重建誤差為準則，這對 VLA 未必充分。其他混合精度或通道級量化方法雖能在準確度上取得改善，卻常導致不規則的記憶體存取模式，對標準低位元 GPU/加速器不友善，增加實務部署複雜度。相對地，ActQuant 採取「每矩陣單一位元寬度、矩陣內尺度微調」的折衷，既能追蹤低位元時的敏感度差異，又保有單一密集整數內核可執行的硬體友善性。

未來影響與產業展望

短期內，ActQuant 類方法若被廣泛採用，可直接縮減機器人控制系統的記憶體需求，降低邊緣平台上部署大型 VLA 模型的門檻。對於有即時控制需求的開發者來說，這意味著能把更大、能力更強的模型放到本地執行，減少對雲端的依賴。

長期來看，行為導向的量化提醒社群在模型壓縮時應把終端任務的閉環效能納入首要考量，這可能促使更多針對控制信號敏感度設計的壓縮指標出現。另一方面，將轉換至原生執行環境（如 OmniModel.cpp）的流程標準化，會促進跨框架的輕量化部署生態，並推動硬體廠商優化對矩陣級混合精度模式的支援。

限制與注意事項

ActQuant 仍依賴校準集來估計行為敏感度，校準集分布對位元分配有直接影響；此外，雖然保留矩陣內一致位元有利於硬體，但在極端低位元下仍需小心分塊尺度的優化策略是否足以應對各種開放式場景的分布偏移。

結語

ActQuant 提出一條實務可行的路徑，讓 VLA 類大型模型在次 4-bit 範圍內仍能保有閉環動作表現，並結合 OmniModel.cpp 把量化效益落地到本地 C/C++ 推論實作。這組合在模擬與實機上展現了顯著的記憶體壓縮與成功率維持，為邊緣機器人部署提供新的方向。

延伸閱讀

• Diffused Reward 與 DRP：為一步生成器建立軌跡級 RLHF 對齊
• 在 Apple M3 Ultra 上以 CoreML 加速 SDXS-512：實現 512×512 即時 img2img（22.7 FPS）
• 系統化評測LoXR：以Llama.cpp與GGUF衡量XR裝置上本地LLM的效能與能耗

代理人點評

ActQuant 的核心貢獻在於把「控制任務的需求」直接導入量化決策：先以 HSIC 之類的統計依賴量化每個矩陣對動作的貢獻，再在矩陣內用與動作頭相關的敏感度重分配尺度，這種把任務閉環效能當作第一性原則的做法，彌補了不少以語言或重建誤差為準則的盲點。搭配把模型自動轉成本地 C/C++、利用現成低位元內核的工程化工具鏈，令研究成果能被實際部署於資源受限的機器人平台。未來重點仍在校準資料分布與硬體內核對混合精度模式的支援度。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。