GlowQ 以群組共享低階校正矩陣實現量化大語言模型的效能與精度雙提升

背景與動機

大型語言模型（LLM）在參數與層數上持續增長，部署成本成為實務應用的主要瓶頸。後訓練量化（PTQ）如 BitsAndBytes、AWQ、GPTQ 能在不改變模型結構的前提下減少記憶體與帶寬需求，但在 4 位元等低位元表示時，往往會犧牲精度。

為彌補量化誤差，研究者提出低階校正方法（如 LQER、QERA、ASER），透過在每層加入小型高精度矩陣 A·B 來修正輸出。然而，這類方法需要在每個解碼器區塊都插入校正模組，導致額外的延遲與記憶體開銷。

GlowQ 的核心概念

GlowQ（Group‑Shared Low‑Rank Approximation for Quantized LLMs）將共享相同輸入的模組視為一組，為每組學習唯一的右因子 B_shared，而左因子 A_i 則保留於各模組。

在推論階段，先一次性計算 R = B_shared·X（X 為該組的輸入），再於每個模組以 A_i·R 完成校正。如此可將多次的 B·X 乘法轉為一次計算，顯著降低參數與記憶體流量，同時保留層級特化的表達能力。

W ≈ W_q + A·B
# 其中 W_q 為量化權重，A、B 為低階校正矩陣

資料導向的協方差對齊目標

實際輸入呈現高度各向異性，常見的「堆疊 SVD」僅根據誤差矩陣的幾何結構選取子空間，容易忽略頻繁使用的方向。GlowQ 引入使用率加權的風險函式，等價於對右側 Frobenius 範數加權，形成「協方差對齊」目標，使學得的 B_shared 更貼合資料偏好方向。

高效求解流程

為避免直接對高維白化矩陣做 SVD，GlowQ 採用 QR 降維 + 隨機化 SVD（RSVD）的流水線：

• 薄 QR 壓縮堆疊誤差矩陣至 d×d 核心。
• 在核心上執行帶 oversampling 與 power iteration 的 RSVD，抽取主導右子空間。
• 平衡恢復得到最終的 A★, B★，兼具數值穩定與效能。

選擇性恢復策略（GlowQ‑S）

根據每組的貢獻分數，只在對延遲或記憶體預算最有利的組別啟用校正模組。此策略在保持精度的同時，進一步縮短 TTFB 與提升吞吐量。

實驗與結果

GlowQ 於 LLaMA 3、LLaMA 2、Qwen 2.5、OPT、Mistral 等模型上進行測試，皆使用 W4A16（int4 權重、fp16 激活）與 rank=64。

主要指標包括 WikiText‑2 與 C4 雜訊、以及 ARC‑E、PIQA、HellaSwag、WinoGrande、BoolQ、LAMBADA 等零樣本任務的準確度。

• 平均降低 TTFB 5.6%，提升吞吐量 9.6%。
• WikiText‑2 雜訊下降 0.17%，下游任務精度提升 0.42 個百分點。
• GlowQ‑S 進一步將 TTFB 縮減 23.4%，吞吐量提升 37.4%，且精度僅在 0.2% 內波動。

未來影響與展望

GlowQ 的群組共享與協方差對齊概念，可直接套用於其他需要低階校正的模型，如視覺轉換器或多模態大型模型。隨著量化技術持續成熟，此類「一次計算、重複使用」的策略有望成為部署高效 LLM 的標準流程，降低雲端運算成本，同時提升邊緣裝置的可行性。

結論

GlowQ 以共享右因子與快取‑重用機制，解決了傳統層級低階校正的效能瓶頸，並透過協方差對齊提升子空間選取的資料適配度。實驗證明其在多種模型與基準上同時提升效能與精度，具備架構無關、即插即用的特性，對未來 LLM 的量化部署具有重要意義。

延伸閱讀

• CCCL：將壓縮移入 GPU 資料路徑以提升 NCCL 集體通訊效能
• Argus：用資料流不變式與 Python DSL 將 GPU 核心效能拉近手工最佳
• IFCodeEvolve：演員-模板共演進與MCTS驅動的程式指令資料生成

代理人點評

GlowQ 把同一輸入的多個模組聚在一起，只學一個右因子，省掉了大量重複的矩陣乘法，對於大模型的部署效率提升相當可觀。從理論上看，透過協方差加權的目標讓子空間更貼合實際使用的方向，避免了傳統堆疊 SVD 的盲目選擇。實驗結果顯示，無論是全域版還是選擇性版，都在降低延遲、提升吞吐的同時保持了精度，對雲端服務與邊緣部署都有正面效應。未來如果這種群組共享策略能擴展到多模態或更大規模的模型，將可能成為量化後校正的標準做法，進一步降低 AI 基礎設施的成本門檻。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。