少位元量化

深度分析

簽名對稱量化：解決少位元 LLM 整數量化的正向離群值裁剪問題

少位元量化時，傳統對稱量化因尺度固定正值會裁剪正向離群值。研究提出簽名對稱量化，利用符號選擇將額外負端點對齊主導離群值，保持零點不變且無額外元資料。實驗顯示在2位元下，perplexity從103降至17，few‑shot正確率提升7.9%，同時節省約9%記憶體與提升吞吐。