水位分配

深度分析

高率量化下的矩陣乘法最佳化：Cholesky、WaterSIC 與 GPTQ 性能比較

背景：研究集中在已知輸入共變異數ΣX時的權重僅後訓練量化問題。方法：採用水位分配調整每個座標的比特配置，分析WaterSIC（僅用整數量化器）與GPTQ在高率下的行為。主要結果：WaterSIC在高率下接近資訊論下界，GPTQ配合隨機旋轉亦可達到近似最優。