遮罩注意力對齊

深度分析

MaskAQ：利用遮罩注意力對齊提升 ViT 資料自由量化效能

隨著視覺Transformer在邊緣裝置的部署受限，研究提出MaskAQ以遮罩注意力對齊方式在無資料情況下生成高品質樣本，聚焦稀疏資訊區域，提升量化模型的校準效果，實驗顯示在ImageNet上3位元量化可提升3.1%準確率。同時，此方法在目標檢測與語意分割等下游任務亦展現穩定優勢。