PSAP 剪枝法：讓同態加密神經網路更可靠，旋轉運算減少 45%
一項新研究提出了一種名為 PSAP（Polynomial-Sensitivity-Aware Pruning）的結構化剪枝方法，旨在提升同態加密（HE）下神經網路推論的可靠性。
同態加密的可靠性挑戰
同態加密（HE）允許在加密資料上直接進行運算，是保護雲端 AI 推論隱私的關鍵技術。然而，神經網路在 HE 環境下的運算成本極高，結構化剪枝是降低負擔的主流方法。但過去的研究大多聚焦於效率，卻忽略了剪枝對模型可靠性的影響——特別是在面對位元翻轉錯誤時，模型可能出現災難性準確度下降。
PSAP：可靠性感知的剪枝方法
一篇來自 ArXiv 的論文首次系統性地分析了剪枝後 CKKS 加密神經網路的可靠性特徵，並提出了 Polynomial-Sensitivity-Aware Pruning（PSAP）。這項方法在篩選濾波器時，不只考慮權重幅度，還納入了多項式激活函數的敏感度以及旋轉成本，將剪枝集中在對錯誤容忍度較高的區域。
顯著的可靠性與效率提升
研究團隊在兩種架構、兩個資料集、兩種數值表示法以及五種位元錯誤率下進行測試。結果顯示，PSAP 剪枝後的模型，災難性準確度下降（超過 10 個百分點）的層數最多只有兩層，而傳統基於權重幅度的剪枝法則會出現 5 到 14 層。在最極端的 int32 位元翻轉注入測試中，PSAP 將最壞情況的脆弱性降低了最多 29 倍。
在效率方面，PSAP 也表現出色。在 ResNet-32 上，它減少了 45.2% 的 Halevi-Shoup 旋轉運算。此外，論文提出的自適應混合度分配方案，將乘法深度從 66 層降至 56 層，讓模型無需重新啟動即可進行層級推論。研究也指出，關鍵的錯誤敏感層僅佔總參數量的 1.1%，這意味著可以針對這些少數層進行強化，以極低的額外成本大幅提升整體可靠性。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
