深度分析
「GRAPE」導向參數空間演化的緊湊對抗式魯棒性訓練方法解析
研究以CIFAR‑10為測試平台,提出GRAPE透過參數空間逐步擴張與穩定化,提高對抗訓練的魯棒性,同時減少約21%參數量,顯示演化路徑對模型效能具關鍵影響。GRAPE結合參數空間穩定化與分數導向的隱層擴張,於相同FLOPs下比固定結構ResNet‑18提升約10%魯棒準確率,並證明暴露順序重要。
深度分析
研究以CIFAR‑10為測試平台,提出GRAPE透過參數空間逐步擴張與穩定化,提高對抗訓練的魯棒性,同時減少約21%參數量,顯示演化路徑對模型效能具關鍵影響。GRAPE結合參數空間穩定化與分數導向的隱層擴張,於相同FLOPs下比固定結構ResNet‑18提升約10%魯棒準確率,並證明暴露順序重要。
深度分析
為避免訓練資料背誦掩蓋推理能力,研究提出 GSM-SEM,一套保留原始答案但改寫語意情境的隨機化增強框架,可每次產生新題並經人類驗證。評估 14 款 SOTA 模型顯示語義變體普遍導致表現下降,最嚴格設定下平均掉落約 28%,突顯語義遷移仍是關鍵挑戰。
深度分析
深度模型在訓練後期易出現軌跡偏離,VISTA 以驗證導向的邊際覆蓋分數挑選早期錨點,並於訓練中即時加權融合,提升魯棒性與泛化,同時降低儲存需求。