vision-transformer

速報

Vision Transformer（ViT）對抗訓練首份理論證明：魯棒泛化與良性過擬合現象

背景：視覺變換器（ViT）雖在多項視覺任務表現優異，仍易受對抗樣本影響。研究對簡化ViT架構做理論分析，檢視在特定訊噪比與中等擾動預算下的對抗訓練，指出可在訓練時達成近乎零的魯棒損失並維持泛化，甚至在出現過擬合時呈現良性過擬合，實驗以合成與真實資料驗證結果。