跨模態融合

LAKE

LAKE：定位異常敏感神經元以實現無需額外訓練的視覺語言模型異常偵測

這篇研究提出 LAKE（Latent Anomaly Knowledge Excavation），挑戰把大型視覺語言模型視為黑盒的做法。作者主張異常辨識的知識已內含於預訓練模型，但多數相關神經元處於潛伏狀態，於是以少量正常樣本辨識並激活那批稀疏敏感神經元，結合局部視覺結構與跨模態語意訊號建構緊湊且可解釋的正常性表徵。