MLP

Transformer

這篇研究從訓練動力學角度出發，將Transformer中MLP模組自發出現的激活稀疏性（activation sparsity）與損失平坦性(flat minima)建立數學連結。

深度分析

隨著生成式人工智慧被整合進相機的影像信號處理器（ISP），原本被視為可信的「相機直出影像」出現可能被幻覺化的風險。本文提出一套以元資料輔助的恢復方法：在拍攝時將一個預訓練的輕量編碼器與可於單張影像快速微調的多層感知器（MLP）解碼器產生的參數儲存於圖片元資料中。