多模態訓練

速報

MemeLens：統一多語多任務的視覺語言模型解析迷因

迷因結合影像、文字與文化脈絡成為主要溝通與操弄媒介。研究提出MemeLens──一個統一的多語、多任務、附解釋的視覺語言模型，整合38個公開迷因資料集並統一為20項任務。實驗顯示：有效理解迷因需多模態訓練，語義類別差異大，且單一資料集微調易導致過度專精。