擴散解碼器

速報

DoYouRemember：將重建記憶引入多模態大模型的全新架構

研究指出人類記憶是重建而非完整紀錄，現有多模態大模型在處理影像後會遺失內部表徵。作者提出 DoYouRemember 三階段架構：先以 VQ‑VAE 將影像壓縮成離散視覺代幣，再以 LoRA 微調的大模型同時注意視覺與文字代幣，最後用擴散解碼器從大模型隱藏狀態重建影像。