DMIL

速報

DMIL：以樣本為單位的分解式多模態互動學習新框架

多模態學習需要同時捕捉不同模態間的冗餘、獨特與協同資訊，然而這些隱含的互動在不同樣本間會動態變化。研究以資訊理論為基礎，指出現有的模態集成與聯合學習方式分別在捕捉協同與冗餘資訊上存在缺陷，因而提出 Decomposition-based Multimodal Interaction Learning（DMIL）框架。