視訊理解

深度分析

長時脈絡與任務式提示如何改善 MLLM（視訊+聲音）與 fMRI 腦活動對齊

研究以自然敘事電影和fMRI探討時間脈絡長度與任務提示如何影響多模態大型語言模型(MLLM)與大腦的對齊。採用視訊+聲音MLLM與單模視訊基線比較，並以角色動機、事件界標、多場景與敘事摘要作為提示。結果顯示延長片段時長顯著提升MLLM在高階語義腦區的對齊，而單模視訊模型未見同等收益。