深度分析
長時脈絡與任務式提示如何改善 MLLM(視訊+聲音)與 fMRI 腦活動對齊
研究以自然敘事電影和fMRI探討時間脈絡長度與任務提示如何影響多模態大型語言模型(MLLM)與大腦的對齊。採用視訊+聲音MLLM與單模視訊基線比較,並以角色動機、事件界標、多場景與敘事摘要作為提示。結果顯示延長片段時長顯著提升MLLM在高階語義腦區的對齊,而單模視訊模型未見同等收益。
深度分析
研究以自然敘事電影和fMRI探討時間脈絡長度與任務提示如何影響多模態大型語言模型(MLLM)與大腦的對齊。採用視訊+聲音MLLM與單模視訊基線比較,並以角色動機、事件界標、多場景與敘事摘要作為提示。結果顯示延長片段時長顯著提升MLLM在高階語義腦區的對齊,而單模視訊模型未見同等收益。
深度分析
研究利用同步fMRI與VGDL遊戲資料,比較大型推理模型與深度強化學習在人類遊戲學習與腦部表徵上的表現。結果顯示LRM在行為效率與腦活動預測上均遠超RL基線。模型可直接以提示方式使用,無須針對單一遊戲微調,且在視覺、前額、紋狀體等腦區均提升預測表現。