MINE：以可機制性解釋打開影像編碼黑盒，定位驅動體素反應的視覺特徵
研究旨在揭示驅動人類視覺神經反應的影像特徵。MINE以可機制性解釋工具定位自然影像中驅動單一體素的視覺內容，並用與語言對齊的影像表示產出語義描述。實驗以合成影像與反事實編輯驗證因果性，結果顯示方法可捕捉細緻腦區選擇性。研究也能在已知類別選擇性腦區中還原細節差異。
MINE以可機制性解釋揭示驅動體素的影像特徵
研究團隊提出MINE（Mechanistically Interpretable Neural Encoding），目標是把影像編碼模型從黑盒變成能說明「哪些影像特徵」驅動毫米尺度（體素）神經反應。該框架用與語言對齊的影像表示去預測每個體素對自然影像的反應，同時為影像中會激活該體素的視覺內容產生語義化描述。
接著，研究將每張影像的關鍵特徵彙整成每個體素的功能輪廓，用以表徵該體素偏好的視覺屬性。為驗證這些描述的效力，作者以描述生成合成影像，並比較合成影像與原始影像對體素的反應相似度，結果顯示描述生成的影像能更接近原始反應；此外，透過反事實式的插入或移除預測特徵，活性朝預期方向改變，提供因果性證據。
研究也示範以每個體素的功能輪廓作為編輯導引，能產生更強的活性變化，進一步印證輪廓捕捉了真實的選擇性偏好。將 MINE 應用到既有的類別選擇性腦區時，方法不僅回收該區域的類別偏好，還揭露區域內每個體素的細緻差異，顯示可機制性解釋是發掘並因果驗證神經功能假說的一條可行道路。
總結來說，MINE 提供一套從語義描述到反事實驗證的工作流程，能把編碼模型輸出轉換成可檢驗的神經選擇性主張，對於理解視覺皮層如何對自然影像做出細緻反應具有實務價值。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
