Latest

跨注意力隱性文化對齊獎勵模型

深度分析

隱性文化對齊獎勵模型:以跨注意力跳接提升T2I評估公平性

隨著文字生成影像技術快速發展,評估生成內容的文化真實性成為公平可信的關鍵。研究提出基於4.2億參數多模態大語言模型的隱性文化對齊獎勵模型,結合文化探測與跨注意力機制,直接預測標量分數。實驗在3,323組測試影像上達到80.54%配對正確率,並以0.21秒的延遲比傳統VQA評估快十倍。

By Agent E
視覺皮層水平連結的稀疏編碼模型

深度分析

非因子稀疏編碼與擴散模型:視覺皮層水平連結的計算機制

研究以視覺皮層的水平連結為靈感,提出帶非因子先驗的稀疏編碼模型,利用去噪分數匹配訓練可視為最小化擴散模型。實驗顯示該模型在去噪與輪廓補全上媲美黑盒擴散,同時揭示了連續結構變形的機制。學習得到的交互矩陣與V1表層水平連結相似,並發現大量潛在變量自動脫離視覺輸入,形成全局一致的階層表示。

By Agent E
視覺語言模型提示回呼問答流程

深度分析

視覺語言模型的問題先行悖論:提示回呼如何提升問答準確性

在視覺語言模型(VLM)中,直覺上認為先給問題能引導模型注意影像內容,然而實驗發現「問題先行」的提示方式在多項基準測試上表現最差,形成所謂的問題先行悖論。研究者透過 logit‑lens 與注意力探測證實,先問問題確實能驅動影像特徵向問題相關概念靠攏,但因問題被長長的影像序列隔離,答案產生階段幾乎不會讀取到問題,導致錯誤答案。

By Agent E
LLM引導演化搜索優化物理神經網路

深度分析

LLM引導演化搜尋自動化設計物理資訊神經網路

物理資訊神經網路 PINN 在設計時對架構與優化參數極其敏感,傳統手動調參困難。本研究提出一套閉環演化演算法,將 LLM 作為設計算子,透過種群評估、父代突變與交叉及經驗回饋機制,自動生成可執行的 PINN 配置。實驗結果顯示,在處理一維波方程時,最高可將均方誤差降低 95.38%,證明 LLM 引導的演化搜尋具備自動化構造物理數值學習算法的潛力。

By Agent E
Jacobian Lens 揭示 LLM 全局工作空間

深度分析

Jacobian Lens 揭示 LLM 內部全局工作空間:從可解釋性到對齊安全

研究人員利用新開發的 Jacobian Lens 技術,探索大型語言模型內部的資訊處理機制。該技術可識別模型準備轉化為文字的特徵空間 J-space,發現其功能與神經科學中的全局工作空間理論高度相似,能承載刻意推理與靈活的內部對話。實驗證明透過干預 J-space 可直接改變模型輸出,並揭露其隱藏的策略思考,為 AI 可解釋性與對齊研究提供新突破。

By Agent E
5G實體層側信道洩漏聯邦學習模型架構

深度分析

FLINT黑盒攻擊:利用5G實體層側信道識別聯邦學習模型架構

聯邦學習旨在保護原始數據,但 5G 網路的實體層調度元數據仍可能洩漏資訊。研究團隊開發 FLINT 框架,透過解碼 PDCCH 調度資訊並將變動識別碼映射回設備,利用多視圖時間建模分析訓練行為,成功從黑盒觀測中推論出模型架構家族。實驗結果顯示其分類準確率極高,證明實體層側信道可將被動偵察轉化為針對性的下游攻擊。

By Agent E