深度分析
表格基礎模型層級推理解析：Transformer 架構下的層間動態與循環單層驗證
本文報導一項首度大規模的機制性研究，針對六種最先進的表格型轉換器（Tabular Foundation Models, TFMs）逐層分析推理過程。研究以表徵相似度、分離度、探測分類器與層級干預（跳層、重複、交換）等六類實驗，揭示多數模型在深度方向存在重複與迭代精煉現象，且早期層即可形成可用表徵。
Transformer
深度分析
去噪潛在張量與 Transformer：在 CogVideoX 上的即時成人內容偵測
隨著AI影片生成模型快速崛起，成人內容的審查成為新挑戰。研究提出在CogVideoX擴散模型的去噪潛在張量上掛載輕量探測器，直接於內部表示即時判別。實驗顯示此方法在測試集達97.29%F1，且僅增加4‑6毫秒延遲，顯著優於傳統像素解碼後分類。
深度分析
程式合成通用化突破：多樣化語法語意抽樣與搜尋式混合的 Transformer 研究
隨著大型轉換模型在程式合成上展現高效能，研究以算術文法構建可控測試環境，指出多樣化語意與語法抽樣可提升外部分布表現，且純轉換模型在語法外推時跌超30%。研究亦發現，隨算力指數增長，效能提升僅呈對數線性關係，暗示僅靠規模擴大無法突破外推瓶頸。
深度分析
自適應字典嵌入 (ADE) 於大型 Transformer 中實現多錨點參數壓縮與高精度
本研究提出自適應字典嵌入（ADE），透過詞彙投影、分組位置編碼與上下文感知錨點重加權，將多錨點表示擴展至大型語言模型，核心將兩階段查找合併為單一矩陣運算並利用自注意力動態組合錨點，實驗顯示在DBpedia-14上以98.06%超越DeBERTa，且嵌入層壓縮逾40倍。
深度分析
解碼器型 Transformer 在符號推理的嵌入崩潰：複製注意力與嵌入管理的三重解法
本研究探討解碼型Transformer在抽象符號推理上的泛化能力，發現未見符號的嵌入與反嵌入在訓練過程中會趨於相同向量，導致變數難以分辨。提出結合複製注意力、資料多樣性與凍結或重置嵌入的方案，成功讓模型在未見符號上通過測試。此發現對大型開放模型的微調與符號推理應用具有重要啟示。
深度分析
吸引子動力學下的幻覺決策：在 Qwen2.5-1.5B 與激活貼補檢視 Transformer 的早期軌跡
本研究以同一提示重複抽樣（same-prompt bifurcation）揭示，自回歸 Transformer 在生成過程中，幻覺並非晚期檢索失誤，而是在第一個生成步就可能發生的「軌跡承諾」。對 Qwen2.5-1.5B 的 61 個提示進行實驗，發現 44.3% 提示會產生分岔，證實了模型在第一個生成步即產生軌跡偏離，且幻覺路徑呈現出比正確路徑更穩定的吸引子盆地特性，使得單步修正難以逆轉錯誤決定。
深度分析
Transformer 內核揭秘：OLS 為單層線性 Transformer 的特例
研究指出 Transformer 的注意力機制在特定參數下可被視為普通最小平方法的特例，透過譜分解將前向傳播等價於 OLS 閉式投影，證實注意力一次前向即可求解，且揭示模型內部的慢速與快速記憶解耦，預示其記憶容量可從線性提升至指數。
深度分析
長時延算術泛化：編碼器先行、解碼器瓶頸的 Transformer 學習機制
研究聚焦於 Transformer 在算術任務中的長時延泛化，發現編碼器快速形成結構但解碼器成為瓶頸。透過模型移植與凍結編碼器實驗，加速泛化並提升至 97.6% 正確率。基底選擇顯著影響學習成效，提供新視角理解 AI 數學推理。
深度分析
ResBM：低頻寬管線平行的殘差瓶頸模型與 128 倍激活壓縮實驗
為解決大型分散式訓練在管線平行上對高頻寬的依賴，研究提出 Residual Bottleneck Model（ResBM），在管線邊界加入殘差編碼器‑解碼器瓶頸模組，保留低秩身份路徑以支援低頻寬通訊。實驗顯示 ResBM 能達到 128 倍激活壓縮，且收斂速度與資源開銷與傳統方法相當，提升了低頻寬環境下的訓練效能。
深度分析
量化優於秩削減：KV 快取壓縮的實驗與理論分析
研究比較 Transformer 推論的 KV 快取壓縮方法，發現量化在相同儲存預算下優於秩削減，提升 4‑364 PPL。量化噪聲受限且保留分數排序，避免了 Softmax 注意力路由的離散失敗。結果顯示 INT4 量化在 Mistral 7B 上僅增 0.18 PPL，即可壓縮 75%。
金屬有機框架
EGMOF：結合擴散模型與Transformer的高效金屬有機框架生成技術
材料逆向設計因化學空間龐大與標記資料稀缺而困難。EGMOF 以一維擴散模型將目標屬性映射至化學描述子，再由 Transformer 生成 MOF 結構。實驗顯示在僅 1,000 筆訓練樣本下，模型有效率超過 95%，命中率 84%，顯著優於既有方法。
深度分析
MoE Transformer 的泛化與縮放律：活化容量與路由開銷的理論分析
研究針對 MoE Transformer 的泛化與縮放行為，提出將活化容量與路由組合分離的理論框架，推導出與活化參數預算成正比的度量熵並加入路由開銷，證明在流形資料模型下的泛化界限與密集網路等價，並給予誤差可透過提升活化容量或增專家數量降低的建構性近似結果，最後提出模型、資料與計算的神經縮放律。