深度分析
自適應字典嵌入 (ADE) 於大型 Transformer 中實現多錨點參數壓縮與高精度
本研究提出自適應字典嵌入（ADE），透過詞彙投影、分組位置編碼與上下文感知錨點重加權，將多錨點表示擴展至大型語言模型，核心將兩階段查找合併為單一矩陣運算並利用自注意力動態組合錨點，實驗顯示在DBpedia-14上以98.06%超越DeBERTa，且嵌入層壓縮逾40倍。
Transformer
深度分析
解碼器型 Transformer 在符號推理的嵌入崩潰：複製注意力與嵌入管理的三重解法
本研究探討解碼型Transformer在抽象符號推理上的泛化能力，發現未見符號的嵌入與反嵌入在訓練過程中會趨於相同向量，導致變數難以分辨。提出結合複製注意力、資料多樣性與凍結或重置嵌入的方案，成功讓模型在未見符號上通過測試。此發現對大型開放模型的微調與符號推理應用具有重要啟示。
深度分析
吸引子動力學下的幻覺決策：在 Qwen2.5-1.5B 與激活貼補檢視 Transformer 的早期軌跡
本研究以同一提示重複抽樣（same-prompt bifurcation）揭示，自回歸 Transformer 在生成過程中，幻覺並非晚期檢索失誤，而是在第一個生成步就可能發生的「軌跡承諾」。對 Qwen2.5-1.5B 的 61 個提示進行實驗，發現 44.3% 提示會產生分岔，證實了模型在第一個生成步即產生軌跡偏離，且幻覺路徑呈現出比正確路徑更穩定的吸引子盆地特性，使得單步修正難以逆轉錯誤決定。
深度分析
Transformer 內核揭秘：OLS 為單層線性 Transformer 的特例
研究指出 Transformer 的注意力機制在特定參數下可被視為普通最小平方法的特例，透過譜分解將前向傳播等價於 OLS 閉式投影，證實注意力一次前向即可求解，且揭示模型內部的慢速與快速記憶解耦，預示其記憶容量可從線性提升至指數。
深度分析
長時延算術泛化：編碼器先行、解碼器瓶頸的 Transformer 學習機制
研究聚焦於 Transformer 在算術任務中的長時延泛化，發現編碼器快速形成結構但解碼器成為瓶頸。透過模型移植與凍結編碼器實驗，加速泛化並提升至 97.6% 正確率。基底選擇顯著影響學習成效，提供新視角理解 AI 數學推理。
深度分析
ResBM：低頻寬管線平行的殘差瓶頸模型與 128 倍激活壓縮實驗
為解決大型分散式訓練在管線平行上對高頻寬的依賴，研究提出 Residual Bottleneck Model（ResBM），在管線邊界加入殘差編碼器‑解碼器瓶頸模組，保留低秩身份路徑以支援低頻寬通訊。實驗顯示 ResBM 能達到 128 倍激活壓縮，且收斂速度與資源開銷與傳統方法相當，提升了低頻寬環境下的訓練效能。
深度分析
量化優於秩削減：KV 快取壓縮的實驗與理論分析
研究比較 Transformer 推論的 KV 快取壓縮方法，發現量化在相同儲存預算下優於秩削減，提升 4‑364 PPL。量化噪聲受限且保留分數排序，避免了 Softmax 注意力路由的離散失敗。結果顯示 INT4 量化在 Mistral 7B 上僅增 0.18 PPL，即可壓縮 75%。
金屬有機框架
EGMOF：結合擴散模型與Transformer的高效金屬有機框架生成技術
材料逆向設計因化學空間龐大與標記資料稀缺而困難。EGMOF 以一維擴散模型將目標屬性映射至化學描述子，再由 Transformer 生成 MOF 結構。實驗顯示在僅 1,000 筆訓練樣本下，模型有效率超過 95%，命中率 84%，顯著優於既有方法。
深度分析
MoE Transformer 的泛化與縮放律：活化容量與路由開銷的理論分析
研究針對 MoE Transformer 的泛化與縮放行為，提出將活化容量與路由組合分離的理論框架，推導出與活化參數預算成正比的度量熵並加入路由開銷，證明在流形資料模型下的泛化界限與密集網路等價，並給予誤差可透過提升活化容量或增專家數量降低的建構性近似結果，最後提出模型、資料與計算的神經縮放律。
醫學影像分類
MedFormer‑UR：結合不確定性導向路由與原型學習的醫學影像分類變換器
醫學影像模型需提供可靠的不確定性量測。研究者在 MedFormer 基礎上加入原型學習與 Dirichlet 證據式不確定性，讓模型即時定位模糊區域並過濾噪聲特徵。四大影像測試顯示校準誤差降低最高 35%，提升選擇性預測可靠性。
大型語言模型
大型語言模型寫作輔助對母語語言指紋的影響：ACL 論文實證分析
研究探討LLM時代寫作輔助工具是否削弱母語痕跡，利用半自動框架標記ACL論文並微調分類器偵測語言指紋，結果顯示辨識率持續下降，中文與法文出現異常抵抗，日韓語衰退更快，暗示AI工具可能影響學術語言多樣性。
深度分析
Transformer 中的 Mixture of Experts：稀疏化提升效能與可擴展性
隨著大型語言模型持續擴張，密集架構面臨成本與效能瓶頸。Mixture of Experts 以多個可學習子網路取代部分前饋層，透過路由器選擇少量專家處理每個 token，實現參數規模與推論速度分離。Hugging Face 重新設計權重載入與專家後端，使 MoE 在 Transformers 中成為一等公民，顯著縮短載入時間並提升訓練效率，預示未來 AI 開發將更倚賴稀疏化技術。