深度分析
探討 Transformer 中堆疊向量的因果角色：Dyck‑1 與 Shuffle‑k 實驗全解
本研究以形式語言 Dyck-1 與 Shuffle‑k 為測試平台，利用線性探測器從 Transformer 隱層中抽取堆疊深度資訊，並在推論階段剔除該方向。實驗發現序列正確率幾近歸零，顯示堆疊表示對模型預測具因果必要性。相較於僅做相關性探測的傳統方法，此因果驗證提供更堅實的解釋依據，暗示未來在模型安全與可解釋性設計上可能成為關鍵技術。
Transformer
速報
Cosmos 3：全方位多模態世界模型突破，統合語言、影像與行動
Cosmos 3 為 NVIDIA 推出的全方位多模態世界模型，採用混合 Transformer 同時處理語言、影像、影片、音訊與行動序列。模型統合視覺語言、影片生成、世界模擬與行動決策功能，於多項任務創下新紀錄，成為實體 AI 的通用骨幹，且已以開源方式釋出。
深度分析
Zamba2‑VL：混合狀態空間與 Transformer 架構在視覺語言任務的效能突破
隨著多模態模型成為視覺語言介面的核心，Zamba2‑VL 以混合 Mamba2 與少量 Transformer 區塊構成，結合線性時間預填與固定大小狀態，於 1.2B、2.7B、7B 參數規模上，效能與 Molmo2、Qwen3‑VL 等同階模型相當，且在推論速度上快上數十倍。
深度分析
單層 Transformer 能自動建立全序列坐標軸：序列幾何與符號距離效應實驗
研究探討Transformer於僅接收相鄰比較時，能否自行形成類似心智數線的序列表徵。透過訓練小型單層模型，觀察嵌入向量在峰值時收斂於一維流形，主成分即重建隱藏序位。結果顯示，即使正確率已達上限，決策信心與幾何距離仍隨排名差距單調提升，呼應長久以來的符號距離效應。
深度分析
AxonAD：以注意力查詢可預測性提升多變量時間序列異常偵測效能
本研究聚焦於車載多變量時間序列的協調異常，提出 AxonAD 以注意力查詢的短期可預測性作為偵測依據，結合重建誤差與尾部查詢偏差得分。查詢不匹配得分能捕捉跨通道協調斷裂，即使各通道幅度正常，也提供額外訊號；相較於 LSTMAD、SISVAE 等模型，AxonAD 在 AUC‑PR、Event‑F1 與 Range‑F1 等閾值自由指標上均領先。
深度分析
RayDer 單一 Transformer 打造自監督新視角合成 大規模影片訓練突破
RayDer以單一Transformer統合相機估計、場景重建與渲染，並以最小動態狀態作為擾動因子，使自監督新視角合成在無限制影片上穩定訓練。實驗證明在資料與算力上呈現冪律擴展，零樣本表現可與最先進的有監督模型相當。此概念類似於RecoverabilityMaps在城市感測器用途評估中簡化與風險量化。
深度分析
架構驅動轉移（ADS）：以模型拓樸與少量校準預測 logit 變化趨勢
持續學習面臨模型在新任務後的logit變動與穩定性抉擇。本文提出架構驅動轉移(ADS)，將logit變動分解為架構依賴與資料依賴，利用層寬深度與少量校準樣本估算ADS並預測傾向。實驗顯示ADS與logit變動及校準誤差呈強相關，可作為輕量模型選擇代理。
深度分析
可識別標記對應（ITC）：以最優運輸強化 Transformer 世界模型的時間一致性
視覺世界模型在長期預測時常出現物體重複或消失等時間不一致問題。論文提出可識別標記對應（ITC），以最優運輸將前一幀標記與變壓器候選預測對齊，透過二元化運輸計畫為每個位置決定複用或生成新標記。該方法在Craftax-classic等基準上顯著提升回報與分數。
Transformer
在Transformer MLP中放大激活稀疏：平坦性理論、導數稀疏與JSReLU實作
這篇研究從訓練動力學角度出發，將Transformer中MLP模組自發出現的激活稀疏性（activation sparsity）與損失平坦性(flat minima)建立數學連結。
深度分析
頻譜探針電路：用三步法於預訓練檢查點識別 Transformer 注意力頭電路
本研究提出一套三步法：以每頭注意力輸出參與比（PR）積分抓取頻譜信號，透過六類任務模式篩選形成候選電路，最後以分組消融與同層隨機對照做因果驗證。跨多種架構與尺度重複實驗發現，誘導電路通常由3–6個頭構成，且可辨識的專精頭比例約17–19%不隨規模大幅變動。
速報
確定性地平線（Deterministic Horizon）：揭露Transformer推理深度的準確度天花板
大型語言模型已被用於撰寫軟體、法律文件與臨床紀錄，但計算能力受圖靈、阿羅及無免費午餐定理等基本限制。研究提出確定性地平線（Deterministic Horizon）理論，主張極限由模型架構決定，可在部署前由層數與嵌入寬度預估；在多個Transformer架構中觀察到關鍵推理深度介於19到31。
深度分析
早期融合 Transformer 骨幹：Falcon Perception 在開放詞彙分割的架構與效能
視覺語言感知常採模組化流水線。Falcon Perception以早期融合Transformer把影像貼片與文字放在同一序列處理，採混合注意力與三階段輸出〈coord〉→〈size〉→〈seg〉，於SA‑Co達到68.0 Macro‑F1，展現複合指稱與密集場景優勢。