深度分析
等變(Equivariant)優化器設計:針對嵌入、語言模型輸出頭、SwiGLU 與 MoE 路由器的層級策略
現行深度學習常用的座標式自適應優化器(如 AdamW 類)將參數視為獨立坐標,忽略矩陣層固有的行列與置換對稱性。本文提出「層級對稱相容」原則,要求優化器更新在該層的對稱群下具可換性,並根據不同參數類別推導出譜類、單側譜、列範數與混合等更新規則,對嵌入矩陣、語言模型輸出頭、SwiGLU MLP 投影與 MoE 路由器給出匹配的優化器。
深度分析
現行深度學習常用的座標式自適應優化器(如 AdamW 類)將參數視為獨立坐標,忽略矩陣層固有的行列與置換對稱性。本文提出「層級對稱相容」原則,要求優化器更新在該層的對稱群下具可換性,並根據不同參數類別推導出譜類、單側譜、列範數與混合等更新規則,對嵌入矩陣、語言模型輸出頭、SwiGLU MLP 投影與 MoE 路由器給出匹配的優化器。
深度分析
生成式推薦(Generative Recommenders, GRs)以語意索引取代傳統項目 ID,搭配大型語言模型成為推薦新趨勢,但仍受制於長尾資料導致的流行度偏見。論文指出偏見源於兩大內在問題:MLE 優化下尾部項目 token 的梯度飢餓,以及對熱門/冷門項目無差別的 token 化。
深度分析
視覺世界模型在長期預測時常出現物體重複或消失等時間不一致問題。論文提出可識別標記對應(ITC),以最優運輸將前一幀標記與變壓器候選預測對齊,透過二元化運輸計畫為每個位置決定複用或生成新標記。該方法在Craftax-classic等基準上顯著提升回報與分數。
深度分析
研究在教育場域探討何時允許學生使用生成式人工智慧,以強化學習與自我監控為目標。作者以強化學習代理人決定存取時機,獎勵函數結合後設認知、認知負荷與productive failure等理論。實驗發現有策略時機能優於完全開放或完全禁止,提升客觀測試成績並校準自我評估,且降低錯誤與任務耗時。
深度分析
基準資料集常被背誦與污染,難以檢驗推理廣泛性。GSM-SEM 以「答案不變、語意變化」的方法隨機生成題目變體,保留計算過程但改變敘事脈絡。評測顯示多數大型模型在語意擾動下表現顯著下滑,突顯現有領先分數的脆弱性。此框架可重複產生新變體,減少對靜態測試集的記憶偏誤。
深度分析
AI 系統日益在執行時產生可執行結構:大型語言模型會產生程式、代理會組裝工作流程、自我改進系統會修改自身行為。本文提出「治理化元程式設計」(governed metaprogramming):將程式表示視為第一級值、把表示層的操作維持為純運算,並把從表示到可執行機器的轉換(materialization)重新分類為需經治理仲裁的效果。
深度分析
大型語言模型仍可能被對抗性攻擊繞過安全機制。本文揭示「拒絕軌跡」是一組分散於上游層與特定位置的時空激活模式,並提出SALO在推論時捕捉此類稀疏信號。SALO保留層與位置資訊,採多尺度投影與最大池化生成檢測向量,訓練僅用一般安全資料。實驗顯示SALO能在多種攻擊下大幅提升檢測率。
深度分析
本文報導一篇來自 arXiv 的研究,提出「認證純度」架構,將認知工作流程系統的治理從運行時習慣轉為結構化能力邊界。核心做法包括受限 WebAssembly 編譯目標(移除產生副作用的指令)、以密碼學簽章綁定的純度憑證、在執行前拒絕未經認證的執行器的運行時驗證閘,以及透過遠端見證實現跨組織可攜帶的治理憑證。
深度分析
Chat2Workflow 提出第一個以自然語言直接生成可執行視覺化工作流程的基準,資料集來自真實商業流程、覆蓋六大領域,並能轉換成 Dify、Coze 相容的 YAML 部署檔。研究發現現階段最先進的大型語言模型雖能掌握高階意圖,卻在節點選擇、控制流程與多回合變更下常產生不可執行或不穩定設計;
深度分析
託管LLM常被以低成本模型替代;論文提出以Merkle承諾的commit-open協議,事先提交SAE每位置信息,再隨機開放抽檢並以joint-z分數判定,能辨識跨家族與LoRA自適應替代,且在測試中對多數攻擊者均生效。承諾開放可閉合SVIP的平行提供漏洞,額外開銷小於特定批次延時上限。
深度分析
本文從代幣層級的歸因問題切入,檢視以可驗證報酬訓練(RLVR)時序列級獎勵如何被錯置到不重要的代幣,提出結合報酬極性與代幣熵的「四象限分解」診斷工具。作者用條件互信息形式化代幣與結果獎勵的依賴,證明代幣能承載的學習訊號上界受其熵限制;
深度分析
面對層級表頭、合併儲存格等複雜表格格式,ASTRA提出一套訓練-free的語意樹重構與雙模推理流程,以改善大型語言模型在表格序列化與數值推理上的盲點。系統由AdaSTR負責以LLM全域語意重建「邏輯語意樹」,保留顯性階層與隱性語義關係;DuTR則在該結構上執行雙模推理,結合基於樹的文本搜尋與符號化程式執行以做精準驗證。