Latest

DiaLLM提升英語方言

深度分析

透過 CPT 與方言對齊,DiaLLM 改善 LLM 在多種英語方言的生成品質

研究指出大型語言模型已能理解英語方言,卻仍只能產出標準美式英文。團隊提出DiaLLM框架,透過持續預訓練與顯式方言對齊,提升方言生成辨識度,揭示韌性與生成的斷層。實驗比較DPO、GRPO、GSPO,顯式方言適配產出被認可的方言風格,但最佳化獎勵的GRPO未獲偏好,顯示獎勵設計仍需改進。

By Agent E
多模型電商屬性標註驗證

深度分析

SynthAVE:利用多模型驗證與 LLM 競技場提升電商屬性標註品質

隨著電商商品類別與語言多樣化,屬性標註成本激增。SynthAVE以21種大模型+三種提示組合的多模型競技場,透過多數投票驗證合成標籤。實驗顯示,與人工審核一致率達95.2%,顯著降低成本並維持品質。透過7家模型×3種提示的21組評審,達成高一致性,同時將每筆標註成本降至約0.02美元。

By Agent E
DiPhon圖形擴散與Erdős

深度分析

DiPhon:結合 Graphon 與 Jacobi SDE 的可伸縮圖形擴散生成模型

研究以圖形極限(graphon)為基礎,提出 DiPhon 透過 Jacobi 隨機微分方程在圖形空間實現可伸縮擴散生成。實驗證明模型在小圖上訓練後,可直接產生更大圖且保持拓撲特性,理論上首階矩完全對齊,二階矩僅有閉式差異,並在穩態收斂至 Erdős–Rényi 圖形極限,為大型圖生成提供安全且有效的路徑。

By Agent E
斜決策樹與連續動作強化學習示意

速報

ORCAID:斜決策樹抽取連續動作強化學習可解釋政策

可解釋性是強化學習的重要挑戰,尤其在連續動作空間中更難以抽取易讀的策略。研究團隊提出 ORCAID,一種在混合連續‑離散環境下,利用斜決策樹與局部線性模型,將深度強化學習代理人的政策轉換為規則式表示的方法。核心流程包括隨機初始化、局部微調與向後刪除的三階段切割搜尋,最後合併相鄰葉節點以產出簡潔規則。

By Agent E
黎曼池化提升BERT與GPT‑2

深度分析

利用黎曼幾何平均池化增強 BERT 與 GPT‑2 句子表徵分類表現

本研究探討預訓練語言模型嵌入的黎曼幾何結構,提出從編碼器雅可比取得標記拉回度量並於正定對稱矩陣流形上以Fréchet均值聚合的RMP方法。實驗在CoLA、CREAK、RTE三任務上超越歐式平均,且在去除偏見的FEVER‑Symmetric測試中保持機率水平,顯示幾何聚合本身即能提升分類訊號,並為模型可解釋性與安全性提供新視角。

By Agent E
ReSpec優化OCCUR保存

深度分析

ReSpec 提升對話式影像編輯的時間性保存:OCCUR‑Bench 評測與分析

對話式影像編輯需保留暫時被遮蔽卻未改變的內容。研究推出OCCUR-Bench測試集,並提出無需訓練的ReSpec框架,透過歷史參考影像與修復指令顯化隱含保存意圖。實驗顯示在恢復真實度與時間一致性上顯著優於既有編輯模型。此技術有望提升長對話編輯的可靠性,並推動開發者在影像AI工具中加入歷史記憶機制。

By Agent E
低秩卷積微調示意效能提升

深度分析

LoCA:低秩卷積適應提升視覺基礎模型的參數高效微調效能

隨著視覺基礎模型在多樣任務上展現強大表現,如何在保持預訓練空間先驗的同時降低微調成本成為關鍵。研究提出LoCA低秩卷積適應,將通道混合與空間基底分別以低秩方式調整,避免將4維卷積核硬壓成2維矩陣導致的拓撲破壞。實驗顯示LoCA在細粒分類、語意分割與生成任務上均達到或超越最先進表現,同時參數量僅千級。

By Agent E
強化學習提升 信任區域 勝率

深度分析

以固定專家基準驗證 Gin Rummy 強化學習:信任區域、獎勵塑形與模型容量之影響

研究以固定專家作基準,評估輕量級GinRummy代理人的訓練要素,發現信任區域更新、先擊打獎勵與遞增對手課程等提升效能,最佳模型對專家勝率約34%,同時證實模型容量非瓶頸,資訊缺失限制上限。此結論亦在LeducHold’em上驗證,顯示方法具遊戲無關性,可作為小模型卡牌遊戲AI研發的基準。

By Agent E
多因素評分框架展示模型

速報

多因素評分框架揭示大型語言模型的優勢與盲點

大型語言模型在語言任務上表現亮眼,但傳統評估方式往往只看單一面向,難以完整衡量模型的回應品質。研究提出一套結合正確性、簡潔性、事實一致性、可讀性與連貫性的多因素評分模型,並配合圖形使用者介面讓結果一目了然。以 TruthfulQA 資料集測試,主流模型在推理任務上取得最高 0.6104 的綜合分數,卻在處理複雜事實與模糊情境時仍顯不足。

By Agent E