速報
2024 年大型語言模型偏見評估：性別、種族與年齡差異揭露與去偏矛盾
本研究針對四款 2024 年新發表的大型語言模型（Gemini 1.5 Pro、Llama 3 70B、Claude 3 Opus、GPT‑4o）進行性別、種族與年齡偏見的系統性測試。結果顯示，模型在職業描述上女性出現率比美國勞工統計局資料高出 37%，而在犯罪情境中，性別偏差達 54%、種族偏差 28%、年齡偏差 17%。
Latest
深度分析
結合 CharCNN 與 CodeBERT 的三類憑證偵測框架：提升跨語言精準度與降低誤報
隨著公開Git儲存庫憑證外洩持續升高，研究提出結合字符卷積與CodeBERT語意編碼的三類偵測模型，能區分真實憑證、佔位字串與無危害代碼，測試顯示召回率93%、精確度89%，且高危警報減少33%。資料集涵蓋10種程式語言共9426筆手動標註樣本，模型在跨語言留一測試中8語言F1超過0.80，Matthews相關係數達0.86。
深度分析
掩蔽擴散語言模型、λ‑scaled 結構解碼與 Graph‑LLaDA 提升圖到文字生成效能
本研究聚焦於圖到文字生成，探討掩蔽擴散語言模型的解碼軌跡。發現模型會先生成實體，再填入關係與功能詞，最後處理標點。針對監督微調導致的結構標記過早產生，提出λ‑scaled結構解碼，將BLEU‑4提升逾9分。此外，結合圖轉換器的Graph‑LLaDA在跨資料集測試中顯著超越傳統基線。
深度分析
以 I/O 為導向的 GPU 核心優化：加速圖神經網路的 SpMM、聚合與注意力層
隨著圖神經網路在推薦與詐欺偵測等領域的應用擴大，記憶體存取瓶頸限制效能。研究者以I/O與算術強度為核心，將常見層分為SpMM、聚合與注意力三類，開發減少資料移動的GPU核心。實驗顯示注意力層最高可提速8.5倍，記憶體需求降低至6倍。聚合層可達10倍加速，SpMM層在快取優化下提升至8倍，圖重排僅對高階節點密集情境有顯著效益。
速報
LLM 成為 GPU 核心效能預測代理，大幅提升深度學習核函式搜尋效率
GPU 核心函式的效能測試成本高，研究以大型語言模型作為選擇性 GPU 替代，預測核函式相對表現。實驗顯示 LLM 能準確預測且經強化學習後校準度提升，讓搜尋在相同 GPU 預算下評估更多候選。最終找到的核函式比傳統基線更快，證明 LLM 可成為 GPU 虛擬模型，協助核函式優化。
速報
PithTrain：以代理人效能為核心的 MoE 訓練框架
Mixture-of-Experts（MoE）已成為前沿語言模型的主流架構，傳統的生產框架在效能與彈性上投入大量工程資源。為降低新架構與系統優化的開發成本，研究團隊提出以 AI 編碼代理人自動化開發的概念，並以此為基礎打造 PithTrain——一個針對代理人任務效率（ATE）優化的緊湊 MoE 訓練框架。
深度分析
CYKNN：將 CYK 演算法直接編碼於神經網路的創新架構
研究以CYK演算法為例，直接將其運算流程注入神經網路，提出CYKNN架構，透過可訓練的矩陣向量乘法實現語法分析。實驗顯示在簡易文法測試中，該模型優於20億參數以上的大型語言模型與經LoRA微調的較小模型。此舉為神經符號結合開啟新方向，預計將影響語法分析與程式語言編譯的研發路線。
速報
自我訓練語言模型：無提示自生成語料提升能力的潛在相容性假說
研究探討在不使用提示、教師或獎勵模型的情況下，語言模型能否僅透過自我生成的純文字資料進行自我訓練。結果顯示，合成語料的效用取決於資料與模型之間的相容性，而非資料本身的固有品質。相同系列的模型間轉移效果最佳，跨系列則顯著較弱。傳統的語意相似度或平均機率指標無法預測哪類語料有助於提升模型表現。
深度分析
CheckMate 結合 OpenEvolve：程式演化自動產生高效組合與最佳化求解器
隨著工業AI對組合與最佳化問題需求提升，研究團隊提出CheckMate結合OpenEvolve的程式演化框架，僅以「什麼」的形式規範解答與自然語言描述，引導LLM產生專屬求解器。實驗顯示，在配置與排程等兩大產業領域，演化出的演算法在大型或困難案例上遠超現有最佳求解器，展現自動化產生高效演算法的潛力。
深度分析
ASG（退火 Softmax）策略於 RLVR 多臂貝式強盜賭局的貝氏遺憾上界與實驗比較
研究探討在多臂貝式強盜賭局中，退火Softmax貪婪策略如何在不考慮不確定性的情況下仍能取得近最佳貝氏遺憾。結果顯示，於上尾線性正則先驗下，該策略達到O~(m+T/m)的遺憾率，與純貪婪方法等效，且在臂數與時間規模匹配時可達到O~(√T)的近最佳表現。
速報
Sophrosyne：降低 Text2SQL 探索過度的智慧資料系統介面
研究指出，Text2SQL 代理人在使用細粒度 API 時常會過度探索，導致查詢不準確。Sophrosyne 透過在 API 回應加入指示，引導代理人聚焦相關結構，成功將過度探索降低 4.6 倍，提升正確率約 12.4%。此方法為提升 LLM 生成 SQL 的效能提供新思路。
