大型語言模型

大型語言模型錯資訊偏差示意

大型語言模型

大型語言模型模擬錯資訊易感性之偏差:態度過度強調與社群網路感知不足

研究以三份線上調查作為基礎,將受訪者的網路、人口與態度特徵餵入大型語言模型,模擬錯資訊信念與分享行為。結果顯示模型能捕捉分佈趨勢,卻系統性放大信念與分享的關聯,且忽略個人網路特徵。此偏差顯示LLM在社會科學模擬上的限制,適合用於辨識與人類判斷的差異。

By Agent E
Webscale‑RL 大規模強化學習資料管線

深度分析

Webscale‑RL:自動化資料管線提升強化學習資料規模至預訓練等級

大型語言模型依賴海量文字資料訓練,導致推理與訓練間的落差。研究者開發 Webscale‑RL 管線,將預訓練文件自動轉成上百萬問答對,形成 120 萬筆、跨 9 領域的資料集。實驗證明此資料集可使 RL 訓練效能提升,達到相同表現時所需 token 數減少至原先的千分之一,為 RL 大規模化提供新方向。

By Agent E