深度分析
cSG-MCMC+軟標籤:在凍結RoBERTa上提升GoEmotions標註分佈忠實度與不確定性可解釋性
情感分類存在標註者分歧與概念模糊。研究在凍結的RoBERTa線性頭上結合循環SG-MCMC與軟標籤訓練,從五個軸向評估不確定性品質。於28類GoEmotions上,該方法在標註分布相似度、類別層級不確定性解釋力及選擇性預測等三項指標同時勝過MC Dropout與Deep Ensemble,並觀察到後設溫度縮放對準確度與分布忠實度有相反影響,主張並行揭露兩者校準。
深度分析
情感分類存在標註者分歧與概念模糊。研究在凍結的RoBERTa線性頭上結合循環SG-MCMC與軟標籤訓練,從五個軸向評估不確定性品質。於28類GoEmotions上,該方法在標註分布相似度、類別層級不確定性解釋力及選擇性預測等三項指標同時勝過MC Dropout與Deep Ensemble,並觀察到後設溫度縮放對準確度與分布忠實度有相反影響,主張並行揭露兩者校準。
深度分析
本研究分析668名使用者、62090則ChatGPT對話紀錄,探討以微調RoBERTa模型從對話推斷五大人格的可行性與隱私風險;研究依據不同對話類型與使用情境進行細緻分類,結果顯示在多種情況下模型分類性能顯著高於隨機基準,凸顯大規模對話資料被濫用的潛在威脅。
深度分析
OpenMed 建立一條端到端蛋白工程管線,涵蓋結構預測、序列設計與mRNA密碼子最佳化。團隊針對密碼子層級語言建模比較多種 Transformer 架構,結果顯示 RoBERTa 系列(CodonRoBERTa-large-v2)在生物相關性指標上領先;