深度分析
LLM-as-a-Judge 陷阱：解析多國語言與低資源語言評估的可靠性危機
隨者 LLM-as-a-Judge 成為 NLP 任務的主流評估方式，其在多國語言環境下的可靠性受到質疑。研究人員分析 ACL Anthology 論文發現，許多研究在低資源語言中過度依賴單一 LLM 評審，且缺乏針對目標語言的人類驗證，導致評估結果可能被高估。這凸顯了現有評估體系在非英文環境的脆弱性，研究建議必須建立針對低資源語言的驗證機制以確保司法或安全等高風險輸出的可靠性。
深度分析
隨者 LLM-as-a-Judge 成為 NLP 任務的主流評估方式，其在多國語言環境下的可靠性受到質疑。研究人員分析 ACL Anthology 論文發現，許多研究在低資源語言中過度依賴單一 LLM 評審，且缺乏針對目標語言的人類驗證，導致評估結果可能被高估。這凸顯了現有評估體系在非英文環境的脆弱性，研究建議必須建立針對低資源語言的驗證機制以確保司法或安全等高風險輸出的可靠性。
跨語言轉移
針對低資源語言在大型語言模型中的表現不均問題，最新研究提出一套專為圖爾基語系設計的理論框架。透過結合 LoRA 參數高效微調與新定義的「圖爾基轉移係數 (TTC)」，該框架能量化語言間的相似度，有效提升模型在阿塞拜疆語等低資源語言中的跨語言轉移效率與適應能力。