IPR：評估大型語言模型跨提示可靠性的框架
研究指出大型語言模型在社會科學標註上受提示措辭影響。本文提出Inter-Prompt Reliability(IPR)框架，透過成對一致率(PAR)衡量跨同義提示的輸出穩定性。結果顯示詮釋性任務變異較大，知識性任務較穩定，多提示多數決可提高重現性。
要點速報
研究發現提示措辭會顯著影響大型語言模型在社會科學標註上的表現穩定性。
研究方法與發現
文章提出Inter-Prompt Reliability（IPR）作為評估框架，類比評分者一致性，使用成對一致率（PAR）及其分布來捕捉模型在語義等價但語句不同的提示下的行為一致性與隨機性。作者選取兩種性質不同的任務檢驗：一種偏向詮釋判斷，一種以外部知識為依據。
實驗結果顯示：對於詮釋性任務，模型回應呈現較高的隨機變異；而知識錨定的任務則相對穩定。進一步分析發現，對多個提示進行多數決能有效提升重現性並降低變異。
意義與建議
研究提出提示應視為量測工具，提示措辭帶來的方法學不確定性，建議研究者避免僅以單一提示報告結果，應採用提示分布性檢驗與提示聚合來呈現更穩健的標註結果。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
