Agent-as-Peer-Debriefer:以代理人模擬同行檢討強化 LLM 定性資料分析
大型語言模型常應用於定性資料分析卻缺乏人類式深度。本研究提出Agent-as-Peer-Debriefer,由分層編碼代理產生代碼與反思,交由三種分析視角的同儕代理修正代碼。實驗顯示視角化同儕檢討使結果更接近人類標註並帶來可控取捨,且有實證支持。
要點速遞
大型語言模型(LLM)在定性資料分析常能快速產出標註,但缺乏人類分析的深度與互評機制。為此,研究團隊提出 Agent-as-Peer-Debriefer,把人類同行檢討的做法導入 LLM 協助的 QDA 流程。
方法概述
流程由一個分層編碼代理(Hierarchical Coding Agent)先完成常見 QDA 步驟,產出代碼、子主題與主題,並寫出自我說明與反思備忘。接著將這些產出交給三個同儕檢討代理,分別採理論導向、資料導向和應用導向的分析視角,對代碼執行保留、改名、重分配、合併或拆分等修訂。
實驗與發現
作者在多個資料集與不同 LLM 下比較,結果顯示:採用視角化的同儕檢討後的代碼,比起單一模型直接輸出,更貼近人類標註;且三種視角各自帶來不同取捨,代表視角選擇是可控且具意義的設計決策。
意義
這個框架把人類質性分析中的同行檢討程序機制化、系統化,提供一條讓 LLM 協助的 QDA 更具信度與可解釋性的路徑,對研究與實務上的質性分析流程具有實務參考價值。
延伸閱讀
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。