可重用評估管線：為生成式人工智慧會議摘要建立標準化基準
研究團隊提出一套可重用的生成式人工智慧評估管線，並針對會議摘要場景釋出公開套件。系統將評估流程拆成五個階段：來源擷取、結構化參考建構、候選生成、結構化評分與報告，並把參考與評估輸出當作帶類型的持久化資產，方便彙總、議題分析與統計檢驗。
可重用評估管線概覽
研究團隊提出一套針對生成式人工智慧應用的可重用評估管線，並以會議摘要作為實例推出公開的資料與套件。設計將可重用的協調流程與任務專屬語意分離，分成五個階段：來源擷取、結構化參考建構、候選生成、結構化評分與報告，並把真實參考與評估輸出都當作帶類型的持久化產物，便於後續彙總、議題分析與統計測試。
離線基準與關鍵發現
離線評估使用含 city_council、private_data 與 whitehouse_press_briefings 的 114 場會議，產生 340 組會議—模型配對與 680 次評審執行，測試對象包括 gpt-4.1-mini、gpt-5-mini 與 gpt-5.1。結果指出 gpt-4.1-mini 在平均準確度上達到 0.583；而 gpt-5.1 在完整性與覆蓋率上領先，分別為 0.886 與 0.942。配對符號檢定（Holm 校正）未顯示準確度上有明顯單一勝出者，但確認 gpt-5.1 在保留率上有顯著提升。
另外，一個 typed DeepEval 對照基準在保留率排序上與主結果一致，但回報較高的整體準確度，這提示以參考為基礎的評分可能忽略某些「不被支持的具體內容」錯誤。型別化分析也指出 whitehouse_press_briefings 類別在準確度上較具挑戰性，較常出現不被支持的具體陳述。
後續部署觀察
後續部署比較顯示 gpt-5.4 在所有指標上超越 gpt-4.1，特別是在保留率相關指標上具有統計上可靠的提升。該系統已能衡量離線迴圈並提供文件化流程，但線上由使用者回饋回流至評估的量化路徑尚未在本文中完整評估。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
