人工智慧會議摘要評估系統：可重複、隱私保護與保留率差異揭示
在實務上，團隊常在尚未完成回歸或模型選擇前推出會議摘要功能。本研究提出一套面向實務的人工智慧會議摘要評估系統，結構化地建構標註、以固定候選摘要供評審比較，並採主張依據的評分方法；系統同時提供隱私界定的線上監測與提名介面，以輸出隱私安全的聚合指標。
要點
研究提出一套可重複使用的人工智慧會議摘要評估系統，結合結構化標註、固定候選摘要生成與主張依據評分，並附隱私界定的線上監測與提名介面。
系統將線上證據視為監測來源而非基準資料，以隱私安全的聚合匯出顯示監測活動、困難區段偵測與方向性變化，避免揭露使用者內容或敏感資料。
離線基準在city_council、private_data與whitehouse_press_briefings三領域共114場會議上執行，產出340個會議-模型配對與680次評審執行，測試模型包含gpt-4.1-mini、gpt-5-mini與gpt-5.1。
在固定評測流程下，整體準確度差異經Holm校正後未達顯著（校正後p值範圍0.053–0.448），但gpt-4.1-mini平均準確度最高（0.583）。顯著差異主要出現在保留面向，其中gpt-5.1在完整性與覆蓋率上領先，分別達到0.886與0.942。
型別切片分析指出whitehouse_press_briefings為一個準確度較難的場域。後續針對gpt-4.1、gpt-5-mini與gpt-5.4的重跑重用相同堆疊、評審與度量，保持結果可比較性。
總結來說，這套評估堆疊強調可重複性、固定候選與主張導向評分，並在保護隱私前提下提供實務可用的監測信號，能在模型尚未穩定時為部署提供量化參考。
延伸閱讀
- 以 NCE 與 SSE 驗證的 AgentSOC：結合生成式推理與圖形化可行性驗證
- pAI/MSc：以人為監督的多代理研究管線與可審計 LangGraph 工作流
- MedSkillAudit：以分層審核評估醫學研究代理人技能的部署準備度
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
