深度分析
「Kaleidoscope」情境式 AI 功能評估工作流：結合人類校正與 LLM 判官
針對公共部門AI應用的評估瓶頸，研究團隊推出Kaleidoscope工作流，結合人格化測試生成、可客製化評分規範與人類校正的LLM判官機制，於四項實務案例中驗證可提升自動化評分的可靠性與成本效益。此流程亦支援本地治理決策，未來可延伸至多回合代理人與檢索系統，為AI應用測試提供更完整的閉環改進機制。
深度分析
針對公共部門AI應用的評估瓶頸，研究團隊推出Kaleidoscope工作流，結合人格化測試生成、可客製化評分規範與人類校正的LLM判官機制，於四項實務案例中驗證可提升自動化評分的可靠性與成本效益。此流程亦支援本地治理決策，未來可延伸至多回合代理人與檢索系統，為AI應用測試提供更完整的閉環改進機制。
深度分析
隨著AI系統頻繁出現獎勵駭客問題，研究者開發出小型Transformer編碼器，將終端扳手軌跡映射至單位球面，使嵌入距離近似獎勵與元資料的L1距離。線性探測器在清理後測試集上達0.9467 AUC與0.8296 TPR@5%FPR，與使用GPT‑5.4的大型LLM判官相當，且成本低四個量級。