元認知探針：用五項行為診斷揭露 LLM 自信與正確性落差
研究提出「元認知探針」，用五項行為診斷拆解大型語言模型的信心與正確性關係：包含校準、認知警覺、知識邊界、校準範圍與推理鏈驗證。對八款前沿模型與六十九名人類受測者比較，揭露像Gemini 2.5 Flash出現顯著跨任務不一致。工具為探索性，程式碼與資料已公開。
速報：新工具拆解 LLM 的自信盲點
「元認知探針」提出五維行為診斷，直接檢測大型語言模型報告信心水平與回答正確性的對齊程度，揭示模型可能在局部場景極度自信但實際錯誤。
方法與量表
該儀器由五項任務、共 15 個測位組成，分別衡量：校準（T1-CC）、認知警覺（T2-EV）、知識邊界（T3-KB）、校準範圍（T4-CR）與推理鏈驗證（T5-RCV）。研究在八款前沿模型與六十九名人類參照組上執行比較，並公開程式碼、資料與評分規則以利複檢。
主要發現
研究指出一個顯著發現：在 Gemini 2.5 Flash 中觀察到高達 47 點的任務內外校準差異——該模型在某任務呈現面板最佳的任務內校準，但在跨任務難度預測上卻表現最差。整體上只有校準範圍（T4-CR）達到預先設定的可靠性門檻，其餘四項目前仍屬探索性診斷，研究團隊將透過後續的 rubrics 試點與更多模型、人類受測者進行規模化驗證。
意義與後續
作者強調此探針是行為面向的探索性工具，目的在於揭露綜合基準可能掩蓋的過度自信或盲點，對設計信心門控的應用（如自動升級機制）具有警示意義。後續計畫目標擴展模型與人類樣本，以評估量表的一致性與可重現性。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
