模型校準 - Agents Report

深度分析

本研究提出一套不需額外訓練的通用框架，結合模型校準、級聯路由與資料清理三大技術，讓視覺與語言模型能更可靠地辨識自身的未知區域。實驗顯示，經校準的信心分數在單一模型內呈現單調上升與正確率的關聯，且在驗證集上學得的校準參數可直接套用至測試集，保持低的預期校準誤差（ECE）。

深度分析

研究背景：RLVR 用程式化可驗證信號提升大型語言模型於數學與程式任務的表現。方法：文章檢視預算匹配、偏提示污染與評分穩定性，並提出分項獎勵與稅意識訓練協議，包含校準拒答與審核溯源。主要影響：在嚴格對照下，若干號稱的推理增益會收斂或消失，建議以更健全的評估與報告標準保留實用收益同時降低風險。

深度分析

研究聚焦開放式問答中可信度評估，提出語義抽樣框架Sem-ECE；透過多次生成並以LLM裁判將回答歸入語義類別，再以頻率估算置信度並定義Sem1與Sem2兩種估計器；實驗顯示Sem-ECE在多數模型與基準上優於口述置信度，且Sem2在困難題目上減少校準誤差。

深度分析

隨著推薦系統偏差問題受關注，研究者提出可微分的IsotonicLayer，透過分段線性與非負斜率嵌入實現全局單調校正，實驗在大型線上測試中提升預測準確度與排序一致性。該層支援上下文嵌入與雙塔結構，同時優化相關度與偏差校正，較GEM激活函數在單調性約束上提供更直接的公平保證。

醫學影像分類

醫學影像模型需提供可靠的不確定性量測。研究者在 MedFormer 基礎上加入原型學習與 Dirichlet 證據式不確定性，讓模型即時定位模糊區域並過濾噪聲特徵。四大影像測試顯示校準誤差降低最高 35%，提升選擇性預測可靠性。

VOLTA

研究指出在安全關鍵應用中，不確定性量化缺乏共識。VOLTA 只保留編碼器、原型、交叉熵與溫度縮放，省去多餘輔助損失。實驗顯示其在 CIFAR‑10 等資料集上校準誤差最低，且具備良好異常偵測能力，成為輕量校準替代方案。