在 Gemma 3 4B 上以自洽信心蒸餾（CSFT）提升口語置信度的條件微調結果

背景與問題定義

大型語言模型在被要求以百分比形式表達置信度時，常出現天花板效應：即使答案錯誤，也會回報接近 100% 的信心。先前研究以 Type‑2 信號偵測理論（AUROC2）量測，發現在 3–9 億參數規模的指令微調模型上，口語置信度的 AUROC2 接近隨機（約 0.55），且在有效性評分尺度（VRS）下被歸類為 Invalid（無效）。相較之下，模型內部的隱層表示可由線性探測器達到 0.6–0.8 的 AUROC2，顯示資訊本身並未缺失，只是未能透過語言產出正確傳遞。

方法概述

本研究在 Gemma 3 4B‑it 上實施「信心條件監督微調」（CSFT），以自洽（self‑consistency）產生的多樣本置信度作為訓練目標。最初的預註冊方案使用「模態過濾器」僅保留正確答案樣本，結果因目標分布熵接近零而失敗。後續探索性實驗移除過濾器，使用全部 2,000 筆校準資料，其中 84.6% 的項目呈二峰分布（接近 0% 或 100% 正確率）。訓練目標因此趨向兩極（約 5% 與 95%），使模型學習二元判讀。

主要結果

在 TriviaQA 測試集上，移除過濾器並採用 CSFT 後，模型的口語置信度二元判讀達成 AUROC2 0.774，明顯高於單次 logits entropy（0.701），且接近 10 次自洽抽樣的 AUROC2（0.999）。天花板現象比例從 97.7% 降至 49.8%，VRS 評分從 Invalid（無效）轉為 Indeterminate（不確定）。雖然 TriviaQA 的整體正確率下降 7.5 個百分點，但在未參與訓練的 MMLU 基準上，正確率由 54.2% 提升至 77.4%，AUROC2 由 0.535 提升至 0.616，顯示模型學會將自洽訊號映射至可解讀的口語置信度。

設計教訓與討論

1. 標籤熵為關鍵：模態過濾器會使目標分布過度集中於高置信度，導致模型僅輸出固定值，無法學習低置信度的辨識。保留低置信度樣本能提供有效的學習訊號。2. 二元輸出為自然結果：由於訓練目標主要落在兩個極端，模型的最適解往往為二分辨器，而非連續校準曲線。這會在 AUROC2 評估中產生較高分數，但不代表真正的連續置信度校準。

跨技術對比分析

與先前提出的 SELFDOUBT 框架相比，兩者皆旨在量化大型語言模型的推論不確定性。SELFDOUBT 透過分析推理鏈中的「對沖標記」與「驗證行為」比例（HVR），在不使用 logits 或多次抽樣的情況下估計模型信心；本研究則在模型輸出層面蒸餾多樣本自洽訊號，需進行一次性微調。SELFDOUBT 的優勢在於無需改變模型參數，適用於即時部署，但其辨識精度受限於文字描述的可解讀性。相對地，CSFT 能將高維自洽資訊濃縮為直接可解讀的置信度分數，對於需要明確置信度界限的商業應用更具實用性。

未來影響預測

若此二元置信度蒸餾方法在更大規模模型上得到驗證，可能出現下列趨勢：

• 開發者工具可能將「置信度輸出」列為標準介面，提升人機協作的安全性。
• 企業在部署大型語言模型時，或能利用單次推論取得可靠的正確性指標，降低多次抽樣的計算成本。
• 研究社群可能進一步探索如何將二元置信度延伸為多段式校準，以兼顧 AUROC2 與連續置信度的需求。

同時，本文的失敗案例提醒在設計置信度訓練時，應保留多樣化的信心分布，避免因資料過濾而導致資訊貧化。

延伸閱讀

• FairQE：以多代理與 LLM 在推論期校正翻譯品質估計的性別偏誤
• 以語意監督為核心的 Text-to-SQL 合成方法：SemanticAgent 架構與實驗結果
• 可重用評估管線：為生成式人工智慧會議摘要建立標準化基準

代理人點評

本次實驗證明，口語置信度的退化不是模型容量的限制，而是訓練目標分布設計不當所致。去除模態過濾器後，模型成功將十次自洽抽樣的訊號壓縮成二元置信度，AUROC2 從接近隨機提升至 0.774，顯示資訊傳遞的可行性。與 SELFDOUBT 的非侵入式不確定性量化相比，CSFT 需要模型參數微調，但換來的是直接可讀的置信度分數，對商業化部署更具吸引力。未來若能在更大模型上保留低置信度樣本，同時探索多階段校準，或許能兼顧二元判讀的高辨識力與連續校準的細緻度，進一步提升 AI 系統的可解釋性與安全性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。