MiRD：透過未覆蓋風險拆解提高開放式問答的可靠集合預測

MiRD：將未覆蓋風險拆解以提升開放式問答的可靠集合預測

大型語言模型（LLM）已成為開放式問答系統的核心元件，但生成答案的不確定性與幻覺現象仍然普遍。傳統以集合預測（set-valued prediction）搭配分割 conformal 校準的思路，寄望以包含多個候選答案的集合來減少錯誤；然而在開放式生成場景，有限數量的隨機取樣可能根本沒有產生任何可接受的答案，這使得僅靠後設篩選無法保證真實覆蓋率。

核心想法：風險拆解

MiRD（Miscoverage Risk Decomposition，不覆蓋風險拆解）提出一個清晰的統計分解：把整體未覆蓋率分為兩個互相獨立、可控的成分——

1. 有限抽樣失敗（marginal sampling-failure）：在固定取樣預算下，抽樣過程沒有產生任何可接受答案的邊際機率。
2. 條件篩選失敗（conditional selection-failure）：在候選集中確實含有可接受答案的條件下，後續的 conformal 篩選把所有可接受答案一併過濾掉的機率。

透過這個分解，MiRD 採用兩階段流程：第一階段為抽樣失敗建立期望層級的上界；第二階段在抽樣成功的條件下，利用全量校準集合（不丟棄抽樣失敗的校準例）來校準篩選閾值。

方法細節（概要）

在實務流程中，對於每個輸入 x 從模型 G 生成 M 個隨機答案，構成候選集合。以任務專屬的接受判定函數 A(y*, y^) 來判定候選是否為可接受答案。第一階段 MiRD 估計在預定 M 下採樣失敗的期望上界（即 p_fail 的一個上界）。第二階段在條件 Z=0（至少出現一個可接受答案）的情況下，對候選答案計算與接受判定相關的非一致性分數，並基於全量校準集合來選出保證條件風險不超過 α 的閾值 λ^。

與既有方法的差異比較

現有方法多半只處理篩選階段的風險，常見做法包括：

• 成功子集校準（successful-only calibration）：丟棄那些在校準時沒有抽到可接受答案的例子，只在剩下成功的子集中校準閾值，這會改變校準分佈並可能造成偏差。
• PAC 式或信賴區間法（sample-then-filter 的 UCB）：以信賴區間或 PAC 風格的額外置信參數 δ 來放寬保證，但這些方法提供的是帶有額外置信參數的上界，並非直接的邊際 conformal 保證。

MiRD 的創新在於保留「全量校準集合完整性」，即使某些校準點在抽樣時沒有可接受答案，也仍利用其真實標註來建構非一致性分數資訊。理論上，這會導致比成功子集校準更保守（或相容地更安全）的閾值，但也讓校準保留完整資料分佈，減少分布扭曲。實驗結果顯示，與 PAC 式界限相比，MiRD 的第一階段上界更緊；與成功子集校準相比，MiRD 的最終預測集合在難度變化時更具適應性。

實驗設計與主要發現

研究在三個 QA 資料集（含 TriviaQA、CoQA、Natural Questions）與八個公開大型語言模型（LLM，涵蓋多個模型族）上進行評估。衡量指標包含三類風險：採樣失敗風險、條件選擇風險，以及整體未覆蓋風險。評估採用大量隨機校準/測試切分的蒙地卡羅估計以量化邊際有效性。

關鍵實驗發現：

• MiRD 在三個層面（採樣、條件選擇、整體）上能保持理論上界之下的經驗風險，達成邊際有效性。
• 第一階段所推導的期望上界，在實務上比常見的 PAC/信賴區間法更緊，代表在相同抽樣預算下能獲得較小的保守量。
• 第二階段使用全量校準集合產生的篩選閾值，比僅以成功子集校準的閾值更能隨樣本困難度自適應，進而生成更實用的預測集合。

深度分析：技術與實務意義

統計上把未覆蓋風險拆成「可歸因的兩類錯誤來源」，提供了清晰的緩解策略：若採樣預算受限，設計者可優先縮減第一階段的上界（例如增加 M 或改善生成策略）；若抽樣能產生可接受答案，則第二階段的 conformal 篩選就能更有效地保證條件覆蓋。這種分離也讓系統的可解釋性更高，便於在工程上做 trade-off。

從系統設計角度看，MiRD 提示一個實務路徑：把生成策略與集合校準視為互補而非替代。與以往側重篩選的做法不同，MiRD 強調在源頭估計抽樣可行性，並在保留校準資料完整性的前提下做閾值校準，這在資料分布變化或樣本困難度高的場景尤其重要。

未來影響與產業走向

MiRD 的框架將對 AI 產品與開發生態帶來幾項可能影響：

• 為問答與生成應用提供明確的可靠性度量管線，利於設計可驗證的服務等級協議（SLA）。
• 在生成式應用普及下，工程團隊可能採納類似的分階段風險管控，將資源分配於提升抽樣覆蓋（模型或解碼策略）與改良校準分數兩端。
• 學術與開源社群在比較不同保證方式時，將更重視是否破壞校準集合分佈，以及上界的保守程度對下游實用性的影響。

限制與注意事項

MiRD 繼承了 conformal prediction 的若干假設，其中最重要的是校準集合與測試例之間的交換性（exchangeability）。此外，第二階段的選擇仍依賴於基於接受判定之非一致性分數的相容性假設；若該分數與實際接受判定行為弱相關，篩選效果會受限。研究也指出 MiRD 在理論上比成功子集校準更保守，但這種保守性在保障邊際有效性與保持校準集合完整性之間是一個可接受的折衷。

結語

MiRD 以統計分解的觀點，提供了一條在開放式問答中同時控制抽樣與篩選兩種風險的可行道路。藉由第一階段針對有限抽樣的期望上界與第二階段在全量校準集合上的 conformal 篩選，MiRD 兼顧理論保證與實務適應性，對需要高可靠性的生成式問答系統具體可行的價值。

延伸閱讀

• 「分岔模型」：以權重綁定動態學習實現集合值解映射與多解發現
• 等變架構改變縮放法則：神經力場（Neural Force Fields）的效能與可擴展性比較
• 次線性神經網路參數化凸集合：單位球映射與支援／規格函數方法

代理人點評

MiRD 的最大價值在於把"沒有抽到好答案"與"抽到後被過濾掉"兩個風險源分離，這對工程實務很重要：它讓團隊能在抽樣策略與篩選校準間做明確分工。保留全量校準集合是個務實選擇，雖然會略微增加保守性，但能避免因丟棄資料而扭曲校準分佈。未來可結合更強的生成策略或自適應抽樣，進一步把第一階段風險降低，讓整體系統在真實應用中更可靠。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。