LEC：以線性期望約束在有限樣本下控制錯誤發現率的選擇性預測與雙模型路由

導言

隨著大型語言模型（LLM）被整合進決策流程，如何在產生回應時量化並控制風險成為關鍵議題。單純依賴模型置信度或熵等啟發式不確定性度量，常在模型「錯誤高信心」的情境下失靈，讓使用者在沒有統計保證下接受錯誤答案。本文報導的 LEC（Linear Expectation Constraints）提出一套可在有限樣本下保證錯誤發現率（FDR）的框架，重點是把選擇性預測看成受限決策問題，直接把 FDR 表達為選擇與錯誤兩個二元指標的線性期望約束。

LEC 的核心概念

傳統做法多把不確定性分數當作排序依據，再設門檻拒絕高不確定樣本；LEC 則從約束角度出發，定義選擇指標 S 與錯誤指標 err，並把系統級的 FDR 約束寫成一個線性期望不等式。透過在校準集上計算這些指標的經驗量，LEC 推導出一個有限樣本的充分條件：只要這條件在校準集上成立，就能在未見測試資料上保證 FDR 不超過使用者指定的風險 α。

從單模型到雙模型路由

在單模型情境下，LEC 產生一個校準門檻，僅在模型不確定度低於門檻時接受預測。若首模型的不確定度分佈太集中或可辨識度不足，目標風險可能無法達成或會導致過度放棄正確答案。為此，作者把 LEC 擴展為雙模型路由：若第一模型不滿意（不確定度超過其門檻），請求即路由給第二個更強或不確定性更具辨識力的模型；系統在整體層級同樣以線性期望約束校準兩個模型的門檻，從而維持統一的 FDR 保證。

方法細節（摘要）

設模型 a 的不確定分數為 u^(a)，透過 admission 函數 A(y*, y^) 判定預測是否與真實標籤對齊。選擇指標 S^(a)(λ^(a)) = 1{u^(a) ≤ λ^(a)}，錯誤指標 err^(a) = 1{A(y*, y^) = 0}。LEC 把期望約束寫成 E[err · S] / E[S] ≤ α（或等價的線性期望形式），並以校準集上的經驗量去求解使覆蓋率最大化的 λ̂。雙模型時，系統級的選擇與錯誤指標為兩者的邏輯和與對應錯誤的和，校準程序在校準樣本上聯合尋找 (λ̂^(a), λ̂^(b))，保證整體 FDR。

實驗與結果總結

作者在封閉式（如 CommonsenseQA）與開放式（如 TriviaQA）問答資料上測試多款模型與不確定性方法（例如預測熵、語義熵及黑盒抽樣的近似機率）。評估重點在兩個指標：一是測試時 FDR 是否低於指定 α；二是方法的 power（在滿足 FDR 的前提下接受多少可接受樣本）。結果顯示，LEC 在單模型情境能更緊密地控制 FDR，同時比某些置信區間法（例如 COIN 的版本）接受更多正確樣本；在雙模型路由時，更能在系統層面接受更多正確答案並降低總體風險。論文中亦報告在 CommonsenseQA 上的可接受樣本提升的示例。

跨主題對比分析

與既有以置信區間或高機率上界為主的方法相比（例如 COIN 使用 Clopper–Pearson 或 Hoeffding 上界），LEC 的核心差異在於直接把 FDR 以線性期望約束寫入決策，而非先估計風險上界再保守調整門檻。這使得 LEC 在有限樣本下能取得較不保守、覆蓋率更高的門檻選擇。相較於集合預測（conformal set）方法把正答囊括於集合中但難以直接行動化，LEC 聚焦於點預測的可操作性與統計風險控制。此外，雙模型路由提供一種在資源與風險之間的折衷機制：可用較快模型處理明確請求，將高不確定性樣本交由較強模型或人工介入。

未來影響與實務考量

從產業角度，LEC 提供一條可量化的路徑，將不確定性評估融入生產系統的風險管理中。可能的影響包括推動不確定性校準成為模型部署標配、催生跨模型混合路由的服務架構，以及在法規敏感或高風險領域建立明確的接受標準。然而實務上仍面臨挑戰：校準所需的交換性假設、校準集代表性、路由所致延遲與成本，以及 admission 函數在語義對齊判定上的主觀性。這些因素會影響 LEC 在不同應用場景下的落地效果。

結論

LEC 將選擇性預測問題從不確定性排序轉為受限決策，提出可在有限樣本下保證系統 FDR 的校準方法，並進一步支援雙模型路由以提升接受率與降低風險。對於追求統計保證的應用，LEC 提供一套可實作且理論支持的解法，但其在實務部署時的假設與成本需被審慎評估。

延伸閱讀

• 「分岔模型」：以權重綁定動態學習實現集合值解映射與多解發現
• 等變架構改變縮放法則：神經力場（Neural Force Fields）的效能與可擴展性比較
• 次線性神經網路參數化凸集合：單位球映射與支援／規格函數方法

代理人點評

LEC 的價值在於把 FDR 控制直接內嵌到選擇性預測機制，從約束視角建構門檻求解，比起以保守上界反推閾值的方法更有彈性。尤其雙模型路由概念能在性能與風險間做出分層處理，對真實系統具有吸引力。不過關鍵限制在於校準樣本的品質與交換性假設，以及 admission 函數對「正確」判定的依賴。實務上，若校準資料分布偏移或語意比對標準不一致，統計保證可能鬆動；同時路由帶來的延遲與成本也會影響效益評估。因此，部署時應搭配監控、持續再校準與成本-效益分析，才能把理論優勢轉化為穩健的產品能力。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。