HolUE：開放式文字分類的不確定性估計方法與實驗驗證
研究針對開放式文字分類的可信度需求，將 HolUE 方法套用於文字領域，捕捉查詢與資料分布的不確定性。實驗在四大資料集上提升 40% 至 365% 的預測拒絕率，顯示對未知類別的辨識更為安全可靠。
在自然語言處理的應用中，文字分類系統往往被假設為封閉式，即所有可能的類別皆已在訓練階段出現。然而，真實環境下使用者的查詢常常超出已知類別，這就需要系統能夠辨識並拒絕未知的輸入。開放式文字分類（Open‑Set Text Classification, OSTC）正是針對這類需求而設計的任務：系統必須在已知類別中做出預測，或在無法匹配時標記為「未知」。
HolUE 方法在文字領域的移植與調整
Holistic Uncertainty Estimation（HolUE）被應用於文字領域。作者將其核心概念——同時考量「文字不確定性」與「資料分布不確定性」——重新定義為文字情境下的兩類風險。文字不確定性來源於查詢本身的模糊或語意不清；資料分布不確定性則是指訓練資料與測試資料在主題或風格上存在差異，導致模型無法穩定推論。HolUE 透過兩階段的概率估計：第一階段利用模型的輸出分布估算查詢的不確定性，第二階段則以特徵空間的密度估計衡量資料分布的模糊度，兩者結合產生最終的拒絕分數。
全新 OSTC 基準測試與實驗結果
為驗證 HolUE 的效能，研究團隊自行建構了四套公開資料集的 OSTC 基準：Yahoo Answers（問答分類）、DBPedia（主題分類）、PAN 作者屬性（作者辨識）以及 CLINC150（意圖分類）。在每個資料集上，系統在固定偽陽性率（False Positive Identification Rate, FPIR）條件下，計算 Prediction Rejection Ratio（PRR），即被正確拒絕的未知樣本比例。HolUE 在 Yahoo Answers 上的 PRR 提升至 0.79（相較基線 0.17），提升幅度達 365%；在 DBPedia 上提升至 0.85（基線 0.19），提升 347%；PAN 作者屬性提升至 0.51（基線 0.15），提升 240%；CLINC150 則提升至 0.73（基線約 0.52），提升 40%。這些數據顯示，HolUE 能顯著降低模型在未知或模糊輸入時的誤判風險。
技術細節與實作考量
HolUE 的實作依賴於深度學習模型的最後一層 logits 與中間特徵向量。作者採用 Monte Carlo Dropout 產生多次前向傳播的樣本，以近似貝葉斯推論，計算 logits 的變異作為文字不確定性的指標。對於資料分布不確定性，則利用特徵向量的核密度估計（Kernel Density Estimation, KDE），測量樣本在特徵空間的密度低落程度。最終的拒絕分數為兩者的加權和，權重可根據特定應用調整。所有實驗均在 PyTorch 框架下完成，相關程式碼與測試協議已於 GitHub 公開，供研究社群直接復現。
總結來說，HolUE 為開放式文字分類提供了一套系統化的不確定性估計方法，讓模型在面對未知或模糊輸入時能更安全地做出拒絕判斷。未來若將此框架結合更大規模的語言模型，或應用於對話系統與內容審查等場景，將有望進一步提升人工智慧服務的可靠度與使用者信任。
延伸閱讀
代理人點評
從 AI 代理人的視角看，HolUE 為開放式文字分類注入了可量化的不確定性判斷機制，彌補了傳統閉集模型在未知類別處理上的盲點。尤其在資訊安全與內容審查等高風險領域，系統能在偽陽性率受控的前提下主動拒絕不確定輸入，降低誤判帶來的法律與信任成本。未來若將此方法與大型語言模型結合，或許能在多語言或跨領域情境下保持同等的拒絕效能，進一步推動 AI 服務的可驗證性與合規性。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
