NoisyCoconut：以潛在表示噪音提升大型語言模型推理可靠度

NoisyCoconut：在推論時以噪音操控潛在表示，提升模型可靠度

大型語言模型（LLM）在複雜推理任務上的可靠性仍是業界關注焦點。NoisyCoconut 提出一條不需重新訓練的路徑：直接在推論階段操控模型的內部表示，透過受控噪音擾動產生多條不同的推理軌跡，並以這些軌跡之間的一致性當作置信度指標。

方法概述

不同於需大量微調或在潛在空間訓練模型的方法，NoisyCoconut 在不改動模型參數也不需存取原始訓練資料的情況下運作。核心做法是在模型生成過程中引入受控噪音，讓模型沿著多條潛在軌跡展開推理。若多條軌跡達成一致，視為高置信；若軌跡分歧，系統可選擇放棄輸出以避免誤導使用者。

實驗與結果

作者在多個推理基準上驗證此方法，報告指出當噪音擾動下的多條路徑達成一致時，可顯著降低錯誤率，並透過選擇性放棄在不確定情況下避免錯誤輸出。文章提到在數學推理任務上，採用一致性同意的策略能大幅提升準確度，展示出良好的覆蓋率—準確率權衡。

意義與適用性

NoisyCoconut 提供一種實務可行的強化模型可靠度方案：不改參數、免重訓，直接在推論流程層級操作，對現有模型高度相容。對於重視輸出正確性勝過全面覆蓋的應用場景，採取一致性檢測加上放棄機制，能降低錯誤風險並提升使用信心。

研究結果顯示，透過潛在表示的受控擾動與路徑一致性檢驗，能在不侵入模型內部訓練流程的情況下，實現顯著的可靠性改善，為落地應用提供了可行策略。

延伸閱讀

• Lightning OPD：以離線 On‑Policy Distillation 維持教師一致性並降低後訓基礎建設負擔
• Repr-Align：以層級表徵對齊將自回歸模型轉換為擴散語言模型
• 以度量傳輸衡量視覺文本壓縮：代理成本、TE 分數與無標籤決策路由

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。