推論時可靠度

速報

NoisyCoconut：以潛在表示噪音提升大型語言模型推理可靠度

研究提出 NoisyCoconut，一種在推論階段操作模型內部表示的方法，透過向潛在軌跡注入受控噪音產生多條推理路徑，並以路徑間一致性作為置信訊號。此法無需重新訓練或改動模型參數，能在不接觸訓練資料下改善覆蓋率與準確率的權衡，並透過選擇性放棄在不確定時避免錯誤。