指令式微調

深度分析

SymNoise：以對稱 Bernoulli 噪聲在嵌入層實現曲率正則化以提升指令式微調

背景：指令微調常在嵌入層注入隨機噪聲以提升性能。方法：本文比較均勻、高斯與 Bernoulli 噪聲，並提出對稱 Bernoulli 的 SymNoise，透過正負配對與恰當縮放約束局部曲率。結果：SymNoise 在多組基準與模型上普遍超越既有方法。