中位數交叉熵

深度分析

中位數交叉熵在 Top-K 蒸餾與 Qwen 微調中提升模型品質追蹤的實證比較

研究指出平均交叉熵常被少數高損失樣本拉高，可能無法反映下游任務品質；研究以微調與Top-K蒸餾實驗比較平均值與中位數與其他分位數，發現中位數更貼近任務表現，建議驗證時同時回報分位數以偵測分布重塑。這對模型選擇和小模型蒸餾策略有實務意義。可用作低成本診斷。