無偏梯度估計

深度分析

K‑ABENA：基於誤差的自適應反向傳播減算與無偏梯度估計技術

研究聚焦於大型模型訓練中低損樣本的反向傳播開銷，提出K‑ABENA以誤差為基礎的N‑排除演算法，結合防禦式混合抽樣與加權，使梯度估計在設計上無偏，且在非凸目標下保證O(1/√T)收斂。實驗顯示在不平衡與標籤噪聲嚴重的情境下，補償抽樣可將測試AUC維持在0.999左右，同時減少約30%計算量。