zeroth-order-optimization

深度分析

Coherent Coordinate Descent（CoCD）：以梯度相干性與有限差分緩衝穩定輕量零階優化

在無法回傳微分或記憶體受限的場景下，零階（Zeroth‑Order）優化是重要工具。論文提出 Coherent Coordinate Descent（CoCD）：一種確定性、循環式的座標更新方法，透過 FIFO 型梯度緩衝與衰減機制把過去（stale）梯度當作暖啟動資源，並用較大步長的有限差分帶來隱式平滑效果。