PCGrad

深度分析

梯度干擾感知圖著色排程提升多任務學習效能的實驗分析

隨著視覺、語言、語音等多模態應用的擴大，多任務學習面臨不同任務之間梯度相衝突、收斂緩慢的挑戰。研究者提出一套以梯度干擾係數建構衝突圖，並使用貪婪圖著色將相容任務分群，每次訓練僅啟動同色任務，使梯度方向一致。排程會依照 EMA 平滑的梯度資訊定期重新著色，無需手動調整。