速報
回饋操控正則化 (FMR)：提升強化學習模仿政策對齊度
近年強化學習研究將焦點移向對齊，確保智慧體的行為符合人類價值。研究者提出「回饋操控正則化」(Feedback Manipulation Regularization, FMR)，一種與演算法無關的方法，將評估回饋作為校正訊號，改進模仿學習政策的對齊表現。
速報
近年強化學習研究將焦點移向對齊，確保智慧體的行為符合人類價值。研究者提出「回饋操控正則化」(Feedback Manipulation Regularization, FMR)，一種與演算法無關的方法，將評估回饋作為校正訊號，改進模仿學習政策的對齊表現。
深度分析
擴散模型的後訓練常面臨 SFT 與 RL 之間的分布落差。研究者提出 SOAR，以單次停止梯度 rollout 重新加噪偏離狀態，並提供密集逐步監督，使模型自我校正回到乾淨目標。實驗顯示在 SD3.5-Medium 上，GenEval 從 0.70 提升至 0.78，OCR 從 0.64 提升至 0.67，且兼容後續 RL 對齊。