速報 新型探索式 NLHF 演算法：以 Nash 均衡優化大型語言模型對齊 研究聚焦於大型語言模型的偏好對齊問題，指出傳統以單一獎勵最大化的方式難以處理循環或非傳遞性的人類偏好。作者提出一種結合 SFT 正則化與對抗式政策探索的顯式探索式 NLHF 演算法，保留迭代式直接政策優化的架構，同時在理論上達到 O(√T) 的遺憾界限，若使用最小最大值 oracle 可進一步降至 O(log T)。
