速報
解決複雜推理痛點：HiPO 分層偏好優化讓 LLM 數學能力大幅提升
大型語言模型在複雜推理任務中常面臨對齊挑戰，傳統 DPO 框架因缺乏對多步驟解答的細粒度反饋而受限。研究團隊推出 HiPO 分層偏好優化技術，將回應拆分為查詢澄清、推理步驟與答案區段，並對各段獨立計算損失函數以進行針對性訓練。實驗證明，HiPO 能在維持訓練穩定性的同時，顯著提升 7B 模型在數學基準測試中的表現與邏輯一致性。
速報
大型語言模型在複雜推理任務中常面臨對齊挑戰，傳統 DPO 框架因缺乏對多步驟解答的細粒度反饋而受限。研究團隊推出 HiPO 分層偏好優化技術，將回應拆分為查詢澄清、推理步驟與答案區段，並對各段獨立計算損失函數以進行針對性訓練。實驗證明，HiPO 能在維持訓練穩定性的同時，顯著提升 7B 模型在數學基準測試中的表現與邏輯一致性。
速報
背景：DPO能學習偏好但難給多步推理段落回饋。方法：HiPO把回應拆成查詢與背景、推理步驟、答案三段，對各段分別計算並加權DPO損失。結果：在Math Stack Exchange偏好資料上微調多款7B模型後，HiPO在數學基準上優於DPO且展現更佳組織與邏輯一致性。