偏好對

深度分析

DOG‑DPO：以幾何覆蓋提升 LLM 安全對齊的資料選取框架

隨著大型語言模型安全對齊需求提升，傳統偏好資料選取成本高且冗餘。研究提出DOG‑DPO，將偏好對視為表示空間中的方向向量，分解為全域錨子與資料集特定殘差子空間，並以行列式多樣性指標最大化幾何覆蓋。實驗顯示僅使用約11%偏好對，即可在六項安全基準上維持與全資料相近的效能，且選取速度提升超過15倍。