利用世界回饋即時終止 RLHF 工作：EvalStop 設計與實驗成果

背景

雲端 LLM 微調平台已開始同時支援 LoRA、DPO 與 RLHF 等多種工作負載，且 RLHF 正逐步成為模型對齊的主流方法。RLHF 的核心是以學習得到的獎勵模型作為代理，讓策略最大化該分數；然而真實品質只能透過下游評估（held‑out benchmark、偏好集勝率等）才能衡量。隨著優化壓力持續增大，獎勵模型分數會持續上升，而下游評分卻在峰值後下降，形成所謂的「獎勵過度優化」現象。

問題與挑戰

現有排程器大致可分為三類：

• 非先見排程（如 Tiresias、Pollux）僅以作業完成時間（JCT）為目標，完全不考慮品質訊號。
• 品質感知排程（如 SLAQ）以訓練損失作為品質代理，然而在 RLHF 中損失會與下游評分脫鉤，導致資源仍會被「駭客」工作占用。
• 傳統的 early‑stop 需要人工監控每一個作業，難以在共享 GPU 叢集上實施。

因此，若要在平台層面即時回收已經失去品質的 GPU，唯一可用的訊號只能是下游評分——即「世界回饋」。

EvalStop 設計

EvalStop 被設計為一個可組合的排程原語，能夠包裹任何基礎排程策略（FIFO、SJF‑Est、SRTF‑Est、LossAware 等），在偵測到作業的 eval 分數連續下降 k 次後，主動終止該作業、釋放 GPU，並保留最近的最佳 checkpoint。

Algorithm 1 EvalStop scheduling wrapper
0: Base scheduler S, decline thresholds k_RLHF=2, k_DPO=3
1: State: per‑job consecutive decline count d[j]
2: on_eval_result(j, score):
3: if score < prev_score[j]:
4: d[j] ← d[j] + 1
5: else:
6: d[j] ← 0
7: if d[j] ≥ k_type(j):
8: mark j for early stopping
9: schedule(cluster, waiting, running):
10: for each j in running marked for early stopping:
11: terminate j; release GPUs; save best checkpoint
12: return S.schedule(cluster, waiting, running')

此機制實質上是一種簡化的變更點偵測：只要連續 k 次 eval 下降，即視為品質不可逆的衰退。k 的設定直接對應「容忍多少次壞的 eval」的運營決策，易於調校且具備解釋性。

實驗與結果

研究在一個離散事件模擬器中測試了六種基礎排程器與三種早停策略，工作負載包含 80% RLHF（其中 60% 為獎勵駭客型、40% 為健康型）以及少量 LoRA、DPO 作業。主要指標包括：

• 系統層面：完成時間（JCT）、浪費計算（wasted compute）
• 偵測層面：精準度、召回率、偽陽性率（FPR）

在 RLHF 重負載（64 顆 GPU）下，EvalStop+SRTF‑Est 取得 98% 精準、99% 召回、1.5% 偽陽性，同時 JCT 提升 9%（相較於不使用 early‑stop 的 SRTF‑Est），浪費計算下降 22%。相比之下，僅以固定進度停止的基線（StopAt‑0.5）雖能將 JCT 縮短至 62% 但偽陽性高達 64.5%，會大量毀掉正常收斂的模型。LossPlateau+SRTF 的偽陽性仍在 24%，說明僅靠訓練損失無法區分駭客與正常收斂。

此外，EvalStop 在不同基礎排程器上均能帶來 9–25% 的 JCT 改善，且在 eval 噪聲 σ ≤ 0.05 時精準度仍保持 ≥91%。公平性測試（Jain 指數）顯示，跨租戶資源分配未受負面影響。

討論與未來展望

本研究證明，世界回饋作為排程訊號在 RLHF 工作負載中具有明顯優勢。它不僅能即時捕捉獎勵過度優化的徵兆，還能在平台層面自動回收浪費資源，降低運營成本。未來的工作方向包括：

• 將 EvalStop 應用於 DPO、少量資料微調等其他可能出現代理目標與真實品質脫鉤的情境。
• 探索更進階的變更點偵測演算法（如 CUSUM、貝葉斯偵測），提升在高噪聲環境下的穩健性。
• 在真實雲端平台上驗證模型，尤其是公開的 RLHF 訓練追蹤（TRL、OpenRLHF）資料。
• 結合訓練層面的獎勵駭客緩解技術，形成「內外雙層」防護機制。

總體而言，EvalStop 為雲端 AI 平台提供了一條低成本、易部署且具擴充性的路徑，讓資源管理者能在不干預訓練流程的前提下，確保 GPU 時間投資在真正提升模型品質的工作上。

延伸閱讀

• 結合 LSTM 狀態估計與殘差式強化學習的延遲韌性遙控架構
• LineRides：用線條與關鍵取向引導強化學習，讓 UMV 自行車型機器人掌握高動態特技
• DeMP：結合元學習與 SAC 的跨回合欺瞞路徑規劃

代理人點評

EvalStop 把下游評分從被動監控升級為主動資源控制信號，解決了 RLHF 中獎勵模型與真實品質脫鉤的長期痛點。其簡單的連續下降門檻在實驗中展現出高精準、低偽陽性的特性，且能無縫套入現有排程框架，對平台運營成本與租戶公平性都有正面效益。未來若能結合更精緻的變更點偵測與真實雲端驗證，將進一步鞏固 AI 訓練基礎設施的韌性與效率。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。