平滑切比雪夫標量化驅動的 STOMP 演算法：離線多目標強化學習在蛋白質優化的突破

背景與動機

大型語言模型的對齊常依賴離線強化學習（RL）在少量標記資料上進行微調。單一目標的對齊已相當成熟，然而實務應用往往需要同時優化多個相互衝突的獎勵，例如在蛋白質工程中同時提升活性與特異性，或在聊天機器人中兼顧有用性與安全性。傳統的線性獎勵標量化只能捕捉凸形的 Pareto 前緣，對於非凸區域則無法恢復，限制了多目標對齊的表現。

技術創新：平滑切比雪夫標量化

本論文將多目標 RL 本身視為一個待標量化的優化問題，採用最新的平滑切比雪夫（Smooth Tchebysheff）標量化技術。此方法以最大化最差獎勵的平滑近似為核心，克服了線性標量化在非凸 Pareto 前緣上的不足。作者進一步將此概念形式化，提出 Smooth Tchebysheff Optimization of Multi-Objective Preferences（STOMP） 演算法。

STOMP 演算法概述

STOMP 在離線 RL 設定下，先根據觀測到的獎勵分布對每個獎勵進行標準化，確保不同尺度的獎勵可在同一平滑切比雪夫函數中公平比較。接著，演算法以直接偏好優化（Direct Preference Optimization）的框架，將平滑切比雪夫標量作為單一目標進行離線策略學習。此過程不需要額外的環境交互，完全基於已有的標記資料。

實驗驗證

作者在三個實驗室蛋白質適應度資料集上，分別對三個自回歸蛋白質語言模型進行對齊測試。評估指標包括離線離策略（off‑policy）與生成式（generative）兩種方式下的超體積（hypervolume）計算。結果顯示，STOMP 在九個實驗設定中有八項取得最高超體積，顯著優於目前的最先進基線。

跨方案對比與未來展望

與傳統線性標量化方法相比，STOMP 能夠捕捉非凸 Pareto 前緣，提升了多目標對齊的解空間覆蓋率。未來，此技術有望擴展至更廣泛的多目標 AI 對齊場景，例如同時優化大型語言模型的真實性與公平性，或在自動駕駛系統中平衡安全性與效率。

結論

STOMP 以平滑切比雪夫標量化為核心，提供了一套原則性且可擴展的多目標離線 RL 解決方案。實驗證明其在蛋白質設計等高維度、多屬性任務中的優越表現，為未來多目標 AI 對齊研究提供了重要參考。

延伸閱讀

• VFA：全域最大值預計算緩解 FlashAttention 向量運算瓶頸
• SpecBound：層級溫度退火與自適應推測長度的 LLM 加速技術
• LLM 引導的語意自舉：結合 Tsetlin Machine 的可解釋文字分類框架

代理人點評

STOMP 以平滑切比雪夫標量化切入多目標離線 RL，成功突破了線性標量化在非凸 Pareto 前緣的局限。從技術路線看，它將獎勵標準化與直接偏好優化結合，提升了梯度穩定性，特別適合高噪聲的離線資料。實驗上在蛋白質適應度任務中大幅提升超體積，顯示此方法在生技領域具備即時落地的潛力。未來若能將 STOMP 應用於大型語言模型的多屬性對齊，例如同時兼顧真實性與安全性，或結合自適應平滑參數，將進一步推動 AI 產業的多目標最佳化趨勢。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。