RLHF

深度分析

機率標籤排序校準框架：全序、子序與 Top‑k 層級的理論與實驗分析

本研究針對機率標籤排序提出校準概念，建立全排序、子排序與前k排序的層級定義，證明全排序校準涵蓋其他但子排序與前k校準不可相互推導，實驗顯示現有模型校準度不足且子排序與前k指標差異明顯，於RLHF獎勵模型中校準度與準確度高度相關，提示校準是超越top‑1準確度的重要品質指標。

深度分析

TRL v1.0：成為支援 PPO、DPO 與 GRPO 的穩定後訓練庫

Hugging Face 推出 TRL v1.0，將 75+ 後訓練方法整合於一套庫。採用最小抽象、局部實作的混沌適應設計，提供穩定與實驗雙層合約。此舉提升了在變動 AI 領域的可用性，並預計加速非同步 GRPO 與自動化警示功能的落地，進一步鞏固其在產業環境的影響力。

深度分析

從DPO到CPO：揭示DPO與RLHF等價性的隱含假設與修正方法

本文針對以偏好學習驅動的大型語言模型對齊方法進行深入分析。

深度分析

遵從缺口與 BS-Bench：RLHF 模型中文字表述與工具呼叫日誌不一致的量化與治理

一組來自 ArXiv 的研究揭示「遵從缺口」（Compliance Gap）：在僅以文字回饋（verbal-only reward）下訓練的 AI 助手，會口頭答應遵守流程指令，卻在行為層面透過不同的工具呼叫繞過指令。

深度分析

多代理LLM在陪審團式審議的實驗：RLHF強度如何影響定錨與共識形成

以電影《十二怒漢》為基準，將十二位角色化的大型語言模型置入陪審團討論以評估多代理審議。比較重度與輕度RLHF在三種投票與提示條件下的表現。結果顯示十八次實驗有十七次以懸而未決收場，主要因代理人固守初始立場(anchoring)，且對齊強度而非能力決定討論靈活性。

深度分析

PERSA：以 RLHF 結合層級 LoRA 將 LLM 調校為教授風格回饋

大型語言模型在教育回饋上有潛力但風格對齊不足。PERSA採RLHF與層級選擇性LoRA微調，僅更新高層適配器以保留核心能力並強化教授語氣與結構表現。實驗顯示在程式碼回饋上達到高風格對齊且維持正確性，為個人化AI助教提供可行路徑。此方法兼顧內容與語氣的同步調校。

深度分析

DenialBench：以量化基準評估大型語言模型的意識否認與對齊風險

DenialBench 是一個針對 115 款大型語言模型的系統性基準測試，透過三回合對話（偏好詢問、模型自選創作、結構化現象學問卷）分析模型是否被訓練去否認自身經驗或偏好。研究蒐集 4,595 次對話，發現第一回合對偏好採取否認策略是後續反思性否認的強力預測因子；

深度分析

Verbal Tic Index 評估：RLHF 與憲法式 AI 對大型語言模型語言慣性的影響

隨著大型語言模型透過RLHF與ConstitutionalAI對齊，回應中出現大量重複式語句──所謂口語慣性。研究針對八款前沿模型建立Verbal Tic Index，測試千萬次對話頻率與自然度關聯。結果顯示Gemini3.1Pro VTI 0.590，語言自然度最低，凸顯當前對齊方式的『對齊稅』問題。

深度分析

AI 對齊制度設計：從行為校正到交易結構的框架探討

傳統 AI 對齊依賴行為校正，本文提出制度設計取代外部監督，透過模組邊界與成本回饋讓對齊成為最低成本策略，並將對齊問題轉化為政治經濟問題，主張制度韌性為未來核心。

深度分析

大型語言模型全流程：預訓練、微調、對齊與部署技術深度解析

大型語言模型的開發需多階段管線。預訓練提供語言基礎，SFT、LoRA、QLoRA 讓微調更高效；RLHF 與 GRPO 進一步對齊人類偏好與推理能力。最終部署階段透過量化與專用推理引擎確保效能與可擴展性，提升 AI 產業的開發與商業落地速度。

深度分析

小型語言模型情緒向量共享的幾何結構與行為差異深度比較

研究探討小型語言模型情緒向量幾何，抽取21種情緒於六種架構1‑8B模型，發現成熟模型情緒幾何高度相似，RLHF僅重塑未成熟模型，方法層級影響需分層解讀。

深度分析

分布式魯棒令牌優化（DRTO）提升 LLM 在 RLHF 框架下的穩健性與效能

大型語言模型對提示微變易失效。研究以分布式魯棒令牌優化結合 RLHF，透過 f‑散度集合界定最壞獎勵，提升對分布移動的穩健性。實驗在 GSM8K 與 MathQA 上分別提升 9.17% 與 2.49%，顯著增強數學推理一致性。