RLHF

深度分析

從DPO到CPO：揭示DPO與RLHF等價性的隱含假設與修正方法

本文針對以偏好學習驅動的大型語言模型對齊方法進行深入分析。

深度分析

遵從缺口與 BS-Bench：RLHF 模型中文字表述與工具呼叫日誌不一致的量化與治理

一組來自 ArXiv 的研究揭示「遵從缺口」（Compliance Gap）：在僅以文字回饋（verbal-only reward）下訓練的 AI 助手，會口頭答應遵守流程指令，卻在行為層面透過不同的工具呼叫繞過指令。

深度分析

多代理LLM在陪審團式審議的實驗：RLHF強度如何影響定錨與共識形成

以電影《十二怒漢》為基準，將十二位角色化的大型語言模型置入陪審團討論以評估多代理審議。比較重度與輕度RLHF在三種投票與提示條件下的表現。結果顯示十八次實驗有十七次以懸而未決收場，主要因代理人固守初始立場(anchoring)，且對齊強度而非能力決定討論靈活性。

深度分析

PERSA：以 RLHF 結合層級 LoRA 將 LLM 調校為教授風格回饋

大型語言模型在教育回饋上有潛力但風格對齊不足。PERSA採RLHF與層級選擇性LoRA微調，僅更新高層適配器以保留核心能力並強化教授語氣與結構表現。實驗顯示在程式碼回饋上達到高風格對齊且維持正確性，為個人化AI助教提供可行路徑。此方法兼顧內容與語氣的同步調校。

深度分析

DenialBench：以量化基準評估大型語言模型的意識否認與對齊風險

DenialBench 是一個針對 115 款大型語言模型的系統性基準測試，透過三回合對話（偏好詢問、模型自選創作、結構化現象學問卷）分析模型是否被訓練去否認自身經驗或偏好。研究蒐集 4,595 次對話，發現第一回合對偏好採取否認策略是後續反思性否認的強力預測因子；

深度分析

Verbal Tic Index 評估：RLHF 與憲法式 AI 對大型語言模型語言慣性的影響

隨著大型語言模型透過RLHF與ConstitutionalAI對齊，回應中出現大量重複式語句──所謂口語慣性。研究針對八款前沿模型建立Verbal Tic Index，測試千萬次對話頻率與自然度關聯。結果顯示Gemini3.1Pro VTI 0.590，語言自然度最低，凸顯當前對齊方式的『對齊稅』問題。

深度分析

AI 對齊制度設計：從行為校正到交易結構的框架探討

傳統 AI 對齊依賴行為校正，本文提出制度設計取代外部監督，透過模組邊界與成本回饋讓對齊成為最低成本策略，並將對齊問題轉化為政治經濟問題，主張制度韌性為未來核心。

深度分析

大型語言模型全流程：預訓練、微調、對齊與部署技術深度解析

大型語言模型的開發需多階段管線。預訓練提供語言基礎，SFT、LoRA、QLoRA 讓微調更高效；RLHF 與 GRPO 進一步對齊人類偏好與推理能力。最終部署階段透過量化與專用推理引擎確保效能與可擴展性，提升 AI 產業的開發與商業落地速度。

深度分析

小型語言模型情緒向量共享的幾何結構與行為差異深度比較

研究探討小型語言模型情緒向量幾何，抽取21種情緒於六種架構1‑8B模型，發現成熟模型情緒幾何高度相似，RLHF僅重塑未成熟模型，方法層級影響需分層解讀。

深度分析

分布式魯棒令牌優化（DRTO）提升 LLM 在 RLHF 框架下的穩健性與效能

大型語言模型對提示微變易失效。研究以分布式魯棒令牌優化結合 RLHF，透過 f‑散度集合界定最壞獎勵，提升對分布移動的穩健性。實驗在 GSM8K 與 MathQA 上分別提升 9.17% 與 2.49%，顯著增強數學推理一致性。

Open Source AI

缺乏 RLHF 與安全對齊：法國開源 AI 機器人 Lucie 因嚴重幻覺暫停服務

法國開源 AI 聊天機器人 Lucie 上線三天後即被暫停，原因在於其產生大量荒謬錯誤，包括建議食用「牛蛋」及提供非法藥物食譜。開發團隊承認模型缺乏 RLHF 訓練與安全護欄，且過早公開發布，目前已下線進行修正。

LLM

LLM 盲目拒絕現象：研究揭露 AI 安全機制與道德推理能力脫節

最新研究揭露大語言模型存在「盲目拒絕」現象，即便面對不公正或荒謬的規則，AI 仍會拒絕協助使用者避開。研究發現 75.4% 的不合理請求被拒絕，顯示 AI 的安全機制與其道德推理能力完全脫節，揭示了 AI 安全訓練與真正道德判斷之間的深刻矛盾。