深度分析
提示詞封裝陷阱:FSI 指標揭露 LLM 評測中的「格式敏感度」危機
大型語言模型在基準測試中常因提示詞封裝格式的不同而導致分數劇烈波動。本研究引入格式敏感度指數 FSI 與解析敏感度指數 PSI,透過 14 萬次生成實驗分析多款模型在不同格式下的表現。結果發現部分模型在嚴格 JSON 格式下準確率近乎隨機,但在簡單分隔符號下表現優異,顯示格式遵循能力是影響評測結果的核心因素。研究呼籲業界應停止單一數值評測,改採多格式變異分析以確保結果真實。
深度分析
大型語言模型在基準測試中常因提示詞封裝格式的不同而導致分數劇烈波動。本研究引入格式敏感度指數 FSI 與解析敏感度指數 PSI,透過 14 萬次生成實驗分析多款模型在不同格式下的表現。結果發現部分模型在嚴格 JSON 格式下準確率近乎隨機,但在簡單分隔符號下表現優異,顯示格式遵循能力是影響評測結果的核心因素。研究呼籲業界應停止單一數值評測,改採多格式變異分析以確保結果真實。
速報
多代理強化學習在實務場景常被外部自然語言指令打斷,且指令可能與長期目標衝突。研究提出Macro-Action Value Correction for Instruction Compliance(MAVIC),在指令邊界修正Bellman回傳,透過調整進入指令的目標並還原當前目標下的延續價值,避免因指令干擾產生值估計不一致。
深度分析
研究重新檢視監督式微調的層級效應,發現中層(20%‑80%)較為穩定、最上層敏感。提出只調整關鍵中間層的 Mid‑Block Efficient Tuning,於 GSM8K 測試中提升最高 10.2%。結果顯示對齊能力局部化,對未來微調與安全性平衡具重要啟示。