深度分析
Conditional‑Vendi 與 Information‑Vendi:資訊理論驅動的生成模型多樣性評估
研究針對文字提示式生成模型的多樣性缺乏評估方法,提出以條件熵與互資訊為基礎的Conditional‑Vendi與Information‑Vendi兩項分數,分別量測模型內部多樣性與文本相關性,實驗顯示分數與實際多樣性高度相關。此方法亦可延伸至文字至影片模型,提供未來評估多樣性的新基準。
深度分析
研究針對文字提示式生成模型的多樣性缺乏評估方法,提出以條件熵與互資訊為基礎的Conditional‑Vendi與Information‑Vendi兩項分數,分別量測模型內部多樣性與文本相關性,實驗顯示分數與實際多樣性高度相關。此方法亦可延伸至文字至影片模型,提供未來評估多樣性的新基準。
深度分析
研究提出以資訊理論為基礎的「Decan」多樣性指標,透過單次前向傳遞取得每位元驚訝度,無需嵌入模型或人工標註。實驗在McDiv基準與OLMo‑2‑7B後訓練流程上均展現與人類判斷相近的表現,並偵測到RLHF導致的多樣性下降,此指標亦可用於比較不同解碼策略的多樣性貢獻。