大型語言模型

深度分析

「Decan 指標」：以資訊理論測量 LLM 多樣性並與人類寫作比較

研究提出以資訊理論為基礎的「Decan」多樣性指標，透過單次前向傳遞取得每位元驚訝度，無需嵌入模型或人工標註。實驗在McDiv基準與OLMo‑2‑7B後訓練流程上均展現與人類判斷相近的表現，並偵測到RLHF導致的多樣性下降，此指標亦可用於比較不同解碼策略的多樣性貢獻。