深度分析
人本學習力學(HCLM):以有效熵與資訊力重塑表示學習動力學
在不確定與人類回饋環境下,深度學習需超越封閉優化。HCLM把學習當作受熵調控的開放動力學,引入可實作的幾何熵代理與「有效熵/資訊力」概念,指出只有當熵代理在優化軌跡產生非退化資訊力時,熵正則化才真正能影響表示學習;實驗發現對數行列式協方差類熵比softmax熵更穩定地誘發資訊流,並提供對泛化與人控調節的動力學說明。
深度分析
在不確定與人類回饋環境下,深度學習需超越封閉優化。HCLM把學習當作受熵調控的開放動力學,引入可實作的幾何熵代理與「有效熵/資訊力」概念,指出只有當熵代理在優化軌跡產生非退化資訊力時,熵正則化才真正能影響表示學習;實驗發現對數行列式協方差類熵比softmax熵更穩定地誘發資訊流,並提供對泛化與人控調節的動力學說明。
深度分析
本文研究個人化對齊在不同使用者偏好下何時能有效。作者使用共享低維表示配合使用者專屬線性頭建模,並提出決策相關的使用者多樣性條件。證明此條件對於取得有界線上遺憾與對數等級的離線樣本複雜度既必要亦充分;若不滿足,多數學習器將面臨對數級遺憾,凸顯使用者多樣性為識別性的核心。
深度分析
本文提出「存在性研究理論」(ETR),把科學發現形式化為表示(representation)、觀測(observation)與推理(inference)三者的交互問題。作者以稀疏表示、壓縮感知與計算複雜性為基礎,證明這三個面向無法同時達到理想化的「普適簡單性」、「任意壓縮觀測」與「高效精準推理」。