條件熵

深度分析

均勻離散擴散模型的聯想記憶能力：條件熵揭示記憶與泛化的轉折

研究以條件熵與條件似然為工具，證明均勻離散擴散模型本質上是具吸引基底的聯想記憶，隨訓練資料規模提升，記憶基底收縮、泛化基底擴張，最終在條件熵趨於穩定時兩者收斂，說明模型可同時保留事實回憶與創意生成，對語音與文字 AI 的安全與設計產生深遠影響。