速報
柏拉圖表示假說與線性表示：從訊號、偏差到雜訊看人工智慧表徵對齊
研究檢驗柏拉圖表示假說，分析現代人工智慧表徵來源。採訊號、偏差、雜訊三分框架，並以線性表示假說與稀疏自編碼器抽取物件—屬性線性特徵，比較稀疏與稠密表示的跨模態對齊。結果顯示中心化與正規化能改善模型偏差，資料稀少會提升表示雜訊。有助於解釋不同架構下表示對齊現象。
速報
研究檢驗柏拉圖表示假說，分析現代人工智慧表徵來源。採訊號、偏差、雜訊三分框架，並以線性表示假說與稀疏自編碼器抽取物件—屬性線性特徵，比較稀疏與稠密表示的跨模態對齊。結果顯示中心化與正規化能改善模型偏差，資料稀少會提升表示雜訊。有助於解釋不同架構下表示對齊現象。
深度分析
研究提出Repr‑Align，針對將自回歸模型轉為遮罩式擴散語言模型的效率瓶頸。核心做法是在不改變架構下，凍結AR教師、於每層以cosine相似度將DLM隱藏表徵對齊AR，並同時訓練masked denoising目標。實驗顯示對齊可提升轉換品質並顯著降低訓練成本。