相容性假說

速報

自我訓練語言模型：無提示自生成語料提升能力的潛在相容性假說

研究探討在不使用提示、教師或獎勵模型的情況下，語言模型能否僅透過自我生成的純文字資料進行自我訓練。結果顯示，合成語料的效用取決於資料與模型之間的相容性，而非資料本身的固有品質。相同系列的模型間轉移效果最佳，跨系列則顯著較弱。傳統的語意相似度或平均機率指標無法預測哪類語料有助於提升模型表現。