語言預訓練

深度分析

GPT‑2 與語言預訓練能否自發學習零概念：零樣本測試結果分析

本研究探討在未見過零的正整數算術訓練下，GPT‑2大小的語言模型能否自行推導出「零」概念；結果顯示未經語言預訓練的模型無法零樣外推，加入語言預訓練可減半所需示例數，證實語言能力有助於數學概念的發現。此結果暗示語言預訓練或成為未來機器人數學創新之關鍵。