過度訓練

深度分析

Train‑to‑Test 縮放法：結合推理取樣與過度訓練，讓小模型超越傳統 Chinchilla 方案

傳統LLM訓練只考量訓練成本，忽視推理開銷。研究提出Train‑to‑Test縮放法，同時優化參數規模、訓練資料與推理取樣次數。結果顯示，小型過度訓練模型在推理取樣預算下優於Chinchilla最佳模型，降低部署成本。