val_bpb

深度分析

階段式微型預訓練：降低 GPU 成本的四階段推廣實驗

本研究以單卡微型預訓練為平台，探索短時預訓練篩選與階段性推廣的成本效益。透過2、5、10分鐘至12小時的多階段預算，驗證保留參考模型與篩除較差配置的可行性，最終證明在兩種硬體環境下，保守的推廣規則能減少超過20%的GPU時間支出，並提升後續實驗的決策效率。