即時語言模型

深度分析

大規模即時語言模型 (Point‑in‑Time LLM) 以 FineWeb 資料提升至 4 B 參數的效能突破

隨著大型語言模型在金融與社會科學的應用日增，未限制時間的訓練資料會產生前視偏誤。研究者以月為單位切割，將模型擴至40億參數、使用1兆時間序列過濾的網頁文字，並以LoRA微調。結果顯示，即時模型在常識推理與語意理解上接近Gemma‑3‑4B與LLaMA‑7B，且在資產定價測試中具顯著預測能力。