causal-fine-tuning

深度分析

以 LLM 驗證統計前置（preemption）：分布式競爭、尺度關係與微調因果證據

研究探討大型語言模型如何從正向語料學到不可說的語法限制。作者透過四組實驗比對統計前置與紮根，並用surprisal與人類接受度對照，最後以微調干預提供因果證據。結果顯示競爭形式頻率能說明模型與人類的差異，支持前置機制。此外模型敏感度隨參數量呈次線性上升。