多步推理

速報

以敘事背景與多步推理蒸餾新知　提升大型語言模型更新能力

本研究針對大型語言模型在推理過程中即時更新知識的挑戰，提出一套以敘事背景呈現新資訊、利用自生成多跳問題訓練多步推理、以及透過知識蒸餾讓學生模型內化教師的推理行為的訓練策略。實驗結果顯示，採用此方法的模型能在需要結合多項新事實的複雜問題上顯著提升表現，證明新知的整合不僅是記憶，更是推理過程的一部分。