反事實路由

深度分析

反事實路由（CoR）提升 MoE 模型事實性：喚醒沉睡長尾專家

MoE模型因靜態Top‑k路由易產生長尾資訊幻覺。研究提出訓練無關的反事實路由(CoR)透過層級擾動與CEI指標，動態調整專家分配，使沉睡的長尾專家被喚醒。實驗顯示在TruthfulQA、FACTOR等基準上平均提升3.1%的事實正確率，且推論成本未增加。