Diffusion LLM

深度分析

Diffusion LLM 查詢位置偏差分析與 Auto-ICL 自適應路由機制

Diffusion大型語言模型的In-ContextLearning受查詢位置影響顯著。研究提出以平均信心(AverageConfidence)為指標的Auto-ICL，無需標籤即可自動選擇最佳查詢放置點。實驗顯示在GSM8K、Sudoku等任務上，Auto-ICL接近最佳上限，顯著提升準確度。