預算感知路由

深度分析

在有限 token 預算下的上下文選取：RCD、MMR 與預算感知路由比較

長篇臨床文本在部署大模型時成本與延遲成挑戰。本研究提出預算感知的上下文選取框架，透過單位化與選取器在嚴格token預算下編輯上下文，並引入RCD目標結合相關性、覆蓋與多樣性。實驗顯示選取策略隨評估任務改變：萃取評估偏向位置式選取，LLM生成則受益於去冗餘的多樣性方法，路由器能在多數情境達到近乎最佳表現。