TriRoute

深度分析

TriRoute：統一注意力、專家路由與 KV 快取位元寬度的條件計算框架

TriRoute 提出一個輕量化的共享控制器，於每層每個 token 同時決定注意力模式、稀疏專家選擇與 KV 快取位元寬度，將傳統的 MoE、MoD 與快取量化分別調校的三條路徑合併為一個全局預算下的協同決策。