協同推理

張量秩

RankGuide：以張量秩（tensor-train）引導路由與引導向量，優化協同多步推理

大型推理模型雖能產生多步思考但延遲與計算成本高，RankGuide提出以張量秩信號結合token熵作為路由判據，並用張量秩篩選的引導向量調整小模型隱層軌跡，以檢測與抑制過度自信、不確定與重複驗證等失效模式，實驗顯示可達到相較於大型模型約1.75×的延遲改善且維持競爭性準確度。