llm-cascades

深度分析

LLM串接與成對包絡：成本—品質前緣、閾值策略與路由比較

面對高昂模型查詢成本與品質需求，本文用決策理論分析LLM階梯式串接，將兩種最佳化互為對偶，並以成對模型的逐點包絡刻畫可達的成本—品質前緣。實驗涵蓋五個基準、八款模型，結果顯示成對包絡常優於固定長鏈，且輕量預生成路由器在多數資料集勝出，顯示結構性成本為關鍵瓶頸。