推測式解碼

深度分析

ConfigSpec：基於效能分析的分散式邊緣雲推測式大型語言模型服務配置選擇

本研究聚焦於分散式邊緣‑雲推測式 LLM 服務的配置挑戰。提出 ConfigSpec 框架，透過效能與功耗剖析，選出草稿模型、量化層級與推測長度的最佳組合。實驗顯示效能、成本與能源效率存在結構性衝突，需動態配置以平衡各目標。