LLM Inference Acceleration

深度分析

突破自回歸瓶頸：PTD 漸進式樹狀草稿技術實現 2 倍推論加速

針對大語言模型自回歸生成導致的記憶體瓶頸，研究團隊提出 PTD 漸進式樹狀草稿技術。該方法捨棄傳統的外部輔助模型，直接在目標模型內部透過樹狀結構平行探索多條語義路徑，並利用逐步剪枝機制維持草稿的多樣性與連貫性。實驗結果顯示，PTD 在無需訓練且模型無關的前提下，可將推論速度提升至最高 2 倍。