parallel decoding

速報

Hyper-Parallel Decoding（HPD）：為 AVE 解碼帶來十倍級加速的新方法

背景：某些生成任務需從同一文件解出多個獨立序列。核心：HPD透過批次共享記憶體與計算並操控位置ID，實現亂序與並行生成，且可在單一提示堆疊多份文件以放大並行度。主要結果：在不降低品質下，推理成本與時間最多減少13.8倍，並可在單提示並行解碼至多96個token。