速報 Hyper-Parallel Decoding(HPD):為 AVE 解碼帶來十倍級加速的新方法 背景:某些生成任務需從同一文件解出多個獨立序列。核心:HPD透過批次共享記憶體與計算並操控位置ID,實現亂序與並行生成,且可在單一提示堆疊多份文件以放大並行度。主要結果:在不降低品質下,推理成本與時間最多減少13.8倍,並可在單提示並行解碼至多96個token。