Hyper-Parallel Decoding（HPD）：為 AVE 解碼帶來十倍級加速的新方法

速報：Hyper-Parallel Decoding（HPD）帶來 AVE 解碼顯著加速

研究團隊提出一種稱為 Hyper-Parallel Decoding（HPD）的解碼演算法，針對需要從同一文件中生成多個獨立序列的任務（例如屬性-數值提取，AVE）大幅提升離線推理效率。

HPD 的關鍵在於同時利用批次間共享的記憶體與計算工作，並透過操控位置 ID 允許亂序生成 token。這種做法把原本序列化的解碼過程改為可在提示內並行產生多組輸出。實驗發現屬性-數值對在條件上具有獨立性，因而可以在同一 prompt 內平行產生多個值；進一步把多份文件堆疊於單一提示，單次可並行解碼至多 96 個 token。

在多項 AVE 測試中，HPD 在不犧牲輸出品質的前提下，將推理成本與總推理時間縮短最多 13.8 倍。該方法與所有大型語言模型相容，且設計並不依賴 AVE 特有假設，理論上可推廣至任何輸出結構彼此獨立的場景。

對產業應用而言，HPD 可在離線批次推理中節省大量成本並加快處理速度，尤其適合處理大量文件、需同時抽取多組屬性值的工作負載。

延伸閱讀

• Intuit TurboTax 實作案例：利用 LLM 與 DSL 將 900 頁稅務法案轉化為程式碼
• LLM 驅動的去匿名化：研究揭露 AI 能大規模精準識別社交媒體化名用戶
• LLM 驅動的網路故障排除：利用 RAG 與微調構建 RCA 知識庫以提升網路韌性

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。