parallel-token-generation

深度分析

Orthrus 在 Transformer 內以雙視角共享 KV 快取實現平行標記生成

Orthrus 提出一個內嵌於 Transformer 的雙視角架構：保留凍結的自回歸主體來並行預填上下文並建立高保真 KV 快取，並注入輕量可訓練的擴散生成頭以同時產生多個標記。