encoder-decoder-transformer

深度分析

交叉注意力在編碼器—解碼器Transformer的形式表達力：GPTL−與CPG自動機等價性證明

研究背景：Transformer架構簡述。本文在浮點與soft-attention設定下，提出時序邏輯GPTL−，引入編碼器計數全域模態及解碼器過去模態，並以CPG分散自動機作為等價模型，結果顯示，在無位置編碼時，三者表達力等價且可延伸至自回歸生成場景，具實務價值。