圖 Transformer

深度分析

以關係感知稀疏注意力（Rasa）在 Transformer 上強化多跳知識圖譜推理

Transformer在語言與多模態任務上表現卓越，但面對需要沿著圖結構連續追溯關係的多跳推理仍有架構性限制。論文從電路複雜度角度指出，標準Transformer屬於TC0類別，常數深度無法解決圖連通性，因而需要隨跳數成長的層數。