注意力卷積

深度分析

RoVE：在 Transformer 中引入相對位置感的值向量注意力卷積

Rotary Position Embeddings（RoPE）讓注意力分數具相對位置感，但值通道保持位置盲點。研究提出RoVE，於值向量同步旋轉，將注意力轉為相對位置感的卷積。實驗在GPT‑2 124M與354M模型上提升少樣本學習、長上下文檢索與OOD perplexity，與YaRN結合更顯效益。