Rotary Position Encoding

速報

Wave‑Induced Rotary Encodings (WIRE)：圖形資料的旋轉位置編碼新突破

研究者將旋轉位置編碼（RoPE）應用於圖形資料，提出 Wave‑Induced Rotary Encodings（WIRE）透過圖拉普拉斯譜旋轉 token，將結構資訊注入注意力。實驗顯示在合成與真實圖形任務上皆有顯著提升，且在格點上還原為標準 RoPE，漸近與圖形有效阻抗相關，兼容線性注意力。