PAL-Transformer

深度分析

Preisach Attention（PAL）與 PAL-Transformer：用極值堆疊實現速率獨立的長期記憶

在序列模型主導下，研究提出Preisach注意力（PAL），以物理學的Preisach滯後算子替代softmax注意力，透過極值堆疊保存以重要性為準的記憶，能在低深度下實現長期記憶並把推理複雜度降至O(nlogn)，對長時程任務有明顯影響。值得關注。