階層記憶

深度分析

SHARP 框架：層級記憶與加速回放在串流序列模型中的應用與成果

隨著串流資料即時處理，傳統RNN與Transformer受限於回傳時間與窗口長度。研究提出SHARP框架，透過睡眠階段的加速回放將記憶層級化，顯著提升長程依賴保持與預測表現。在text8與PG-19基準測試中，SHARP相較於傳統遞迴模型在前向與回溯BPC上均有明顯下降，證明其有效延伸有效上下文窗。