LLM 長上下文

深度分析

多層圖與 Lévy Walk 驅動的 RAGP 提示壓縮：提升 LLM 長上下文效能

本研究針對大型語言模型的長文本提示壓縮問題，提出 Redundancy‑Aware Graph Pruning (RAGP) 框架。RAGP 先將文本建構為同時包含細粒度注意力依賴與粗粒度語義關聯的多層圖，然後利用具備重尾步長分布的 Lévy Walk 在密集的局部子圖與稀疏的全局連結之間交替探索，以訪問頻率作為重要性指標，篩除冗餘節點。