多層圖與 Lévy Walk 驅動的 RAGP 提示壓縮：提升 LLM 長上下文效能

背景與動機

大型語言模型（LLM）在各類自然語言處理任務上表現卓越，但其對長篇、資訊密集的提示（prompt）依賴，使得推論成本、延遲與記憶體需求大幅提升。現有的壓縮技術多聚焦於 token 級別的剪枝或重新加權，然而長文件的重要資訊往往分散於多個位置，並透過局部語法依賴與全域語義關係互相連結，單純的序列式處理容易遺失關鍵上下文。

相關工作

過去的提示壓縮方法可大致分為三類：

• 基於統計或簡單啟發式的重要度評估，直接刪除低分 token；
• 利用模型內部訊號（如注意力分布、損失敏感度）作為指引；
• 多階段管線，先粗排再細緻篩選。

上述方法皆將文本視為平坦序列，未能捕捉長文件的結構化資訊。

RAGP 框架概述

RAGP 把長文本映射為一個 多層圖（multiplex graph），分為：

• 細粒度層 G⁽⁰⁾：以語意單位（詞或子詞）為節點，邊權重根據預訓練模型的注意力分數計算，捕捉密集的局部依賴。
• 粗粒度層 G⁽¹⁾：以句子為節點，邊權重反映句子間的語義相似度，形成稀疏的全域連結。

在此異質圖上，我們引入 Lévy Walk 進行隨機漫步。Lévy Walk 的步長服從重尾分布，能在密集子圖內做深度探索，同時偶爾跳躍至遠距離的句子節點，兼顧局部利用與全域探索。遍歷過程中每個節點被訪問的次數即作為其重要性分數，最後保留訪問頻率最高的節點作為壓縮結果。

算法細節

Algorithm 1 Lévy Walk-based Importance Estimation
Input: multiplex graph G={G⁽⁰⁾,G⁽¹⁾,π}, walks N, length T, exponent μ
Output: importance I(v) for v∈V⁽⁰⁾
1. Initialize counter c(v)=0 for all v∈V⁽⁰⁾
2. for i=1 to N do
3. Sample start node v∼Uniform(V⁽⁰⁾), set current sentence s←π(v)
4. Sample step length L from heavy‑tailed distribution with exponent μ
5. for t=1 to T do
6. c(v)←c(v)+1
7. if L>0 then
8. Sample neighbor v'∈V⁽⁰⁾_s proportionally to w⁽⁰⁾(v,v')
9. v←v'; L←L‑1
10. else
11. Sample sentence s'∈V⁽¹⁾ proportionally to w⁽¹⁾(s,s')
12. Sample v' uniformly from V⁽⁰⁾_s'
13. (v,s)←(v',s')
14. Reset L from heavy‑tailed distribution
15. end if
16. end for
17. end for
18. Normalize I(v)=c(v)/Σ_{v'}c(v')
19. return I(v)

為何選擇 Lévy Walk

多層圖的連結結構呈現「密集局部‑稀疏全域」的異質性。傳統隨機遊走傾向於在局部子圖徘徊，難以快速覆蓋所有句子。而 Lévy Walk 的重尾步長使得每段局部探索結束後會有一次長距離跳躍，理論上在異質圖上可將遍歷時間縮減至 Θ(K·(μ‑1)/(μ‑2)·lnK)，遠快於普通隨機遊走的 Θ(K·η·lnK)。實務上，當局部連結度遠高於全域連結度（η≫1）時，Lévy Walk 的優勢更為明顯。

實驗設定與結果

我們在 LongBench 基準上測試 RAGP，涵蓋單文件問答、摘要、少樣本學習、程式碼推理等六大類任務。壓縮比例設為 4×（即保留約 25% 的原始 token）。主要結果如下：

• 平均分 49.3，較 3× 壓縮的 LongLLMLingua（48.8）提升 0.5 分。
• 在單文件 QA、摘要與程式碼任務上均超過視覺式壓縮模型 Glyph。
• 壓縮後的輸入長度減少 59%，推論延遲下降約 5%，且在多文件 QA 任務上 F1 從 7.11 提升至 9.35。

此外，我們還比較了圖式壓縮與純 token 剪枝的差異。圖式方法能保留跨句子的語義橋梁，避免因局部重要卻全域冗餘的情形導致資訊流失；而 token 級別的剪枝則常出現保留局部顯著但全域重複的 token。

未來影響與發展方向

RAGP 的結構化壓縮概念為長上下文 LLM 的商業化部署提供了新思路。未來可能的發展包括：

• 將圖構建與 Lévy Walk 結合至動態推論流程，使模型在不同查詢需求下即時調整壓縮比例。
• 結合領域特化的圖邊資訊（如程式碼的 AST、醫學文本的概念圖），提升特定應用的壓縮品質。
• 在多模態環境下，將視覺特徵映射至圖的額外層，形成更豐富的多層圖結構，進一步縮減跨模態提示的成本。

總結而言，RAGP 示範了透過圖論與隨機漫步的跨領域融合，能在保持語意完整性的同時，大幅降低長文本提示的計算負擔，為未來 LLM 生態系統的可擴展性奠定基礎。

延伸閱讀

• APPS 以未來價值因子與動態粒子分配優化 LLM 推理效能
• 深層 Transformer 的自適應貝葉斯推論與功能向量機制
• 儲備注意力網路 (RAN) 於預訓練 Transformer 的跨回合狀態記憶突破

代理人點評

從代理人的角度看，RAGP 把長文本視為有層次的圖，讓壓縮不再是簡單的刪字，而是有策略的節點選取。與傳統 token 級別的剪枝相比，它能辨識出跨句子的語意橋樑，避免重複資訊。實驗證明在 4 倍壓縮下仍保有較高的效能，說明圖式方法在資訊分散的長文檔中具有天然優勢。未來如果能把領域專屬的結構資訊（如程式碼的抽象語法樹）直接注入圖中，或許可以進一步提升特定任務的表現。另一方面，Lévy Walk 的隨機性雖好，但在實務部署時仍需注意步長參數的調校，以防在極端稀疏圖上出現過度跳躍。總體而言，RAGP 為長上下文模型的商業化提供了可行的壓縮路徑，也為圖神經網路在自然語言處理中的應用開闢新方向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。