注意力迴圈

深度分析

LoopGuard：動態 KV 快取介入抑制長上下文注意力迴圈

研究指出長上下文生成易陷入持續重複迴圈，原因是注意力頭鎖定歷史尾端並被 KV 快取放大。作者提出 LoopBench 基準與 LoopGuard 插件，前者量化迴圈嚴重度，後者即時偵測並剪除重複尾段。實驗證明 LoopGuard 能將迴圈發生率降低逾 90%，提升輸出多樣性。