HRM 適配器

深度分析

HRM 適配器：利用 Hankel 降階模型提升長上下文參數高效微調效能

本研究針對需要累積序列狀態的長上下文任務，提出一種基於 Hankel 降階模型的 HRM（Hankel Reduced-order Model）適配器。HRM 以平衡截斷方式初始化 SSM 殘差模組，利用系統矩陣的時間不變性實現 FFT 並行掃描，計算成本與 LoRA 相當。