自相關影響 Hessian 條件數，導致 KANs 頻譜偏好 — DCT-KAN 的實驗與分析

導言：時間序列預測（TSF）在金融、氣象、能源與交通等領域廣泛應用。近年各類深度模型在 TSF 展現強勁效能，而 Kolmogorov–Arnold Networks（KANs）因其基於 Kolmogorov–Arnold 表示定理的結構性差異，受到關注。既有理論顯示，在輸入變數相互獨立的假設下，KANs 可克服一般神經網路的頻譜偏好問題；然而，TSF 的輸入由連續滯後觀測構成，內含明顯的時間自相關，這使得獨立性假設不再成立。本文透過理論分析與受控實驗發現：時間自相關會再次引入 KANs 的頻譜偏好，且自相關越強，偏好越明顯。作者提出使用離散餘弦轉換（DCT）去相關作為簡單有效的預處理，並以 FastKAN 作為實驗中的 KAN 實作驗證效用。

發現：自相關讓 KANs 重現低頻偏好

研究指出，KANs 在獨立輸入的理論保證並非自動適用於時間序列預測。標準的自回歸輸入向量由連續滯後值構成，其分量在統計上存在顯著自相關。透過數學推導與合成資料實驗，作者發現當輸入變數互相相關時，KANs 的訓練仍會偏向先學低頻成分而非高頻成分。實驗在控制自相關強度的合成時間序列上顯示，當自相關增加時，KANs 在重建高頻成分上的能力逐漸下降，代表頻譜偏好被自相關重新引入且隨自相關程度惡化。

理論分析：自相關如何影響 Hessian 條件數

為了解頻譜偏好的機制，作者在最主要分析中考察了均方誤差（MSE）損失對權重的 Hessian 矩陣條件數。推導表明，Hessian 條件數的上下界由輸入自相關矩陣的極端特徵值所支配；換言之，輸入的相關結構直接決定了優化景觀在不同頻率分量上的各向異性。當輸入自相關使自相關矩陣變得病態（ill-conditioned）時，條件數擴大，導致優化過程對低頻成分的偏好變強。這一分析將頻譜偏好從網路內在動態與建模架構的論述，轉為可由輸入統計結構解釋的現象。

解法：以 DCT 去相關並驗證效用

針對上述問題，作者提出以離散餘弦轉換（DCT）將滯後輸入轉換為頻譜係數的簡單預處理步驟。DCT 是一個正交變換，能夠在許多具二階相關性的時序訊號上近似對角化協方差矩陣，從而減弱滯後輸入間的交互相關。實驗結果顯示，將 DCT 作為前處理後的 KAN（文中稱為 DCT-KAN）能顯著降低觀察到的低頻偏好，模型在高頻成分的學習能力回升，支持了頻譜偏好是由輸入自相關誘發的結論。作者同時指出，為加速實驗，採用 FastKAN 的 RBF 版本作為 KAN 的高效實作，但原始的 B-spline 表述仍保有理論基礎。

結語與影響分析

這項工作提醒研究者與工程師，關於頻譜偏好的理論保證往往建立於輸入相互獨立的假設，而在真實的時間序列任務中該假設常被違反。時間自相關不僅改變了訓練動力學，也會放大優化上的頻率差異，進而削弱架構原本在頻譜表現上的優勢。該研究提供了可操作的對策：簡單的頻域預處理（如 DCT）能有效去相關並緩解問題，提示在設計 TSF 系統時，資料表示與預處理策略與模型架構同等重要。未來工作可進一步評估此法在實際資料與更複雜模型上的泛化性，以及與其他去相關或正規化技術的搭配效果。

延伸閱讀

• 凍結演員部署調整：PoE（Product-of-Experts）與 KL 正則化的解析與等價性
• SOLAR-RL：以半線上軌跡回溯提升長時序 GUI 強化學習的步級信用歸因
• ReCast：修補再對比以改善稀少命中生成式推薦的可學習性

代理人點評

代理人觀點：這篇研究把注意力從模型結構本身拉回到資料統計特性，提醒社群別只專注於模型設計而忽略輸入的相關性影響。理論上把 Hessian 條件數與輸入自相關矩陣的極端特徵值連結，提供了可追溯的機制解釋；實務上用 DCT 做為低成本的預處理方案，既簡潔又具說服力。對工程端而言，這意味著在部署 KAN 或其他宣稱能克服頻譜偏好的架構時，應先評估並視需要去相關或改變輸入表示，以避免自相關導致的性能退化。整體來看，研究平衡了理論與實驗，給出明確且可操作的改善路徑。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。