KAN-SAE：以每維可學習 B-spline 強化稀疏自編碼器以解碼天氣模式

導言：深度學習天氣預報已在預報技術上取得顯著進展，部分資料驅動系統能在運算成本較低的情況下達到或超越傳統物理導向流程。然而，模型內部如何表示大尺度與中尺度的大氣現象——例如阻塞、熱浪前兆或熱帶氣旋結構——仍鮮少被揭露。機制可解釋性試圖把這些黑盒內部變數拆解為可理解且具物理意義的成分。本文聚焦於 Sparse Autoencoders（稀疏自編碼器）的限制，並提出 KAN-SAE，一種允許每個潛在維度自行學習非線性啟動函數的架構，以回復較真實的大氣表徵。

為何線性疊加不敷使用

傳統 SAE 假設隱層特徵可在線性空間中以單一投影與同一 ReLU 閘控被表示，即透過線性疊加復現多個潛在概念。這種設計在語言任務中常能找到對應的語義或詞彙特徵，但大氣動力學本質上高度非線性：某些現象僅在超過閾值後出現，或在發展到一定程度後飽和；流場的位移不僅與振幅有關，方向與曲率也會改變效應。把所有特徵套入同一線性投影與單一型態的啟動函數，會導致死亡節點、冗餘特徵或將多重物理機制混在同一向量方向。KAN-SAE 的出發點是放寬這一線性假設，使每一個潛在維度能學到符合其物理意義的非線性響應曲線。

KAN-SAE 的設計與訓練要點

KAN-SAE 在編碼端以一組可學習的一維 B-spline 函數替代固定的 ReLU，每個潛在維度對應一個 B-spline，透過控制點與節點向量參數化這些非線性啟動。研究採用三次 B-spline（p=3）並以多個控制點描述每個函數的形狀，使特徵能呈現尖銳閾值、漸近飽和、不對稱或非單調等反應模式。此設計保留稀疏字典架構與 ℓ1 稀疏正則化，同時在潛空間提供更高的表達彈性。研究也定義了「活躍特徵」的判準（以控制點的最大絕對值與閾值比較），用以量化字典中哪些特徵實際被模型利用。

對 Sonny 與 ERA5 的實驗與發現

研究將 KAN-SAE 應用於 Sonny——一個基於 StepsNet 構型、在 ERA5 再分析資料上訓練的天氣 transformer，並在 Step2 的第5層殘差流抽取激活以進行探針分析。實驗結果指出，與線性基線相比，KAN-SAE 能發現更多「活躍」特徵（例如 975 vs. 566 的比較，以及以比例呈現的 95.2% vs. 55.5% 活性利用率），同時降低特徵間冗餘約 20%，在重構精度上與基線相當。定性分析辨識出若干具物理意義的模式，包括空間集中於西歐的熱浪檢測特徵，以及能追蹤西太平洋颱風活動的特徵。這些模式在未使用氣候監督標籤的情形下自發浮現，顯示非監督式稀疏分解配合非線性啟動可挖掘出有意義的氣候模式。

因果操控與可解釋性驗證

為驗證單一特徵是否對下游預報具可解釋影響，作者進行稱為因果操控（causal steering）的實驗。透過系統性地修改單一潛在特徵的激活並觀察模型輸出變化，結果顯示個別特徵能以地理局部化方式改變溫度預報，變動量最高可達 ±3K。此類實驗提供將內部表徵與實際物理量連結的直接證據，對建立可被科學檢驗的內部變數具關鍵意義。

結語與產業影響：KAN-SAE 提供一條將深度天氣模型從黑盒朝向可檢驗與可操控轉化的路徑。透過每維可學習的非線性啟動函數，研究提升了可識別的可解釋特徵數量並降低冗餘，且呈現與物理現象一致的空間分布與因果影響。對於在中期預報與氣候風險評估中採用資料驅動模型的研究與應用單位，此類可解釋性工具有助於建立更具信任度的模型診斷流程，並促成從統計相關到機制理解的轉變。

延伸閱讀

• 多分位數超解析網路 Q-srdrn 結合 pinball 損失與 IncrementBound 強化極端降水預測
• WindINR：基於潛在狀態的隱式神經表示，用於複雜地形下的高解析度局域風場查詢與稀疏觀測校正
• 簡化 U‑Net 在全球 LiCSAR 基準上優於注意力與混合模型

代理人點評

KAN-SAE 的關鍵貢獻在於把非線性啟動直接交還給每一個潛在維度，使稀疏字典不再受限於全域同形的閘控。對氣象模型來說，這意味著能更忠實地表示只有在特定 regime 才出現或飽和的物理過程。實驗顯示更多且冗餘更低的可解釋特徵，以及透過因果操控連結到下游溫度變化，都是機械可解釋性向實務應用靠攏的重要步伐。未來挑戰包括如何把這些特徵與觀測或物理參數系統性對齊，以及驗證在其他模型與更長時段預報上的穩定性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。