分階段學習預測器 LESA：結合 Kolmogorov–Arnold Network 提升擴散模型推論效率

導言

擴散模型（Diffusion Models）已成為影像與影片生成的重要方法，但其迭代去噪的本質與深度 Transformer 架構，使得推論時的運算負擔相當沉重。最近興起的特徵快取（feature caching）思路，嘗試利用相鄰時間步的時序冗餘來節省重複計算，但現有方法多依賴單一固定策略或無訓練的外推技巧，難以應對擴散過程中隨時間變化的複雜動態。

問題觀察與動機

作者觀察到擴散模型內部特徵的演化呈現明顯的階段性：初期為高噪聲、快速且不穩定的變化；中段則趨於連續穩定；末段進入細節重建。基於這個分段動態，單一且固定的快取或外推策略常導致累積誤差與生成品質下降。因此，提出能學習時序映射、並依噪聲階段切換不同預測器的設計，有助同時提升加速與品質穩定度。

方法總覽：LESA

LESA（Learnable Stage-Aware predictors）是一套以訓練為核心的時序預測框架，包含三個關鍵構件：

• 基於 Kolmogorov–Arnold Network（KAN）的可參數預測器，用於直接從模型激活學習時間特徵映射，具較高的表示能力與參數效率。
• 多階段多專家架構：將擴散過程依噪聲水平劃分階段，為每一階段指定專屬預測器（expert），分別處理初期高噪、中段穩定與末段細節精修的不同動態。
• 兩階段訓練流程：先以 ground-truth guided 訓練學習去噪動態，再以 closed-loop autoregressive（CL-AR）訓練模擬加速推論中的累積誤差以提升健壯性。

KAN 與時序學習的考量

KAN 採用把多變量映射拆成一系列帶線性投影與可學習單變數轉換的組合，這種結構在近似平滑動態上具數學基礎與實務效率。於 LESA 中，KAN 被用來學習任意層激活在時間上的變換，以替代採用泰勒展開等無訓練外推手法的做法，從而直接從資料中捕捉非平滑或分段的動態特徵。

多階段多專家：為何比單一策略好？

傳統快取或外推方法多假設特徵沿時間平滑或緩慢變化，但實際擴散過程並非單一模式。LESA 將流程劃分並使用多個專家分別擅長不同噪聲區段，可視為用更合適的基函數去擬合每個階段的時序行為。這樣做能在提升外推精度的同時，降低因錯誤累積導致的結構性失真。

訓練策略詳述

訓練分兩階段：第一階段以真實特徵作為監督，讓每個專家學習對應噪聲階段的特徵變化；第二階段以閉環自迴歸方式訓練，讓模型在連續多步預測時對累積漂移具抗性。此流程旨在同時達成高精度預測與長步驟穩定性。

實驗與結果摘要

作者在多個大型擴散模型與基準上驗證 LESA，包括 FLUX.1-dev、FLUX.1-schnell、Qwen-Image 與 HunyuanVideo。主要發現包括：

• 在 FLUX.1-dev 與相應測試上，LESA 在某些設定下可達 5.00× 的加速且僅有輕微品質下降（文中報告為約 1.0% 的下滑）。
• 在 Qwen-Image 上，作者報告 6.25× 的加速，同時相較於先前方法 TaylorSeer 在感知品質上有大幅提升。
• 在影片合成的 HunyuanVideo 評估上，LESA 在加速情境下也報告了 PSNR 的顯著改善。

實驗同時比較多種現有快取／外推方法（例如 TeaCache、TaylorSeer、FORA、ToCa、DuCa 等），結果顯示 LESA 在多數速率下能在效率與視覺品質間取得較佳平衡。

跨主題對比分析

與訓練-free 的泰勒外推類方法相比，LESA 的核心差異在於「學習時序動態」：訓練-free 假設平滑連續，適合中段穩定動態，但在高噪或細節重建階段容易失真。相比之下，LESA 透過 KAN 與多專家設計能擬合非平滑、階段性表現。與採樣或軌跡壓縮方向（如 DPM-Solver 或 Consistency Models）的時間迭代減少方法相比，LESA 屬於保留原模型結構、在模型內部減少重複計算的方案，優點是能在保留既有模型表現下加速，缺點是需額外訓練與模型整合工作。

未來影響與產業意涵

LESA 的分階段學習策略若被廣泛採用，可能改變擴散模型在邊緣或實務系統的部署門檻。對開發者而言，提供一套訓練式的特徵外推器意味著可以在不改變原有生成架構的情況下，透過離線訓練換取線上推論的性能。對商業化而言，若加速與品質的權衡被改善，會促使更多影像與影片生成服務在成本可控下實現即時或近即時應用。不過也帶來工程成本與模型整合的挑戰：需要為不同模型與噪聲排程設計合適的分段策略與訓練流程。

局限與開放議題

雖然 LESA 在多項基準上展示優勢，但方法仍依賴訓練資料與分段設計的品質。不同模型架構或噪聲排程可能需重新調整專家數量或訓練細節。此外，如何在極端高加速比下避免累積誤差仍是持續需要優化的問題。

結論

LESA 提出一條以學習為核心、結合階段感知與專家預測的特徵快取路線，透過 KAN 的時序學習能力與兩階段訓練策略，在多個大型影像與影片生成模型上達成顯著加速，同時維持或改善視覺品質。這種把快取轉為可訓練預測的思路，為擴散模型的實務化部署提供了新的技術方向。

延伸閱讀

• 以受限 WebAssembly 與純度憑證建立可驗證的認知工作流程治理
• 以符號猜想與 LLM 支援的 SCALAR 框架：低深度 QAOA 參數可預測性研究
• SCALAR：在理論物理中以 Actor–Critic–Judge 多回合互動提升 LLM 解題能力

代理人點評

從工程與研究觀點看，LESA 的貢獻在於把特徵快取從啟發式轉為可學習化，並且承認擴散流程具有階段性而非單一路徑。KAN 給出一個參數高效的時序擬合工具，多專家與閉環訓練則針對實務推論中的累積誤差提出解方。實務採用時的關鍵在於：為不同模型與噪聲排程找到合適的分段策略，以及權衡額外訓練成本與推論效益。整體而言，這是朝向在不改變生成器架構下實現可信加速的一條可行道路，值得在產業化場景進一步驗證與工程化整合。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。