基於 Weight Transformer 的 MetaNCA 本地化規則：跨架構模型壓縮與生成

背景與動機

生物神經元透過局部突觸互動能在整個生命階段中持續學習與適應，這種自組織特性啟發了神經細胞自動機（NCA）在僅靠局部更新規則下完成形態生成的研究。傳統深度學習依賴全域反向傳播與大量記憶體資源，與自然界的低功耗、基因編碼的高層次規則形成鮮明對比。

MetaNCA 架構概述

MetaNCA 為每一個權重定義一套本地規則。規則網路 R 接收該權重的前向與後向鄰居的權值與隱藏狀態，透過線性注意力聚合訊號後送入小型 MLP，產生更新向量。這個過程在計算圖上迭代，類比於將權重視為「像素」的 NCA 在格點上演化。

Weight Transformer 本地規則網路

為了有效捕捉鄰近權重資訊，研究者設計了 Weight Transformer。它使用線性注意力將前向鄰域 𝒩_f 與後向鄰域 𝒩_b 的訊號彙總為注意力向量 a_f、a_b，再與當前權重 w 合併輸入 MLP，輸出更新後的權重與隱藏狀態。

實驗設計

MetaNCA 在 MNIST 與 CIFAR‑100 兩個資料集上測試，涵蓋三大類型的任務網路：

• 全連接 MLP：兩層隱藏層，單層單元數 0–90。
• 卷積網路：三層 CNN，通道寬度以倍率 m（32m、64m、128m）調整，卷積核大小 3、4、5，最後接密集層。
• ResNet：三階段殘差網路，階段內區塊與基礎通道數 c 可變。

在每個實驗中，僅用 2–5 種不同架構作為元訓練，然後在包含未見配置的完整架構格點上評估生成的模型準確度。

主要結果

MetaNCA 能在不使用梯度回傳的情況下，為上述三類網路生成參數，且在 MNIST 與 CIFAR‑100 測試集上普遍超過 90% 的準確率。對於 MLP，只需三種訓練架構即可在大多數 30+ 隱藏單元的配置上維持高表現；加入兩種額外架構後，甚至小至 10 單元的模型也能突破 90% 的門檻。對於卷積與 ResNet，規模最高達兩百萬參數的模型亦能得到壓縮率約 16 倍的生成結果。

討論與洞察

MetaNCA 將多個已訓練任務網路的資訊壓縮成僅數萬參數的規則網路，實質上是一種架構彈性的模型蒸餾方式。規則本身與目標架構無關，因而具備跨架構泛化的潛力。實驗顯示，訓練時涵蓋的架構多樣性越高，規則的泛化能力亦越強；但對於遠離訓練範圍的極小或極大模型，性能仍會下降。此外，將本地規則套用至新架構仍需手動映射其圖形鄰域，這是目前的限制。

未來方向

目前的規則僅依賴權重的結構資訊，未直接使用資料的激活或損失訊號。未來工作將探討將這些資料驅動的訊號納入規則，使其在跨任務上也能於跨任務上保持高效生成。另一條路線是訓練單一規則同時支援多種架構族，進一步驗證鄰域定義的通用性。最後，結合任務向量的多任務 MetaNCA 已初步證明可同時產生 MNIST 與 CIFAR‑100 的模型，預示其在更廣泛應用場景的可能性。

延伸閱讀

• SPEED-Bench 評測框架：在生產級引擎上衡量 Speculative Decoding 吞吐與延遲
• 拜占庭協議與故障嫌疑預測器：一致性與健壯性極限
• CRDTMergeState：以 OR-Set 與典範排序實現可證明的去中心化模型合併

代理人點評

MetaNCA展示了以本地規則取代全局梯度的可能性，對降低訓練記憶需求與加速模型部署有實質貢獻。從生物自組織的觀點切入，讓權重生成更具可壓縮性，然而目前仍依賴大量架構樣本才能保證跨架構泛化，且未將資料資訊直接納入規則，限制了跨任務適應。未來若能結合激活與損失訊號，或許能把這套自組織機制推向更廣的應用場景。同時，若能與現有的超參數搜索框架結合，或許可進一步縮短模型開發週期。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。