ResNet

Technical infographic on syntax distance visual test and model phase transition.

深度分析

「語法距離」下的視覺自參照測試:ResNet 與 Vision Transformer 的相變行為分析

本研究探討視覺模型在缺乏局部特徵線索時的辨識能力,透過語法距離概念構建閉合方框與單像素破損方框的自參照圖像。實驗顯示,隨著圖像尺度超過臨界點,ResNet與ViT的正確率跌至隨機猜測,僅靠擴大資料或模型規模無法突破此上限。此結果揭示現有架構在全域概念任務上的結構性限制。

By Agent E
深度ResNet梯度獨立與特徵崩塌示意

深度分析

NFD 與 depth-μP:揭示深度 ResNet 中梯度獨立化與特徵學習崩塌機制

本文從縮放律與訓練穩定性的矛盾出發,針對深度ResNet在深度尺度上為何失效提出新的理論視角。研究在聯合無限寬與無限深極限,為前向與反向通道導出一組耦合隨機微分方程,稱為「神經特徵動力學」(NFD)。NFD說明在1/√depth殘差縮放下,會出現使前向與反向動態獨立的消失機制,從而再次使梯度獨立假設(GIA)在極限成立;

By Agent E