Transformer 區塊刪除

深度分析

利用 DTR 與 GateProbe 探索 VLA 模型語言骨幹的冗餘與可恢復性

研究探討視覺語言行動模型的結構冗餘，提出 Drop‑Then‑Recovery 以刪除並恢復 transformer 區塊，並搭配 GateProbe 評估區塊重要性。實驗顯示語言骨幹過度冗餘，削減半數仍提升或維持表現，提示未來基準需加強語言推理測試需求。