Orthogonal Quadratic Complement

Vision Transformer

正交二次補充提升 Vision Transformer 前饋網路效能的研究

研究針對視覺 Transformer 前饋層的二次特徵設計提出正交二次補充（OQC），透過低秩輔助分支並投影至主分支的正交補集，以避免資訊重疊。完整 OQC 在 CIFAR‑100 上將基線提升至 65.59%，OQC‑LR 提供更佳速度‑準確率平衡，動態門控版本在 TinyImageNet 上再增 1.43 點。此方法顯示出提升表徵幾何與類別分離的潛力。