微型 Transformer

深度分析

微型 Transformer 的資訊路徑與少樣本學習效能：符號、Oracle 及感知向量實驗結果

研究聚焦於資訊輸入方式如何影響微型Transformer的組合綁定能力，測試符號、因子式Oracle、弱/強感知向量等五條路徑，結果顯示無路徑能在零樣本下完成組合，少樣本效能受共享參數與可讀性主導，提供未來模型設計的關鍵指標。此結果也挑戰了先前認為感知向量能自然促成組合的假設。