Transformer 編碼

速報

KAHMs：用核仿射殼機替代線上Transformer查詢編碼，顯著提速又可解釋

研究指出在固定教師(transformer)框架下，線上查詢編碼成為主要成本。提出KernelAffíneHullMachines(KAHMs)，在RKHS估計原型混合權重並以正規化最小均方精修原型，將詞彙特徵映射到凍結語意空間。實驗顯示能重建教師空間並降低查詢延遲。