高維度資料

深度分析

DiScoFormer：單一 Transformer 同時估算分布密度與分數的創新方法

機器學習常需從樣本推估分布的密度與分數。DiScoFormer以Transformer結構結合交叉注意力，同時輸出密度與分數，並利用無標籤一致性損失自適應不同分布。訓練時以高斯混合模型產生無限目標，實驗顯示在百維度上誤差比傳統KDE多倍降低。