深度分析
DiScoFormer：結合 Transformer 的高維度密度與分數估計模型，提升 KDE 效能
Allen AI 推出的 DiScoFormer 以 Transformer 同時估算資料分布的密度與分數，訓練使用高斯混合模型生成的樣本。實驗在100維度上顯示密度誤差比最佳KDE低逾37倍、分數誤差減少約6.5倍，且記憶體需求更佳。此技術有望降低高維度分析成本，推動生成模型與科學模擬等領域創新。
DiScoFormer
深度分析
DiScoFormer：同時估算分布密度與分數的 Transformer 模型
Allen Institute for AI 推出的 DiScoFormer 以 Transformer 架構，在單次前向傳播即能估算任意資料分布的密度與分數，解決傳統核密度估計在高維度下精度急衰、神經分數模型需重新訓練的兩大痛點。
深度分析
DiScoFormer：單一 Transformer 同時估算分布密度與分數的創新方法
機器學習常需從樣本推估分布的密度與分數。DiScoFormer以Transformer結構結合交叉注意力，同時輸出密度與分數，並利用無標籤一致性損失自適應不同分布。訓練時以高斯混合模型產生無限目標，實驗顯示在百維度上誤差比傳統KDE多倍降低。