深度分析
基於 Transformer 的 JA4‑JEPA:跨視圖自監督學習在資安指紋中的應用
研究探討將JEPA風格的預測學習套用於JA4系列指紋,使用Transformer訓練混合資料集,於TLS、DNS、SSH三類協定上以凍結kNN取得0.922的準確率,證明即使視圖不完整亦能產生有用嵌入。同時在2.1M產線指紋對照的異常偵測基準中,預測能量信號亦勝過頻率、最近鄰、重建等方法。
深度分析
研究探討將JEPA風格的預測學習套用於JA4系列指紋,使用Transformer訓練混合資料集,於TLS、DNS、SSH三類協定上以凍結kNN取得0.922的準確率,證明即使視圖不完整亦能產生有用嵌入。同時在2.1M產線指紋對照的異常偵測基準中,預測能量信號亦勝過頻率、最近鄰、重建等方法。
深度分析
研究將世界對稱性硬編碼於潛在模型,採用等變性編碼器(2D 向量神經元、3D e3nn)與等變性預測器,於筆記本 CPU 上與參數較多的非等變基線比較。結果顯示在 SO(2)、SO(3) 及 SE(3) 群上誤差約為 1 倍,遠低於基線的 13 至 157 倍,同時閉環姿態控制保持方向不變性,證明等變性提升樣本效率與零樣本泛化。
深度分析
研究探討將世界對稱性硬編碼於潛在世界模型,使用等變編碼器與預測器,比較等變與非等變基線。結果顯示等變模型在所有旋轉設定下誤差保持≈1,遠優於非等變模型。實驗於CPU/MPS筆記本完成35步,誤差跨群組恆定,非等變模型誤差高達13至157倍。此發現顯示對稱性可提升樣本效率與零樣本泛化。
深度分析
自監督學習近年聚焦對齊與重建,本研究引入預測表徵學習以預測未觀測資料。提出 PRL 分類,將 JEPA 視為典範,實驗顯示 BYOL 與 I‑JEPA 在準確度與魯棒性上較均衡,預示此方向將重塑 AI 研發與商業應用。