深度分析
LLM 特徵拼接在高同質性與低同質性圖神經網路上的表現差異分析
研究發現,將大型語言模型產生的節點特徵以純拼接方式加入圖神經網路,會在高同質性資料集如PubMed與Cora上大幅降低測試準確率,下降幅度最高達17個百分點;而在同質性較低的WikiCS與ogbn‑arxiv上則可提升數個百分點。作者提出以Δsig指標預測拼接效應,並建議使用可學門控或聯合訓練等機制避免負面影響。
深度分析
研究發現,將大型語言模型產生的節點特徵以純拼接方式加入圖神經網路,會在高同質性資料集如PubMed與Cora上大幅降低測試準確率,下降幅度最高達17個百分點;而在同質性較低的WikiCS與ogbn‑arxiv上則可提升數個百分點。作者提出以Δsig指標預測拼接效應,並建議使用可學門控或聯合訓練等機制避免負面影響。
深度分析
科學事實查核需要在成本與準確性間取得平衡。研究提出以原子斷言分解結合不確定性門控的網路查證流程,僅在支援度不確定時才搜尋權威網站,並以三值分類回傳結果。實驗證明此方法在多項基準測試中優於現有系統,且外部查證使用率低,提升了可解釋性與成本效益。
Vision Transformer
研究針對視覺 Transformer 前饋層的二次特徵設計提出正交二次補充(OQC),透過低秩輔助分支並投影至主分支的正交補集,以避免資訊重疊。完整 OQC 在 CIFAR‑100 上將基線提升至 65.59%,OQC‑LR 提供更佳速度‑準確率平衡,動態門控版本在 TinyImageNet 上再增 1.43 點。此方法顯示出提升表徵幾何與類別分離的潛力。