深度分析
CADENCE:以 Probability Flow ODE 與 Soft Mixture-of-Experts 從稀疏橫斷面重建個體時間動態
背景:個體連續時序通常需密集縱向資料,但實務常僅有稀疏快照。方法:CADENCE以PF-ODE做雙向空間編碼,並用SMoE由靜態上下文路由生成個體動態參數,結合分層幾何假設實現可識別性。結果:在稀疏橫斷面條件下,模型可恢復個體時序並與密集序列模型相當。
深度分析
背景:個體連續時序通常需密集縱向資料,但實務常僅有稀疏快照。方法:CADENCE以PF-ODE做雙向空間編碼,並用SMoE由靜態上下文路由生成個體動態參數,結合分層幾何假設實現可識別性。結果:在稀疏橫斷面條件下,模型可恢復個體時序並與密集序列模型相當。
深度分析
本篇論文指出目前的多模態 AI 系統在處理需要同時結合多維資訊的創意推理時,受到一種稱為「接觸拓撲」的結構限制。作者以哲學、認知科學與數學三大支柱為基礎,提出以纖維叢連接理論、楊‑米爾斯作用函數與持續同調拓撲正則化相結合的解決方案,並設計四項神經科學實驗驗證其效能。
速報
隨著模型與資料規模不斷擴大,深度學習的計算成本持續上升。傳統的混合精度訓練透過在高精度儲存權重、低精度執行運算來降低成本,但在連續時間模型如神經常微分方程(Neural ODE)上仍不穩定。