HySAT

深度分析

HySAT 以損失層雙曲幾何解決專家級 AI 訓練崩潰問題

專家領域的知識本質上是樹狀結構，但傳統 Transformer 的歐氏幾何無法有效處理深層的父子關係。HySAT 提出只在損失層使用雙曲幾何，避免因曲率耦合導致的訓練崩潰；在六個專家模型、約 31.7 萬步訓練中達成零 NaN。這項技術讓專家級 AI 部署更穩定。