跨層門控注意力

深度分析

Wiola 小型語言模型：SRPE、GCLA、ATM、DSFF 與 WiolaRMSNorm 的全方位優化

Wiola針對小型語言模型提出全新架構，採用三維螺旋位置編碼、跨層門控注意力、代幣合併、雙流前饋與WiolaRMSNorm等五項創新，提供120M至1.5B四種規模，與HuggingFace Transformers 完全相容，實驗顯示在參數與記憶體占用上優於GPT‑2、LLaMA‑2與Mistral。