稀疏 MLP 子電路

深度分析

Llama‑3.1‑8B 在循環概念上以十進位加法與稀疏 MLP 子電路重構表示

這篇研究揭露 Llama-3.1-8B 處理循環概念（如月份、星期、24 小時制）的內部機制。研究發現模型並非直接在概念的自然模期內做模加法，而是先在中間層用一套通用的「基於十進位的加法」機制計算總和，然後再把數值映射回各自的循環概念空間。