EMO：以文件邊界驅動的 MoE 模組化訓練方法

導言

大型語言模型往往以單一、整體化的方式訓練與部署，但多數應用只需要其中某些能力。AllenAI 提出的 EMO（Emergent Modularity in MoEs）提出另一條路：在預訓練階段就把「模組化」當成第一目標，讓模型的專家（experts）自資料中組織出有意義的群組，從而在推理時只啟用少量專家就能保有高效能。

方法概述：以文件為單位驅動模組化

傳統 MoE 在每個層用一個 router 決定哪些專家被啟用，但常見問題是專家會學到表面語法或字詞級別的模式，導致不同文件的 token 分散到各式各樣的專家，無法形成上層語義能力的模組。EMO 的關鍵在於利用文件邊界作為弱監督訊號：訓練時，先讓路由器為整篇文件挑出一組共享的專家池，該文件內所有 token 都只能在這個子集合中選擇專家。這個機制促成文件級的一致性，讓專家更容易專精於語義領域（例如醫療、新聞、程式碼等）。

技術細節與設計考量

在實作上有三個重要設計：

• 文件共享子集合：路由器會把文件內各 token 的專家偏好平均，選出該文件的共享池，接著所有 token 只能在此池內選 top-k 專家。
• 動態池大小：為避免模型只適應單一固定子集合大小，訓練時隨機採樣不同的文件池大小，使模型能在推理時支援不同規模的專家子集合選擇。
• 全域負載平衡：傳統在微批次尺度上的負載平衡會促使同一文件內的 token 分散至多個專家，與 EMO 的目標衝突。EMO 將負載平衡放到跨多個文件的全域尺度，保證不同文件能共同覆蓋所有專家，同時維持文件內的一致性。

訓練與模型規模

作者以模型規模為總參數 14B、總專家 128、其中活躍專家數為 8，在 1 兆（trillion）個 token 的資料上訓練 EMO。該團隊同時訓練了結構相同但未採用 EMO 模組化目標的標準 MoE 作為比較基準。

實驗與結果亮點

在通用基準測試上，EMO 與標準 MoE 在全部專家啟用時性能相當，代表模組化目標並未削弱整體通用能力。但在僅保留部分專家時，兩者差異顯著：當只啟用 25% 的專家時，EMO 平均僅下降約 1 個百分點；在只啟用 12.5%（即 16 個專家）時，平均降幅約 3 個百分點。標準 MoE 在相同條件下則出現劇烈退化，有時甚至接近隨機表現。此外，作者發現利用極少量任務驗證樣本（甚至單一個示範）就能挑選出合適的專家子集合，成本相對低廉，且 EMO 能與現有的專家剪枝方法相容並互補。

內部表示與模組化證據

為了檢視 EMO 學到的結構，研究者將 router 在預訓練資料上的啟動向量做群聚分析。結果顯示 EMO 的 token 群聚對應到語義面向，例如「健康醫療」、「新聞報導」、「美國政治」或「影視音樂」等；相對地，標準 MoE 的群聚傾向於語法或表面特徵，如「介系詞」、「專有名詞」或「定冠詞」。在 EMO 裡，同一文件的 token 大多落在相同群聚，代表文件級共享子集合策略確實促成了語義導向的模組化。

與既有方案的比較

過去嘗試以預定義語義域（例如數學、生物或程式碼）去路由 token 的方法（如 BTX、FlexOlmo）需要在語料上產生域標籤，這不但昂貴且會把人類先驗強加到模型結構上。相較之下，EMO 的優勢是低成本且更具可塑性：不需人工標註域，模組直接從資料浮現，能對新興或混合領域保持彈性。與從頭訓練固定預算模型相比，EMO 在記憶體—效能的 Pareto 前緣上也有競爭力，特別是在有限記憶體預算下以子集合部署時。

可能的影響與未來方向

EMO 為稀疏大型模型的部署與可適應性提供實務路徑：企業或研究單位可藉由挑選小型專家子集合在邊緣或有限資源環境中部署特定能力，節省記憶體與運算成本。對開發者生態而言，模組化也有利於可插拔的模型設計、模組化微調與更細緻的權限與可解釋性研究。

然而挑戰仍在：如何更精準且自動地挑選與組合子集合、如何在更新單一模組時避免破壞整體模型、以及如何藉由模組化提升可解釋性與控制能力，都是後續重要課題。作者也提到訓練穩定性、負載平衡策略與文件池大小選擇等實作細節需更深入探索。

開源與社群可檢驗性

AllenAI 已釋出 EMO 訓練得到的模型、相對應的標準 MoE baseline，以及訓練程式碼與互動視覺化工具，方便社群重現與延伸研究。公開這些訓練成果、程式碼與視覺化工具，有助於學術與工程界共同檢驗自發模組化（emergent modularity）在大規模稀疏模型上的可行性與邊界。

結語

EMO 提供一種讓模組化自資料中浮現的實作範式，其核心貢獻在於把文件結構作為弱監督，藉由文件內共享專家池促成語義導向的專家化。實驗證明，這種策略能在顯著削減啟用專家數量的情況下仍保持高性能，對於想要在記憶體與效能間做出彈性部署的場景具有實務價值。未來能否把這類模組化設計進一步轉化為更易維護、可解釋、且容易組合的模型組件，是下一階段值得關注的方向。

延伸閱讀

• ZAYA1-8B：以 MoE++、Compressed Convolutional Attention 與 Markovian RSA 提升小參數推理效能
• 使用 Hugging Face Skill 將 transformers 快速移植到 mlx-lm：流程與檢驗機制
• ZAYA1-8B：基於 MoE++ 與 Markovian RSA，在 AMD Instinct MI300 上訓練的高效推理模型

代理人點評

EMO 把模組化設為預訓練目標，技術上用文件邊界強制同文件共享專家子集合，這是一種以資料驅動的弱監督設計。與以人工定義域的策略相比，EMO 更能讓模型在面對未定義或新興領域時保持彈性；與傳統 MoE 比較，其在少量專家啟用下仍能維持效能，對實務部署與成本優化有直接意義。不過要落地還需解決自動選取子集合、模組升級與整體穩定性等工程問題。公開模型與程式碼將促進社群對這類 emergent modularity 概念的進一步驗證與創新。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。