深度分析
EMO：以文件邊界促成語義導向的 Mixture-of-Experts（MoE）模組化
研究背景：大型語言模型常以巨型單體方式訓練與部署。核心做法：EMO在預訓練以文件邊界為弱監督，限制同文檔token在共享專家池內路由；同時採用全局負載平衡與隨機文件池大小以避免崩塌。主要影響：小比例專家即可保留接近整體效能，有助降低部署記憶體成本。
MoE
深度分析
EMO：以文件邊界驅動的 MoE 模組化訓練方法
AllenAI 推出 EMO，一種在預訓練階段以模組化為一級目標的混合專家（Mixture-of-Experts, MoE）架構。EMO 利用文件邊界作為弱監督，強迫同一文件內的 token 在路由時共享一組專家子集合，促進語義導向的專家群聚。
深度分析
Gemma 4：支援在地部署的多模態模型，採用 MoE、PLE 與 RoPE 優化長上下文
Google DeepMind 發表 Gemma 4 系列多模態模型，採 Apache 2 授權並支援文字、影像與部分音訊輸入，並強調可在多種推理引擎與平台上部署。架構採用分層嵌入（PLE）、共享 KV 快取與雙 RoPE 配置，兼顧長上下文與量化效能。
深度分析
ELMoE-3D：混合鍵合硬體與Elastic-SD協同，緩解MoE本地推論記憶體瓶頸
本文報導ELMoE-3D，一套為本地（on-premises）Mixture-of-Experts(MoE)服務量身訂做的HW–SW協同方案。研究指出MoE在逐詞專家激活下會把稀疏計算轉成密集的記憶體激活，造成頻寬瓶頸。