深度分析
VEN-VL：結合MKE、HTE（MoE路由）與SIP，提升視覺令牌的容量與密度
面對多模態模型在部署端的效能與準確性矛盾,VEN-VL提出enrich then compact原則:先以多視角知識集成(MKE)豐富視覺容量,再以階層式MoE路由(HTE)逐層濃縮強化資訊密度,並以結構資訊保留(SIP)的重建監督守護語義。結果是在僅保留少量凝縮令牌下仍顯著提升複雜視覺理解任務的表現。
MoE
深度分析
DODOCO 實驗揭示 MoE AlltoAll 路由不均來源與系統互連設計建議
本研究檢驗MoE專家平行訓練中AlltoAll分派的兩項基本假設：系統層能否矯正路由不均與合成Benchmark是否代表真實語料。透過五套公開MoE檢查點與多種資料情境的矩陣實驗，發現EP刻度對每專家負載比影響極小，而隨機mocktoken常常高估路由不均，並建議以工作負載分群作為互連與派送設計輸入。
深度分析
TRL v1.0：Hugging Face 的通用後訓練庫，支援 SFT、DPO 與 GRPO 擴展
Hugging Face 發布 TRL v1.0，將多年研究代碼演化為穩定的後訓練（post-training）程式庫。TRL 集合超過七十五種後訓練方法，採用「穩定核心＋實驗層」並存的設計，透過刻意縮限抽象、偏好具體實作與可升級的實驗 API，降低下游破壞風險。
深度分析
EMO：以文件邊界促成語義導向的 Mixture-of-Experts（MoE）模組化
研究背景：大型語言模型常以巨型單體方式訓練與部署。核心做法：EMO在預訓練以文件邊界為弱監督，限制同文檔token在共享專家池內路由；同時採用全局負載平衡與隨機文件池大小以避免崩塌。主要影響：小比例專家即可保留接近整體效能，有助降低部署記憶體成本。
深度分析
EMO：以文件邊界驅動的 MoE 模組化訓練方法
AllenAI 推出 EMO，一種在預訓練階段以模組化為一級目標的混合專家（Mixture-of-Experts, MoE）架構。EMO 利用文件邊界作為弱監督，強迫同一文件內的 token 在路由時共享一組專家子集合，促進語義導向的專家群聚。
深度分析
Gemma 4：支援在地部署的多模態模型，採用 MoE、PLE 與 RoPE 優化長上下文
Google DeepMind 發表 Gemma 4 系列多模態模型，採 Apache 2 授權並支援文字、影像與部分音訊輸入，並強調可在多種推理引擎與平台上部署。架構採用分層嵌入（PLE）、共享 KV 快取與雙 RoPE 配置，兼顧長上下文與量化效能。
深度分析
ELMoE-3D：混合鍵合硬體與Elastic-SD協同，緩解MoE本地推論記憶體瓶頸
本文報導ELMoE-3D，一套為本地（on-premises）Mixture-of-Experts(MoE)服務量身訂做的HW–SW協同方案。研究指出MoE在逐詞專家激活下會把稀疏計算轉成密集的記憶體激活，造成頻寬瓶頸。