端到端延遲

深度分析

3.5D 多晶片 MoE 推理的熱專家居留優化：HCRMap 壓力感知映射機制

MoE大語言模型在3.5D多晶片系統中會出現熱專家負載偏斜，導致計算、記憶體與連結壓力不均。研究提出HCRMap框架，根據熱度、遷移成本與資源壓力動態調整熱專家副本的層級配置。實驗顯示在預填與解碼階段的端到端延遲分別降低約43%與46%顯著。