深度分析
利用博弈論量化 GPU 飽和對分散式 LLM 推論效能的影響
研究探討在資料中心大語言模型推論中，將預填與解碼階段分離至不同GPU池的非聚合架構，利用博弈論分析其效率損失，提出即時偵測飽和並自適應路由的控制器，使70B模型在飽和階段的無效率指標下降超過三倍，吞吐量僅犧牲13%。實驗在3節點NVIDIA B200叢集上驗證，三種拓撲皆呈現相同的三階段PoA結構。
深度分析
研究探討在資料中心大語言模型推論中，將預填與解碼階段分離至不同GPU池的非聚合架構，利用博弈論分析其效率損失，提出即時偵測飽和並自適應路由的控制器，使70B模型在飽和階段的無效率指標下降超過三倍，吞吐量僅犧牲13%。實驗在3節點NVIDIA B200叢集上驗證，三種拓撲皆呈現相同的三階段PoA結構。
深度分析
本研究針對大型語言模型的推理缺陷，提出ARMOR-MAD，結合預辯論同意路由、早期停止評估與語意異常偵測，讓異質模型僅在必要時展開辯論。此框架將辯論視為條件運算，根據模型族多樣性與答案一致性自動決定參與者與啟動時機，降低不必要的計算開銷。實驗在四項基準測試中，準確率均超過固定回合的異質辯論，顯著提升效能與效率。