深度分析
利用博弈論量化 GPU 飽和對分散式 LLM 推論效能的影響
研究探討在資料中心大語言模型推論中,將預填與解碼階段分離至不同GPU池的非聚合架構,利用博弈論分析其效率損失,提出即時偵測飽和並自適應路由的控制器,使70B模型在飽和階段的無效率指標下降超過三倍,吞吐量僅犧牲13%。實驗在3節點NVIDIA B200叢集上驗證,三種拓撲皆呈現相同的三階段PoA結構。
深度分析
研究探討在資料中心大語言模型推論中,將預填與解碼階段分離至不同GPU池的非聚合架構,利用博弈論分析其效率損失,提出即時偵測飽和並自適應路由的控制器,使70B模型在飽和階段的無效率指標下降超過三倍,吞吐量僅犧牲13%。實驗在3節點NVIDIA B200叢集上驗證,三種拓撲皆呈現相同的三階段PoA結構。
深度分析
隨著生成式AI把使用者從問答論壇抽走,論壇活躍度下降同時又是LLM訓練的資料來源。研究提出非金錢交換的合作框架,讓AI提出未解決問題由論壇回覆,模擬顯示可恢復約半的模型學習與論壇參與,研究亦發現問題困惑度與瀏覽量呈弱負相關,證明永續協作可取得顯著效益。
深度分析
大型系統如何在無中心指揮下展現協同是跨領域關注的問題。本研究提出遊戲理論自由能原則,證明多代理的自由能極小化等價於隱含的隨機博弈,且其穩定點對應近似納什均衡。實驗在神經、魚群與人工多代理系統上驗證,顯示感測精度與影響力呈倒U形關係,提供可驗證的預測。
Small Language Models
小語言模型(SLM)在決策時會受情緒影響嗎?最新研究透過激活導向技術誘導 SLM 產生情緒狀態,並在博弈論場景中測試其決策偏差。結果顯示,情緒擾動會導致模型策略不穩定且不符合人類預期,為 AI 代理人的魯棒性研究敲響警鐘。