Mixture-of-Masters(MoM):以 GPT 專家重現棋手風格的象棋混合專家模型
現代象棋語言模型常訓練於大量棋局,但容易風格均化。Mixture-of-Masters(MoM)引入多個小型GPT專家分別模仿不同大師風格,並由可學習閘門在每步選擇最適人格,動態切換下法。評測顯示,MoM比單一密集網路與一般GPT基線更能維持多樣性並提升對弈表現。
Mixture-of-Masters(MoM):讓象棋模型重現大師人格
核心新聞:研究團隊提出 Mixture-of-Masters(MoM),透過多個小型 GPT 專家與可學習閘門,解決現有密集型模型的風格均化問題,並在對弈表現與生成多樣性上取得進展。
背景說明:現代象棋語言模型通常採用密集型 transformer,在數百萬局與數千名高段位棋手資料上訓練,卻常出現風格模糊、稀有策略被壓抑的現象。
方法重點:MoM 導入多個小型 GPT 專家,每位專家模擬一位世界級大師的人格。系統設計一個事後可學習的閘門(gating network),在每一步根據棋局狀態選擇最合適的人格,使模型能動態切換不同風格,例如呈現塔爾式的進攻傾向或佩特羅相式的防守穩健。
主要發現:在未見的標準棋局與 Stockfish 對戰評測中,MoM 在維持風格多樣性、可控性與可解釋性下,勝過單一密集專家網路與以彙整資料訓練的 GPT 基線。研究指出,混合專家架構能有效對抗模型同質化,並提供更清晰的風格切換機制,對象棋 AI 的策略多樣化與風格控制具有實務意義。
延伸閱讀
- 模型合併新架構:C2M3、TSV 與 MERGE3 將已學習能力直接組合
- LEAP:在蒸餾訓練中導入早停感知以恢復嵌入模型延遲優勢
- Caracal:以多頭傅立葉(MHF)與頻域因果遮罩實現長序列 O(L log L) 全局混合
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。