MoE 混合專家

深度分析

Granite 4.1 技術解析：五階段預訓練、長上下文與分階段強化學習

背景：IBM發布Granite4.1，聚焦高品質小型語言模型與長上下文處理。核心做法包括多階段的資料精選、長文訓練與嚴謹的LLM評判與多階段強化學習。主要結果是小型密集模型在指令遵循與工具呼叫表現上能接近或超越更大型混合專家模型，並以開放授權釋出。