W4A4 量化

深度分析

Cohere Command A+：稀疏 MoE 與 W4A4 近無損量化的企業級開源模型

加拿大實驗室Cohere發布CommandA+並以Apache2.0授權開放權重。模型採稀疏MoE架構，結合W4A4四位元量化與注意力保留，並支援多種低精度格式與大規模多模態上下文。原生引用標記可追溯外部資料來源，強調硬體效率與企業內部部署可行性。