VibeThinker
開源小模型 VibeThinker‑1.5B/3B 透過 SSP 技術實現高效可驗證推理
WeiboAI於2025年開源VibeThinker-1.5B與2026年推出3B版本,採用Spectrum-to-Signal原則與多階段後訓練,結合監督微調、強化學習與自我蒸餾。實驗顯示1.5B在三項數學基準上超越400倍規模的DeepSeekR1,3B在可驗證推理上達到表現,凸顯小模型推理可能。
VibeThinker
WeiboAI於2025年開源VibeThinker-1.5B與2026年推出3B版本,採用Spectrum-to-Signal原則與多階段後訓練,結合監督微調、強化學習與自我蒸餾。實驗顯示1.5B在三項數學基準上超越400倍規模的DeepSeekR1,3B在可驗證推理上達到表現,凸顯小模型推理可能。
深度分析
隨著大型語言模型量化需求提升,傳統全局旋轉受表現限制;ReSpinQuant 以子空間殘差旋轉離線融合激活,兼顧層級適應與低開銷;實驗顯示其在 W4A4、W3A3 量化下達到業界最佳精度,顯著優於全局方法。