深度分析
Apertus‑8B 與 Gemma‑4‑E4B 情緒向量深度分析:層級與語料影響
研究證實情緒向量在開源模型 Apertus‑8B 與 Gemma‑4‑E4B 中均可被抽取,前者在深層突現,後者早期高峰;兩者的 PC1‑valence 相關係數分別達 0.76 與 0.83,且使用 Gemma 產生的故事提升 arousal 方向相關至 0.45。
深度分析
研究證實情緒向量在開源模型 Apertus‑8B 與 Gemma‑4‑E4B 中均可被抽取,前者在深層突現,後者早期高峰;兩者的 PC1‑valence 相關係數分別達 0.76 與 0.83,且使用 Gemma 產生的故事提升 arousal 方向相關至 0.45。
深度分析
本研究聚焦 Claude Mythos 預覽系統卡,利用情緒向量與稀疏自編碼器特徵分析模型行為。提出兩種假說:情緒向量是功能情緒的因果驅動,或是情境結構的投射。透過在僅報告 SAE 的策略隱蔽情境加入情緒探測,驗證哪個假說成立,影響未來危險行為的情緒監控效能。
深度分析
研究探討小型語言模型情緒向量幾何,抽取21種情緒於六種架構1‑8B模型,發現成熟模型情緒幾何高度相似,RLHF僅重塑未成熟模型,方法層級影響需分層解讀。