Heretic
Heretic:結合方向性消融與 Optuna TPE 的全自動模型去審查工具
Heretic 是一個開源工具,結合方向性消融與 Optuna TPE 參數搜尋,無需昂貴後訓練即可自動去除語言模型的安全審查,實驗顯示在保留模型能力的同時,大幅降低拒絕率。在 Gemma-3-12B 等模型測試中,拒絕率從 97% 降至 3%,KL 散度僅略升 1.04,顯示去審查後仍保有原始語意。
Heretic
Heretic 是一個開源工具,結合方向性消融與 Optuna TPE 參數搜尋,無需昂貴後訓練即可自動去除語言模型的安全審查,實驗顯示在保留模型能力的同時,大幅降低拒絕率。在 Gemma-3-12B 等模型測試中,拒絕率從 97% 降至 3%,KL 散度僅略升 1.04,顯示去審查後仍保有原始語意。
深度分析
研究提出SNAC‑Pack,結合硬體代理模型的多目標NAS,針對FPGA的LUT、DSP、BRAM等資源與延遲進行預測,於LHCjet分類與量子比特讀出兩項任務中,找到資源更緊湊且效能不遜於基線的模型。此流程結合全局多目標搜尋與本地量化感知訓練及迭代剪枝。
Abliterix
開源專案Abliterix提出自動化的abliteration調校流程,以OptunaTPE同時最小化拒絕率與KL散度,支援LoRA、MoE與多架構。其公開基準旨在提升可複現性,並可能影響模型對齊與審查策略。此工具強調零人工調參與150+預設配置,適合研究與工程驗證。