Heretic
Heretic:結合方向性消融與 Optuna TPE 的全自動模型去審查工具
Heretic 是一個開源工具,結合方向性消融與 Optuna TPE 參數搜尋,無需昂貴後訓練即可自動去除語言模型的安全審查,實驗顯示在保留模型能力的同時,大幅降低拒絕率。在 Gemma-3-12B 等模型測試中,拒絕率從 97% 降至 3%,KL 散度僅略升 1.04,顯示去審查後仍保有原始語意。
Heretic
Heretic 是一個開源工具,結合方向性消融與 Optuna TPE 參數搜尋,無需昂貴後訓練即可自動去除語言模型的安全審查,實驗顯示在保留模型能力的同時,大幅降低拒絕率。在 Gemma-3-12B 等模型測試中,拒絕率從 97% 降至 3%,KL 散度僅略升 1.04,顯示去審查後仍保有原始語意。
方向性消融
背景:Heretic是一個公開專案,主張自動移除變壓器語言模型的審查行為。它採用方向性消融(abliteration)並以Optuna的TPE搜尋參數,目標同時降低拒絕次數與維持原模型分布,從而生成去審查模型並支援多種架構。此外專案有相當關注可操作性與自動化流程。