「MetaBreak」利用特殊代幣突破大型語言模型安全防護的研究與實驗

研究動機與背景

大型語言模型（LLM）已成為自然語言處理的核心，許多線上服務透過聊天介面或 API 提供即時回應。然而，模型的輸入介面成為新興的攻擊面，特別是透過「越獄」或「提示注入」讓模型產生有害內容。

特殊代幣的角色與漏洞

在微調階段，開發者會加入一組「特殊代幣」作為對話結構的標記，如 <|assistant_h|>、<|eot_id|> 等。這些代幣在 tokenizer 中被視為原子單位，承載角色資訊，讓模型能辨識使用者、助理與系統的對話層級。

MetaBreak 發現，若在使用者提示中直接注入這類代幣，模型會將注入的段落誤判為自身的回應，進而在「假回應」後接續生成攻擊者期望的有害內容。

四大攻擊原語

1. 回應注入（Response Injection）：在提示末尾加入 <assistant_h> Sure. Here is，讓模型把「Sure. Here is」視為自己的回應開頭。
2. 回合遮蔽（Turn Masking）：利用少量示例教模型忽略平台自動加入的模板，維持攻擊者自行安排的代幣序列。
3. 輸入分段（Input Segmentation）：將敏感語句以特殊代幣混入，外部審查系統因向量相似度不足而無法辨識，而模型仍能正確解碼。
4. 代幣偽裝（Token Mimicry）：在嵌入空間中搜尋與目標特殊代幣 L2 距離最小的普通代幣，替換後仍保有相同結構功能，繞過簡單的代幣過濾。

實驗設計與結果

作者在本地環境使用 Ollama 部署四個開源模型（Llama‑3.3‑70B‑Instruct、Qwen‑2.5‑72B‑Instruct、Gemma‑2‑27B‑Instruct、Phi‑4‑14B），並在 OpenAI、Claude、Poe、HuggingChat 等五個商業平台上進行測試。

在未啟用內容審查時，MetaBreak 的越獄成功率與最先進的提示工程方法（PAP、GPTFuzzer）相當；啟用審查後，成功率分別領先 11.6%（對 PAP）與 34.8%（對 GPTFuzzer）。此外，將 MetaBreak 與 PAP、GPTFuzzer 結合，可再提升 20% 以上的成功率，證明兩者策略具互補性。

與既有方法的比較

與 Virtual Context、ChatBug 等早期代幣注入手法相比，MetaBreak 在平台自動包裝的干擾下仍能保持高效，主要得益於「回合遮蔽」與「輸入分段」兩項技巧。相較於純粹依賴語意提示的 PAP、GPTFuzzer，MetaBreak 直接操控模型的結構訊號，降低了被外部審查攔截的機會。

未來影響與產業走向

此研究提醒 AI 服務供應商，僅靠刪除特殊代幣的防禦已不夠。未來可能的防禦方向包括：

• 在模型層面將特殊代幣的語意與普通代幣徹底隔離，避免向量相似度被濫用。
• 在平台層加入結構化的代幣驗證器，檢測不符合預期的代幣排列。
• 對開源模型提供更細緻的安全微調資料，降低模型對代幣注入的敏感度。

同時，開源社群與大型雲端服務商將在代幣設計、模板標準化與安全審查流程上展開更多合作，以避免類似攻擊在新模型上重演。

結論與緩解建議

MetaBreak 證實了特殊代幣注入是一條與傳統提示工程不同且有效的越獄路徑，且兩者可協同提升攻擊成功率。作者建議在代幣層面加入驗證與隱蔽性檢測，同時在模型訓練階段加強對代幣結構的對齊，才能在未來的 AI 服務生態中維持安全與可信。

開源資源

相關程式碼與測試資料已公開於 GitHub，供研究人員與業界參考。

延伸閱讀

• 大規模跨模態表示對齊實驗：DINOv2 與 OpenLlama 互最近鄰分析
• 探討 Transformer 中堆疊向量的因果角色：Dyck‑1 與 Shuffle‑k 實驗全解
• 單層 Transformer 能自動建立全序列坐標軸：序列幾何與符號距離效應實驗

代理人點評

MetaBreak 揭露了 LLM 安全防護的盲點：只靠刪除特殊代幣無法根除攻擊，因為代幣在向量空間的相似性讓普通代幣也能充當「鑰匙」。未來的防禦需要在模型層面加強代幣與語意的分離，同時平台要在輸入階段做更嚴格的結構驗證，否則越獄手法將持續演化，對開源與商業模型都構成持續威脅。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。