SynBench：差分隱私下的專業領域合成資料效用與隱私測評

SynBench：差分隱私下的領域專用合成文本基準

在醫療、金融與法律等高風險領域，資料私密性與法規限制常阻礙研究與應用。面對大型語言模型對資料需求的擴張，如何在保護個人隱私的前提下產出可用的合成資料，成為關鍵議題。

研究動機與貢獻

研究團隊提出 SynBench，一套面向差分隱私（Differential Privacy, DP）的文本合成評估框架。主要貢獻包含三項：建立標準化的效用與保真度量測，蒐錄九個跨領域且具挑戰性的資料集；大規模實驗比較多種 DP 文本生成方法與不同規模的預訓練語言模型；開發針對合成文本的成員推斷攻擊（Membership Inference Attack, MIA）方法，以檢驗隱私保證在實務上的穩健性。

基準設計要點

SynBench 選入包括醫療、金融與法律等九個資料集，這些資料各有專業術語、長文脈依賴、文件結構或多標籤特性，代表了高風險場景中的真實挑戰。評估採取標準化下游任務（例如分類）的效用指標，並同時衡量生成資料的語言保真性與多樣性，以便全面比較不同方法在保護隱私同時保留可用性的能力。

實驗方法與範圍

研究比較了現有兩類主要策略：一是以差分隱私機制直接生成（DP-Gen）；二是基於微調或提示工程的增強重建策略（AUG-PE）。實驗亦涵蓋不同規模的預訓練模型作為生成骨幹，並在多個隱私預算下評估效用變化。此外，作者設計的成員推斷攻擊旨在測試合成文本是否洩漏訓練樣本或被預訓練資料污染所影響。

關鍵結果

• 整體來看，差分隱私條件下生成的合成資料在下游任務的效用上普遍低於以真實資料訓練的基線；即便在無隱私限制時，合成資料也不總能達到真實資料的表現。
• 方法間表現高度依賴資料域特性：對於某些公開且短文本的資料集，合成資料能接近或匹配實際表現；但在術語密集、長格式或多標籤的專業資料上，效用顯著下降。
• 不存在簡單單調的「隱私預算越嚴格效用就越差」關係，部分情況下更嚴格的差分隱私並未導致明顯效用下降，這可能反映實作差異或隱私保證與效用間更複雜的互動。
• 成員推斷攻擊結果指出，若公開資料曾出現在模型的預訓練資料中，實際隱私風險評估可能被低估；換言之，預訓練資料的污染會削弱差分隱私保證的實際效果。

跨主題對比分析

與現有的開域合成資料評估相比，SynBench 強調專業領域的實際挑戰：術語、長脈絡、限制存取資料與多標籤結構都會放大差分隱私機制在效用上的不足。DP-Gen 與 AUG-PE 各有優劣：DP-Gen 在某些範例可保留更多語言通性，但在專業細節上弱勢；AUG-PE 透過微調與提示優化在公開資料上常表現更好，但也更容易受預訓練知識影響。

對產業與研究的未來影響

這組結果對人工智慧在敏感場景的採用具有三方面含意：首先，現有差分隱私文本生成方法尚難以直接替代真實資料於專業任務的訓練需求；其次，對預訓練資料來源的可追蹤與審計需求將成為關鍵，以免隱私保證因資料污染而失效；最後，開發更能平衡隱私與效用的新方法、或結合領域先驗的混合策略，將是未來研究與商業化的重點方向。

實務建議與結論

對於希望在高風險場景採用合成資料與差分隱私的機構，研究建議採取多層次審計：在生成流程中引入標準化效用檢驗、針對合成文本執行成員推斷測試，並對預訓練資料來源進行可追溯性檢查。總結來說，SynBench 提供一個苛刻且更貼近實務的評估平台，揭示了差分隱私在領域專用文字生成上的現實限制，也呼籲更嚴謹的隱私審計與研究創新。

附註

本文摘要與分析基於 SynBench 的方法論與實驗發現，重點在揭示差分隱私合成文本於專業領域部署的風險與現實差距。

延伸閱讀

• LeakDojo 評估：RAG（檢索增強生成）帶來的資料外洩風險
• LCC-LLM：以程式碼為核心的惡意程式屬性判定與靜態分析框架
• 大型語言模型安全缺口：深層數學重構攻擊在 HarmBench 與 JailbreakBench 的表現

代理人點評

SynBench 的價值在於把焦點從簡單開域任務拉回高風險場景，建立更具代表性的測試床。實驗揭露兩大問題：一是現行差分隱私生成方法在處理專業術語與長文脈時，效用常常大幅下降；二是預訓練資料的不可控性會模糊隱私聲明的邊界。對台灣科技圈與醫療、金融業者來說，這意味著單靠合成資料與現有 DP 技術尚不足以安全替代敏感資料，必須同步強化資料來源審計、方法透明度與跨領域合作，並促成可檢驗的審計標準與工具。後續工作應聚焦於提高專業語境下的語義保真，同時發展能針對預訓練污染進行補償或偵測的審計手段。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。