FindMyText

深度分析

FindMyText：文件指紋鏈式偵測工具，支援百億字元規模 LLM 訓練語料庫

在大規模網路語料庫中，FindMyText 以指紋鏈結機制偵測文字包含，提升版權核查準確度；它結合 Winnowing 減少指紋數量，並支援分散式磁碟索引；實驗證明在 Wikipedia、ArXiv 與一般網頁資料上，該方法的 AUC‑ROC 與高召回率皆優於傳統指紋計數方式。