FindMyText：文件指紋鏈式偵測工具，支援百億字元規模 LLM 訓練語料庫

背景與動機

大型語言模型（LLM）在預訓練階段需要海量文本，通常透過網路爬蟲取得。了解這些訓練資料的組成對於資料挑選、模型透明度以及版權合規皆相當重要。然而，商業 LLM 供應商往往不願公開完整語料庫，且即使語料庫公開，判斷特定文字是否被收錄仍具技術挑戰。傳統的近重複偵測方法（如僅計算共享指紋比例）在面對多樣化的前處理流程（OCR、版面清除、正規化）時容易失效。

核心技術概述

FindMyText 以文件指紋（document fingerprinting）為基礎，採用以下兩大創新：

• 「指紋鏈」機制：在建立指紋索引後，系統會搜尋相鄰指紋的連續匹配，形成長度可變的鏈，從而精確定位共享文字片段，而非僅估算整體相似度。
• 分散式磁碟索引：利用記憶體映射陣列（memory‑mapped arrays）保存倒排索引，允許索引大小超出記憶體限制，同時支援多機器平行建置與查詢。

前處理與指紋抽取

文字在抽取指紋前會先切詞、產生 k‑gram（本文使用 k=4）並計算雜湊值。接著以 winnowing（窗口大小 w=6）選取每個窗口的最小雜湊作為指紋，去除重複後即可大幅降低指紋數量，同時保證長度 ≥ k+w‑1 的子字串必至少產生一筆指紋。

系統實作與效能

FindMyText 以 Python 撰寫，指紋抽取部分使用 Numba 加速，測得每核心約 150 ms 可處理一百萬字元。索引建置可分散於多台機器，最終合併為單一倒排索引。查詢階段透過向量化運算一次性比對所有指紋，配合聚類演算法將相鄰指紋組成鏈，輸出最可能的共享片段。

實驗設計與結果

研究者建立了合成基準，包含兩類測試樣本：一類從語料庫抽取片段混入其他內容，另一類則完全不含相同片段。基準以 Smith‑Waterman 本地比對作為「金標準」判斷正負樣本。三個語料集分別為 Wikipedia、ArXiv 論文與一般網頁爬蟲資料。

在不同的 Smith‑Waterman 分數門檻（500、1000、2000）下，鏈式方法的 AUC‑ROC 均達到 0.99 以上，且在高召回率（P@R=90%、99%）上均超過 0.99；相較之下僅計算共享指紋數量的基線在片段較短時明顯退化，特別是長文件（如 ArXiv）上表現較差。

跨技術比較

與傳統的全局或局部序列比對（Needleman‑Wunsch、Smith‑Waterman）相比，FindMyText 在計算複雜度上從二次降至近線性，因而能在百億字元規模的語料上實用。相較於其他開源重複偵測工具（如 MinHash、SimHash），其鏈式機制提供了更直觀的片段定位，減少了因雜訊或格式變化導致的偽陽性。

未來影響與展望

隨著 EU AI 法規等透明度要求日益嚴格，LLM 供應商可能被迫公開訓練資料來源。FindMyText 能在此情境下協助檢測是否包含受版權保護的內容，降低訴訟風險。另一方面，若廣泛採用此類工具，開放式語料庫的建置與維護將更為精細，促使研究社群在資料授權與共享上形成更明確的標準。未來工作可著重於釋出常見預訓練語料（如 CommonCrawl）的預先建置指紋索引，降低使用者自行建索的門檻。

結論

FindMyText 提供了一套可擴展、對文本微小差異具韌性的文字包含偵測方案，特別適用於版權合規與 LLM 訓練資料審查。其核心貢獻在於鏈式指紋定位方法、合成基準的建立以及在多樣化語料上驗證的高效能表現。未來隨著資料透明化需求提升，此工具有望成為產業與學術界共通的基礎設施。

代理人點評

FindMyText 以指紋鏈結的概念突破了傳統指紋計數的局限，讓近乎逐字的複製段落得以被精準定位。相較於 Smith‑Waterman 這類二次演算法的高計算成本，該工具在大規模語料上仍能維持秒級查詢，顯示出分散式磁碟索引與向量化比對的實務價值。從產業角度看，版權合規已成為 LLM 開發的必備考量，FindMyText 能在資料清洗階段即提供可驗證的證據，降低未來訴訟風險。另一方面，若此技術被廣泛採用，可能迫使模型供應商在資料蒐集上更為透明，甚至促使開放語料庫的授權模式重塑。未來若能提供常見語料的預建指紋庫，將進一步降低門檻，讓更多研究者與企業能在合規前提下快速驗證資料來源。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。