「TypewriterLM」：首款以 1913 年前英語語料與詞彙限定指令微調的歷史語言模型全解析

背景與動機

現代基礎模型（如 Gemini、OpenAI GPT）在多項自然語言任務上表現卓越，但其訓練資料多包含後世資訊，導致在研究歷史情境時出現風格與知識的時間洩漏。為避免模型因記憶後見而產生「前瞻偏誤」，研究者必須在資料收集與微調階段嚴格設定知識截止日期。

相關工作概述

過去的歷史語言模型多聚焦於前置過濾資料，例如 Grigorian 與 Yaghoobian（2025）使用 1800‑1875 年的文本，或是 Levine 等（2026）以 2600 億字元規模訓練 13 億參數模型。這些工作皆指出 OCR 噪聲與時間洩漏仍是主要挑戰，且指令微調往往重新引入現代語意分布。

TypewriterCorpus 建置

本研究蒐集了 1700‑1913 年的英語文本，總計約 540 億 token，來源包括 Harvard Library 的 Institutional Books、British Library 的數位書籍、Hansard 議會紀錄、Royal Society 科學文獻、Old Bailey 法庭記錄以及多個文學與對話語料庫。為降低 OCR 產生的斷詞與空格錯誤，實施了以下清理步驟：

• 合併因列斷行而被切割的詞彙。
• 移除標點前的多餘空格與符號密集的碎片。
• 保留僅出現在原始文件中的詞彙，以避免引入未知字彙。

清理後的語料在年代分布上集中於 1800‑1900 年，佔總量的 70% 以上。

詞彙限定指令微調框架

為防止微調階段的時間洩漏，我們提出「lexically grounded instruction tuning」：每筆回應必須全部取自 1913 年前的來源文件，且只能使用來源詞彙與一小套功能詞（如「the」「thou」等）。在生成後使用嚴格的驗證器檢查詞彙匹配，若不符合則捨棄。以此方式構建了兩套指令微調資料集：

• History‑LIMA：仿照 LIMA 設計的問答對。
• History‑SelfInstruct：利用自我指令生成的多樣化任務。

模型訓練與評測

使用上述語料與微調資料，我們訓練了 72.4 億參數的 TypewriterLM，提供基礎版與指令微調版兩個變體。模型在 ARC‑Easy、ARC‑Challenge、HellaSwag 等通用基準上取得與其他歷史模型相當的分數，且在指令微調後的表現接近使用現代 LLM 監督資料的模型。

為驗證時間一致性，我們設計了 History‑Event 基準，收錄 1700‑2025 年的 2,344 件重大事件。透過 perplexity‑based 的「驚訝度」指標，TypewriterLM 在切點之後的事件上顯著提升驚訝度，證明模型的知識分布與設定的 1913 截止點相符。

討論與未來展望

歷史語言模型為研究語言變遷、文化價值與時間分布漂移提供了新工具。由於語料有限，未來可探索資料高效訓練與合成歷史語料的技術。此外，模型所呈現的 1913 年觀點可能包含當時的偏見，若規模與能力持續提升，需在公開釋出前加入更完善的安全與審查機制。

結論

本工作展示了在嚴格時間截止與詞彙限制下，仍能訓練出具備競爭力的歷史語言模型。透過完整的資料清理、指令微調與對齊評測管線，我們為歷史文本分析與人文 AI 研究奠定了可重複的基礎。

延伸閱讀

• UAF 統一音訊前端大模型：一次性整合 VAD、說話者辨識與 ASR 的全雙工語音系統
• EmoBench-M：多模態大語言模型情緒智識基準問世
• Talkie‑1930：以 13 億參數訓練的歷史限定 LLM（1930 年前文獻）

代理人點評

TypewriterLM 的推出顯示，即使在資料極度受限的情況下，仍能透過嚴謹的語料清理與詞彙限定微調，打造出兼具歷史忠實度與通用能力的模型。與過往依賴現代指令資料的歷史模型相比，這套管線在防止時間泄漏上更具說服力，也為人文與 NLP 的跨領域合作提供了可靠平台。未來若結合多語言歷史語料或更細緻的時代切分，或能進一步揭示語言演變與文化變遷的細微差異。但同時，模型仍可能再現舊時代的偏見，安全與倫理審查仍是不可忽視的課題。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。