深度分析
「Tokenization Drift」:微小空格如何影響大型語言模型的行為與效能
Tokenization Drift 指的是微小的格式變化(如前置空格或換行)導致輸入 token 序列改變,使大型語言模型行為不可預測。文章示範 GPT-2 Tokenizer 的差異,說明 token 重疊度可量化 OOD 風險,並提出自動化 Prompt Optimisation 以維持模型穩定。
深度分析
Tokenization Drift 指的是微小的格式變化(如前置空格或換行)導致輸入 token 序列改變,使大型語言模型行為不可預測。文章示範 GPT-2 Tokenizer 的差異,說明 token 重疊度可量化 OOD 風險,並提出自動化 Prompt Optimisation 以維持模型穩定。
深度分析
Meta AI 的 RAM 團隊針對 AI 訓練資料品質瓶頸,開發了 Autodata 框架,讓大型語言模型以代理人角色自行產生、評估、迭代訓練與測試資料。系統採用四個子代理人(挑戰者、弱解答者、強解答者、驗證者)形成封閉回路,根據嚴格的品質門檻自動調整生成配方。
速報
大型語言模型在 Text‑to‑SQL 上雖已顯著進步,但面對未見過的資料庫結構仍易產生錯誤。研究者推出 TeCoD,將歷史 NL‑SQL 配對轉為可重用模板,並以微調的自然語言推理模型快速匹配查詢,接著以文法限制的分割解碼確保 SQL 合法。實驗顯示,TeCoD 在正確率上較傳統方法提升最高 36%,執行延遲降低至 2.2 倍。
深度分析
大型語言模型在複雜推理時常因隨機生成與知識脫節而表現不佳。研究提出 HCoT 框架,利用啟發式分類模型將推理空間結構化,提供可重用的抽象解答。實驗顯示其在多項複雜任務上超越既有方法,提升準確度並降低 token 用量,對 AI 推理效能具正向衝擊。
深度分析
本研究針對大型語言模型注入人格的影響進行系統性分析,採用 NPTI 框架在模型中引入 Big Five 人格特質,並於六項認知基準測試驗證。結果顯示,開放性與外向性提升指令遵循,部分人格降低複雜推理,效應與人類關係有 73.68% 一致性。基於此提出動態人格路由(DPR),在查詢層面自適應,效能超越最佳靜態人格配置。
Large Language Model
當權力追求永生,AI 與腦機介面(BCI)可能成為獨裁者的工具。本文分析中國與俄羅斯領導人對長生的渴望,探討透過大型語言模型(LLM)創造數位分身,以及 BCI 技術如何讓權力在肉身之後依然延續,揭示數位獨裁時代的恐怖潛能。