廣播過程合成語言：上下文長度與自回歸推理的界限

廣播過程合成語言揭示自回歸模型的上下文界限

研究以樹狀廣播過程生成一類具階層結構的合成語言，做為精確分析自回歸生成與上下文長度的理論場域。結論直切要點：有限上下文會使自回歸模型無法忠實重現語言結構，但加入推理能力則能大幅縮短記憶需求。

方法上，作者提出一個「精確k-gram假設」，以此替代長度k的變換器，從而推導訓練後模型在漸近情況下的分布統計。針對兩種廣播過程做分析：在軟約束的Ising廣播過程，生成序列的總和變異隨上下文深度呈對數線性增長，峰態逐步趨近高斯；在硬約束的著色廣播過程（凍結區），有界上下文的自回歸生成會以高機率輸出與任何合法著色不相容的序列，因而證明忠實抽樣需要Ω(n)的上下文長度作為下界。

相對地，作者證明一種具推理步驟的自回歸模型，只需Θ(logn)的工作記憶就能精確抽樣，代表記憶需求呈指數級改善。最後，團隊以變換器在該合成語言上訓練的實驗，量化驗證了理論的漸近預測，模型行為在多種上下文長度下與推論結果一致。

延伸閱讀

• 稀疏上下文乘積：以信念傳播對變序馬可夫套用正則約束的精確演算法
• 知識狀態圖與順序差距：為遞迴推理定義狀態表示與終止判準
• IncrementalWFOMC3：增域式狀態摘要支援計數與模數量詞，將 C2 的計數依賴從二次降為線性

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。