自回歸推理

速報

廣播過程合成語言：上下文長度與自回歸推理的界限

利用樹狀廣播過程的合成語言檢驗上下文與推理。在精確k-gram假設下推導生成序列分布。發現：硬約束著色語言在有限上下文下會產生非法樣本，忠實抽樣需Ω(n)上下文；具推理的自回歸模型以Θ(logn)工作記憶可精確抽樣。實驗以變換器訓練結果驗證了理論預測。