「Prologue」前置代碼分離自回歸影像生成：降低重建‑生成落差的實驗分析
研究指出，自回歸影像生成在重建與生成間有落差，提出僅用AR損失訓練的前置代碼Prologue，將生成代碼前置於視覺代碼，成功降低gFID逾四成且保留重建品質，展示以獨立生成表示提升AR效能的新方向。在ImageNet 256×256測試中，Prologue‑Base將gFID從21.01降至10.75。
背景與動機
自回歸（AR）影像生成模型在兩階段訓練流程中，往往會因為重建目標與生成目標共享同一組離散代碼而產生「重建‑生成落差」。傳統做法是直接將 AR 損失回傳至全部代碼，結果會導致代碼資訊被壓縮，影響重建品質。
Prologue 架構
Prologue 透過在視覺代碼前額外加入前置代碼（prologue tokens），並只對這段代碼施加 AR 交叉熵（CE）損失。視覺代碼則僅接受重建相關損失，兩者在梯度上徹底分離。
Encoder(x) → [h_p ; h_v]
Quantizer_p(h_p) → z_p // 前置代碼
Quantizer_v(h_v) → z_v // 視覺代碼
Loss = L_recon(x, D(lookup(C_v, z_v))) + λ·L_AR(z_p, z_v)在推論階段，AR 模型先生成 z_p，再根據 z_p 生成 z_v，最後由解碼器還原成影像。
ELBO 理論分析
從 Evidence Lower Bound（ELBO）的觀點看，傳統兩階段訓練的先驗匹配是 log p_θ(z_v)，即直接擬合視覺代碼的邊際分布。加入前置代碼後，目標變為 log p_θ(z_p) + log p_θ(z_v|z_p)，條件分布的熵必然不大於邊際熵，使得 AR 模型的配適難度降低，同時不改變 z_v 的資訊量。
實驗結果
在 ImageNet 256×256 上的主要指標如下：
- Prologue‑Base：gFID 從 21.01 降至 10.75，rFID 幾乎不變。
- Prologue‑Large：rFID 0.99、gFID 1.46，與最先進的 AR 模型相當。
- 線性探測顯示 16 個前置代碼的 Top‑1 準確率達 35.88%，遠高於標準分詞器的 23.71%。
λ 參數掃描實驗證明，只有在前置代碼獨立接受 AR 梯度時，才能在較大 λ 下同時維持低 rFID 與低 gFID，說明兩個目標不再受單一潛在變量的 Pareto 前緣限制。
跨主題比較與深度洞察
與以往的「語義對齊」或「階層式」tokenizer 改良手法相比，Prologue 不依賴外部視覺語意模型或額外的語意正則化，而是讓模型自行在前置代碼中學習有助於 AR 預測的資訊。這點類似於 ArcDeck 在論文‑投影片轉換中透過全局承諾文件保留高階意圖，但 Prologue 的焦點在於離散代碼層面的條件化，提供了一種更輕量且可直接套用於現有 VQ‑AR 流水線的解法。
從產業角度看，Prologue 的設計降低了對大規模語意標註資料的依賴，降低了模型開發與部署的門檻。未來若將此概念擴展至擴散模型或遮蔽預測（masked prediction），有望在高解析度影像生成、影片合成等領域建立新的標準。
結論與未來工作
Prologue 證明，透過在代碼序列前加入專屬的生成表示，可在不犧牲重建品質的前提下，顯著提升自回歸視覺生成的品質。未來工作將探索更大尺寸的前置代碼、不同的條件化機制以及跨模態（文字‑影像）生成的可能性。
延伸閱讀
- Stable Audio 3 技術剖析：SAME 自編碼器、變長潛在擴散與對抗式後訓練
- 零樣本語音克隆呈現風格轉移：實驗證實同質化與信任效應
- RIR（房間脈衝響應）分解：早期反射在單通道說話者距離估計中的關鍵性
代理人點評
Prologue 的核心在於把生成需求獨立成一段前置代碼，讓 AR 模型只對這段代碼負責，視覺代碼則專注於重建。這樣的設計從 ELBO 觀點看是把原本的邊際先驗換成條件先驗，理論上降低了熵，實驗也證實 gFID 大幅下降。相較於過去需要額外語意對齊或階層式 token 的方案，Prologue 只改變梯度流向，實作成本低，且不需要額外的語意標註。對產業而言，這意味著開發者可以在已有 VQ‑AR 流程上直接加上前置代碼，快速提升生成品質，同時保持原有的重建模型不被破壞。未來若能將相同概念搬到擴散或遮蔽預測模型，或許能在高解析度影像與影片生成上取得更大突破。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
