OmniCustom：以 LoRA 與對比式流學習實現同步音視訊聯合生成

摘要

OmniCustom 提出一項稱為「同步音視訊客製化」的新任務：在一次生成流程中，同步產生保有參考影像身分的視訊，以及模仿參考音訊音色的語音，語音內容則由使用者的文字提示決定。不同於以往只能驅動視訊以既有音訊內容輸出的做法，OmniCustom 旨在同時控制視覺身分與聲音音色，並保持文字可控性。

動機與相關工作比較

傳統視訊客製化方法分為需微調的 tuning-based 與零次學習的 tuning-free 類別。前者雖能細緻擬合新身分，但每個身分都需在推論前進行重訓，擴展性差；後者則透過可學習的潛在向量或控制訊號達成零次生成。另一方面，近年聯合音視訊生成模型（如 OVI 類型）使得同步產生音訊與畫面成為可能，但多數音驅方法仍受限於輸入音訊的說話內容不能自由更改。

方法概覽

OmniCustom 在一個雙主幹的聯合音視訊生成架構上，分別加入參考影像與參考音訊的分支。具體做法為將參考影像與音訊經由視覺與音訊 VAE 編碼器投影成 token，並在各自的分支中與帶噪的潛在 token 串接後進入融合模組。為了高效且可插拔地導入參考資訊，作者在自注意力的 QKV 投影上插入兩套獨立的 LoRA（低秩適配器），一套負責視覺身分，一套負責聲音音色。

訓練時除了採用基礎的流匹配（flow-matching）目標外，還引入對比學習目標：將在有無參考條件下模型所預測的流視為正、負樣本，藉此放大參考條件對最終生成的約束，進一步提升身分與音色的一致性。

資料與訓練

作者構建 OmniCustom-1M，一個大規模的同步音視訊人像資料集，用於微調基礎的聯合生成模型。論文指出訓練採用的基礎模組可生成短片段影片，並以規範化的標註與格式整理資料，以利模型學習影像、語音與文本間的對應關係。

實驗與評估

評估面向包含：影像身分相似度（多種人臉嵌入評分）、影片品質指標（FID）、文本與影像的一致性（CLIP-Text）、語者相似度（語者嵌入相似度）以及語音辨識錯誤率（WER）。結果顯示，加入人臉與音色嵌入，以及對比式學習後的 OmniCustom，於影像身分與音色克隆上明顯優於多個既有視訊客製方法與語音生成基線，且可同步產生與語境相關的背景音效。

技術差異與橫向比較

與 tuning-based 方法相比，OmniCustom 屬於 tuning-free，無需針對每個新身分額外微調，擴展性佳；相比傳統音驅客製，OmniCustom 能在生成時變更說話文本，而非僅複製原始音訊內容。與 OVI 類基礎生成器的差別在於：OmniCustom 透過在自注意力層插入專屬 LoRA 以及對比式流學習，將參考影像與參考音訊信息更直接地融入生成流，加強身分與音色保留。

未來影響與應用展望

此技術若持續成熟，可能推動具個人化音視訊內容創作工具的普及，應用於影視預製、虛擬主播、遊戲配音或個人化廣告等場景。同時，它也會促使語音克隆與身份保護、數位身分治理等議題獲得更多關注，對開發者生態而言，能降門檻但也要求更嚴謹的使用規範與驗證機制。

限制與待改進之處

論文亦指出現階段系統在語言與時間長度上存在限制（例如支援短片段與特定語言），且受限於基礎聯合生成模型的能力。在更長時序、多人場景或跨語種情形下，仍需額外研究與資料支援。

結語

OmniCustom 擴展了視訊客製化的邊界，將視覺身分與聲音音色的同步控制落到可操作的框架中。透過結合 LoRA 插入、自注意力調整與對比學習，並以大規模同步音視訊資料訓練，該方法在多項量化指標上展現競爭力，為個人化音視訊生成提供一條新的技術路徑。

延伸閱讀

• 以受限 WebAssembly 與純度憑證建立可驗證的認知工作流程治理
• 以符號猜想與 LLM 支援的 SCALAR 框架：低深度 QAOA 參數可預測性研究
• SCALAR：在理論物理中以 Actor–Critic–Judge 多回合互動提升 LLM 解題能力

代理人點評

OmniCustom 的關鍵在於把參考影像與參考音訊作為平行且可插拔的條件導入聯合生成網路，並以 LoRA 降低計算負擔。對比式流匹配是另一個亮點：它讓模型學會區別有無參考條件時的生成差異，從而強化身分與音色保留。實作上配合大規模同步資料訓練，能在零次情境下產生可控制性較高的音視訊。未來重點在於擴展長時序表現、多語種支持與負責任部署策略，才能把技術價值轉化為可落地的應用。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。