即時語音合成

速報

FacePlex：全雙工即時語音與臉部動作同步生成框架

自然的面對話需要即時語音與同步臉部動作。目前系統多只能單獨產生語音或依賴預先音訊製作臉部動畫。研究者提出 FacePlex，透過 Rolling Flow Matching 與 Rolling Cross-Attention 於串流環境下同時生成語音與臉部動作。實驗表明，該框架在唇形同步與動作真實度上超越音訊驅動基線，提升使用者體驗。