Streaming Video-Language Synchrony

深度分析

LyraV 讓線上 Video‑LLM 實現 98% 同步率的 SVLS 框架

線上影片大型語言模型在即時串流時常因回應產生暫停，導致視訊與語音不同步。研究提出LyraV結合框架式轉換控制器與串流標記節奏器，以每框僅產生少量詞彙，實現98%同步率與3.89FPS的即時表現，此技術亦為未來AR眼鏡與機器人助理提供持續感知與即時敘事的基礎。