手語理解

速報

CNSL-bench：首個中文多模態手語理解基準揭示多模態大模型弱點

手語研究受大型語言模型推動而進展，但模型理解手語的固有能力仍不足。本研究提出CNSL-bench，一個以國家標準手語詞典為基礎、包含文字說明、示意圖與手語影片的中文多模態基準庫。實驗評估多款多模態大模型，結果顯示現有模型與人類表現仍有顯著差距，且不同輸入模態與手勢形式呈系統性弱勢。