GRASP：以注視與指向手勢連結社會推理，並提出 Social Grounding Reward
理解多人視訊社會互動需解析細微非語言訊號。研究提出GRASP資料集，將注視、指向手勢與其組合轉為290K問答並分類，並以Social Grounding Reward做為學習訊號，引導模型推理互動參與者，實驗呈現於GRASP-Bench的績效提升。
GRASP用注視與指向手勢強化社會推理
GRASP推出，目標是讓模型更清楚誰在和誰互動。研究團隊把注視軌跡與指向手勢等細緻非語言事件，結構化成大規模的社會推理問答資料。
該資料集包含46K段多人影片、290K問答，並依注視、手勢與兩者的聯合推理分為16類。不同於過去只針對單一線索或僅做高階問答的資源，GRASP把一致身分的注視軌跡與指向手勢拼接成可供訓練的社會事件。
另外，研究提出Social Grounding Reward（SGR）作為學習訊號，利用這些已標註的社會事件鼓勵模型去推理互動中的參與者與關聯。實驗結果顯示，導入SGR能改善在GRASP-Bench上的表現，同時保持對其他社會視訊問答的零樣本能力。
此一工作對於想讓多模態大型語言模型更準確判讀多人互動、應用於行為理解與視訊分析場景，有實務上的參考價值。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
