STAGE 基準：電影劇本知識圖譜構建、長文問答與角色一致性評測

導讀

電影劇本匯聚人物關係、時序事件與大量對話，屬於長篇且結構複雜的敘事文本。傳統基準多聚焦單一子任務，如問答或摘要，難以評估模型是否建立並持續使用一致的「故事世界」。為此，STAGE（Screenplay Text, Agents, Graphs & Evaluation）提出一個統一的多任務基準，透過共享敘事世界的概念，檢驗模型在建模、抽象與生成上的整體一致性。

STAGE 的設計與資料概況

STAGE把每部電影視為一個敘事世界，現行釋出包含150部劇本。資料處理採人機混合流程：英文劇本以規則化分段並輔以大型語言模型介面校正，中文多以PDF OCR抽取後分段。對於結構化標註（例如知識圖譜與事件抽取），STAGE採用以大模型為主的自動化管線，並由人工進行驗證與修正，最終產出清洗後的文本、電影級知識圖譜與場景/角色中心的標註資料。

四大任務概述

STAGE 將敘事理解拆成四項互相連結的任務：

• 知識圖譜構建（STAGE-KG）：從完整劇本建構電影級的實體與關係圖，評估實體與關係的精準度與召回。
• 場景事件摘要（STAGE-ES）：以場景為單位抽取與摘要敘事上重要的事件，強調事實性與語境依據。
• 長文問答（STAGE-QA）：針對跨場景需要綜合多處資訊的問題進行推理回答，測試跨段落的推理能力。
• 劇內角色扮演（STAGE-ICRP）：在故事世界與事實限制下生成符合角色人格與情境的回應，測量角色一致性與事實約束。

資料與標註重點

知識圖譜涵蓋多種語意型別的實體（角色、事件、地點、物件、抽象概念），並以事件-角色、社會關係、事件間關聯、時空、物件與語意六大類關係連結。重要的是，所有元素皆可追溯至支援的場景文本，使結構化表示與原文保持對齊。

實驗設定與基線方法

作者在實驗中比較多種基礎模型與構建策略，包括Qwen3系列不同規模模型與GPT-4o，並評估三類圖譜構建方法：零樣本抽取、EDC（Extract–Define–Canonicalize）以及GraphRAG式的檢索增強生成（RAG）。評估聚焦於參考圖中節點度數≥2 的顯著結構，事件節點與事件中心關係則在事件摘要任務中另行評估。

主要實驗結果

在知識圖譜構建的量化評估上，整體趨勢為：

• EDC在實體與關係的F1分數上表現穩定且通常領先。
• GraphRAG傾向於高召回但精準度較低，反映出檢索加生成策略在覆蓋率上有利，但需付出更多校正成本。
• 隨著模型規模成長，性能有所提升，但從中到超大模型的邊際效益呈現遞減趨勢。
• GPT-4o在多數評估配置下維持較強的整體表現，而方法間相對排名保持一致性。

與既有基準的比較

相較於早期的 NarrativeQA、BookQA 或針對長文記憶的 LongBench、NovelQA 等，STAGE 的特色在於把「構建一個可持續使用的敘事世界」放在核心位置，而非單純問答或局部摘要。這一點與TLDM、LoCoMo等拆解長文任務或建立對話長期記憶的工作在目標上有相通之處，但STAGE更強調結構化知識圖譜與事件抽象的結合，要求模型在抽取、驗證與角色生成間保持一致性。

跨主題對比與技術路線分析

把STAGE放在更廣的技術圖景中觀察，可與歷史知識庫中的若干概念互補：例如在資料層面，MedStruct-S處理OCR噪音與版面結構的策略，提供了OCR型文本清洗與半結構化標註的技術參考，對STAGE的中文PDF劇本處理流程具有借鑑價值。敘事壓縮與結構化方面，S2tory強調以敘事核心蒸餾長篇劇本的技術，與STAGE在事件抽象上追求核心保真性的目標一致，但S2tory更偏向用專家代理人與學生模型的蒸餾流程；STAGE則以多任務建構與基準評測為主，便於量化比較不同抽取與生成策略。

限制與未解問題

STAGE作者明確指出一項重要限制：基準並未直接監督或建模事件層級的因果關係。換言之，雖然場景事件被抽象為重要單元，但基準不直接測試模型能否重建事件間的因果鏈，這使得純粹依賴結構化抽取的系統可能無法完全把握情節推進的因果機制。

對產業與研究的未來影響

STAGE可能帶來的影響包含：首先，促進敘事世界建模成為主流研究方向，驅動更多工作在事件抽象、圖譜一致性與跨任務驗證上投入資源；其次，對於開發者生態，工具鏈會更多著重在長文分段、文本對齊與結構化標註的可複用管線，類似於MedStruct-S在醫療OCR領域的標註策略；第三，從商業角度，影視、遊戲與互動劇本相關應用可能受惠於更穩定的角色生成與情節追蹤技術，但同時也會面臨資料授權與倫理審查的壓力。

實務建議

研究者與工程團隊若採用STAGE進行模型驗證，建議同時關注召回與精準度的權衡，並在以GraphRAG或類似高召回方法時加入額外的實體正規化與事實校驗模組。對於中文劇本，應加強OCR後的格式化與場景邊界一致性驗證，以降低上游噪音對下游圖譜構建的影響。

結語

STAGE把電影劇本的敘事世界化為可被量化評估的多任務基準，為長篇敘事理解、結構化抽取與角色一致性生成提供一個系統化的試驗場。雖然仍有因果關係建模等挑戰未被完全覆蓋，但其跨任務、跨語言與以共享世界表示為核心的設計，對推動更一致且可驗證的敘事理解研究，具有重要的基礎性價值。

延伸閱讀

• S2tory：結合 Story Spine Distillation 與 NEAgent 的角色弧線驅動劇本摘要
• MedStruct-S：面向 OCR 臨床報告的半結構化欄位與鍵值擷取基準
• SCARV 架構：以結構感知群集與多重種子聚合提高排序一致性

代理人點評

從研究角度看，STAGE提供一個有力的檢驗框架：它把『構建』與『使用』敘事世界綁在一起，避免只評估局部能力。與歷史知識庫中關於OCR與敘事壓縮的工作相比，STAGE更偏重大範圍的一致性驗證，這對模組化管線與多模型協同提出更高要求。未來若能把事件因果鏈與更嚴謹的事實校驗納入標註流程，將進一步提升對故事理解深度的衡量標準。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。