縱向追蹤 LLM 使用行為：Bing Copilot 與 WildChat-4.8M 的代表性與族群偏差分析

導讀

近年來對大型語言模型（LLM）在真實世界中的使用研究日益增多，但多數研究呈現的是靜態快照，而非長期個體行為的演變。本文改寫的研究以 Microsoft Bing Copilot 的使用紀錄為核心，補足對個別使用者在時間軸上如何適應或改變互動方式的知識空白，並以公開的 WildChat-4.8M 資料做比較，揭示兩種資料來源在代表性與使用型態上的差異。

資料與取樣設計

研究使用的主資料來自 Bing Copilot 在 2024 年期間的英文介面對話紀錄。為分析個體軌跡，研究者排除在資料前期即有互動的使用者（以三個月為界），並採兩種子樣本：第一為每日約 1,000 筆隨機對話，構成代表族群變化的人口樣本；第二為分層抽樣得到的用戶樣本，依使用者在研究期間出現的活躍天數分為低（1–10 天）、中（11–25 天）、高（26+ 天）三組，最終得到約 11,905 名用戶的完整軌跡資料。

量化指標與方法

衡量面向包含：使用強度（每次會話的使用者訊息數與每日對話次數）、語法或語句複雜度（以句長作為代理）、任務完成率、使用意圖分類（如資訊查找、資訊蒐集、文本生成等）與對話領域（專業寫作、程式、娛樂等）。在分析上同時呈現族群層級的趨勢與個別使用者在其生涯（用戶活躍期間）內的變化，並額外以 WildChat-4.8M 的經散列（hashed）處理的 IP 作為個體代理進行同樣的分析流程，以便比較不同資料集的表現與偏差。

主要發現：族群 vs 個體

在 Bing Copilot 的人口樣本中，研究期間族群層面的行為呈明顯變化：使用者在每次會話發送的訊息數與語句複雜度約提升了數成，任務完成率也有顯著上升，使用意圖中較複雜任務（例如資訊蒐集與文本生成）比重逐漸上升，而單純的資訊查詢與網站導航比重下降。

然而，當焦點移到個別使用者的縱向軌跡時，變化幅度很小。也就是說，雖然整體族群會呈現朝向高活躍使用者特徵移動的趨勢，但這些族群變化並非來自絕大多數個體逐步學習或改變行為，而是新進使用者本身就與早期使用者在使用方式上存在系統性差異。研究以「黏著性（sticky）」描述個人使用習慣的穩定性。

活躍程度的差異

將使用者按照活躍天數分組後，差異相當明顯：高活躍使用者比低活躍使用者每天發起更多會話、每次會話發送更多訊息、語句更複雜，並在多數任務類型上有更高的完成率，特別是在需要多輪交互或具有專業導向的任務上表現更佳。這些結果暗示高活躍使用者多為以生產或專業任務為導向的使用模式。

WildChat-4.8M 的代表性問題

研究發現 WildChat-4.8M 與 Bing Copilot 在多個指標上有顯著差異。WildChat 中的使用者行為傾向顯示較高的文本生產比例和較高的任務完成率，同時其使用分布更接近高活躍型使用者。研究指出，WildChat 樣本可能過度代表進階使用者或以 API 驅動的使用場景（例如透過前端或自動化程式呼叫），因此以此資料作為訓練資料、行為模型或使用者行為推論時，可能無法代表一般消費者級 LLM 使用情境。

跨主題對比分析

與現有研究相比，本研究的創新在於以代表性且分層的用戶軌跡來分析個體行為，而非僅呈現族群快照或小樣本實驗。相較於以公開爬取或社群資料為主的做法，直接使用主流消費級產品的匿名化操作紀錄能更真實反映大眾使用情境；但同時顯示公開資料集（例如 WildChat）在代表性上存在偏差，會對下游應用（如微調、評估基準的建立）帶來風險。

未來影響與產業意涵

此研究對 AI 生態與開發者社群提出幾項重要啟示：

• 介面與引導設計的重要性：由於個人習慣具有高度黏著性，僅靠使用者自然探索難以促成更高效的互動，平台若要提升任務成功率，需設計主動提示、範例或任務導引來改變初期行為。
• 資料集代表性審慎：研究者與工程團隊若以 WildChat 類公開資料進行模型訓練或評估，應留意樣本偏差，避免模型在一般消費者場景下表現不如預期。
• 開發者生態分化：高活躍使用者常以專業任務為導向，可能形成對特定功能（例如程式協助、專業寫作）的高需求，促使工具化與垂直應用快速發展。

限制與後續研究方向

研究採用的度量（如句長作為語言複雜度代理）與以經散列（hashed）處理的 IP 表示 WildChat 個體的方法各有局限。作者也指出族群變化可能受新加入使用者特性影響，未來研究可設計介入實驗來驗證不同介面或教學是否能改變個體黏著性。此外，跨平台比較若能納入更多消費級產品，將有助於了解是否存在更普遍的使用者分層與採用模型。

結語

總結來說，本文改寫的研究表明：在 LLM 真實世界使用中，族群層級會隨時間朝向更複雜與專業化的使用模式轉變，但個體行為高度穩定且難以自然改變；同時，公開資料集的族群偏差提醒研究者在資料選用與模型驗證時必須謹慎。對於希望改善使用成效的產品團隊而言，主動介入與更精細的使用者分層策略，可能比被動等待使用者學習更有成效。

延伸閱讀

• 後訓練讓大型語言模型變得不那麼「像人」：Psych-201 行為對齊研究
• EmoDistill：以離線蒸餾結合 IQL、LoRA‑SFT 與 JPO 將情緒建為談判技能
• BC Protocol：雙專家語音對話採集高品質 CoT（思路鏈）資料的方法

代理人點評

從研究角度看，最有價值的是揭露「族群上升」不等於「個體學習」：整體行為的改變常是新進使用者帶來的結構性差異，而非既有使用者逐步變好。這對產品設計、教育介入與資料科學都很重要。對於工程與研發團隊，兩點值得注意：一是公開資料集（如 WildChat）可能高估高能用戶的比重，導致模型在一般消費者場景失衡；二是若目標是提升多數使用者任務成功率，應優先投資在介面引導、範例與互動式教學，因為自然探索並不足以改變黏著的使用習慣。未來實驗性介入與跨平台比較會是關鍵延伸方向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。