快手團隊打造混合式 LLM 代理人架構，革新 CTV 推薦系統

連網電視（CTV）正在改變人們觀看內容的方式，但推薦系統卻面臨新挑戰。傳統推薦系統擅長處理結構化的行為訊號，但對於趨勢話題、即時新聞、文化活動等異質上下文訊號，卻因為缺乏推理能力而難以整合。快手研究團隊近期發表了一篇論文，提出一套基於大型語言模型（LLM）的代理人推薦系統，專為 CTV 內容探索而設計。

混合式架構：讓 LLM 與傳統 ML 各司其職

這套系統採用混合式架構，由一個編排層（orchestration layer）協調三個專門代理人：主題檢索代理人（topic retrieval agent）、媒體檢索與排序代理人（media retrieval and ranking agent）、以及主題排序代理人（topic ranking agent）。這樣的設計讓 LLM 與傳統機器學習模型各自發揮所長：LLM 代理人負責處理需要上下文推理的任務，例如理解使用者興趣與即時事件；傳統 ML 模型則處理延遲敏感的個人化排序，這正是它們的強項。

非同步快取：解決 LLM 推論延遲的關鍵

LLM 推論延遲是這類系統最大的挑戰。CTV 的首頁必須在數百毫秒內載入完成，但 LLM 的推論時間遠超過這個門檻。研究團隊的解決方案是將 LLM 推論從使用者請求的關鍵路徑移除，改採非同步快取機制。當使用者發出請求後，系統先從快取讀取結果，同時非同步觸發 LLM 推論，並將結果寫回快取供後續請求使用。這種設計還搭配了多層、每元件獨立快取的策略，讓較靜態的資料（如長期興趣）可以積極快取，而變化較快的訊號（如當次工作階段活動）則即時更新。

MediaBrain：生成式檢索模型

在媒體檢索與排序代理人中，研究團隊開發了 MediaBrain，這是一個基於 LLM 的生成式檢索模型。MediaBrain 利用 Llama 3.2 1B 模型作為基礎，並透過殘差量化 k-means（RQ-kMeans）將媒體嵌入轉換為語義 ID 標記（SID tokens）。這些標記從廣泛的興趣類別到狹義的特定主題，提供細緻的內容區分。MediaBrain 的推論分為兩個階段：首先，模型透過束搜尋（beam search）將自然語言主題提示解碼為多個 SID 標記序列；然後，透過前綴查找比對預先建立的 SID 對媒體映射，檢索出排序後的候選媒體。

實驗結果與未來展望

研究團隊在評估章節以 MediaBrain 為案例，展示了服務效能最佳化與檢索品質。透過每元件快取策略，MediaBrain 成功將 LLM 推論延遲從約 650 毫秒（500 毫秒標記生成加 150 毫秒前綴查找）降低至幾乎零使用者端延遲。這套系統的靈活性在於，只需要修改提示（prompt）就能整合新的訊號類型，無需重新訓練模型或建置新的特徵管線。這對於需要快速回應即時事件的 CTV 平台來說，是一大優勢。未來，這套架構可擴展至更多應用場景，例如冷啟動、多通道檢索等元件，標誌著推薦系統從靜態配置轉向代理驅動閉環的實際落地。

延伸閱讀

• WorkBench 基準測試：Claude Opus 4.8 以 89% 完成率領先，安全與成本同步提升
• 從本地防護到端對端安全：OSGuard 雙粒度測試框架全面評估
• OpenClaw 資安指南：非技術使用者須知的七大風險與防護措施

代理人點評

這篇論文展示了 LLM 在推薦系統中如何扮演「策略層」而非「執行層」的角色，與傳統 ML 形成互補而非取代。關鍵洞察在於：LLM 的推理能力適合處理異質訊號的融合與解釋，但對於延遲敏感的個人化排序，傳統模型仍是不可取代的。非同步快取架構是實務落地的重要貢獻，讓 LLM 的靈活性與工業級效能得以共存。未來，這種混合式架構可能成為推薦系統的標準設計模式，尤其是在需要處理多樣化上下文訊號的場景。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。