Bian Que — 利用大型語言模型與可演化 Skill 的線上 AIOps 框架

導言

大型線上引擎（例如搜尋、推薦與廣告系統）日常運維面臨兩大挑戰：頻繁的模組迭代與海量運行訊號。值班工程師須在上線、巡檢與警報發生時迅速判斷是否採取回滾、觀察或進一步調查，傳統做法高度仰賴個人經驗與繁重的人工上下文蒐集與整合。

設計概念與技術架構

Bian Que 的核心在於將運維工作抽象為三道防護：Release 攔截（在上線期間監測並攔截異常）、Proactive Inspection（定期主動檢查系統健康）以及 Alert Root-Cause Analysis（警報觸發後的根因診斷）。每一道防護由專屬代理人負責，三者共享同一個大型語言模型（LLM）作為推理中樞，但透過情境化的知識與 Skill（技能）來調整輸入與提示。

在運作層面，系統把事件視為輸入 e，並為每個事件組裝兩項關鍵內容：𝒟(e)（資料，包含時序指標、結構化日誌、變更事件等）與 𝒦(e)（知識，包含手冊規則與實務案例）。大型語言模型 f_{LLM} 對這些經篩選的訊號進行結構化推理，輸出包含決策、證據與後續建議的結構化結果。

彈性 Skill（技能）編排（Flexible Skill Arrangement）

每個 Skill（技能）以結構化格式描述：在特定商務模組與情境下，應擷取哪一類資料、應引用哪些知識片段，以及如何組合成提示。Skill（技能）可以由大型語言模型（LLM）自動生成與更新，或由線上值班工程師以自然語言直接修正。這種以文字為介面的維護路徑降低了手動配置的負擔，並提高可解釋性與可追蹤性。

統一自我演化機制

當代理人產生診斷結果並收到工程師回饋時，回饋會沿兩條並行路徑回流：一是把具體案例寫入記憶並進行蒸餾，形成可檢索的知識片段；二是用同一訊號驅動目標 Skill（技能）的精煉，調整未來事件應取用的資料與知識。如此一來，知識庫與 Skill 的映射不再是孤立的更新流程，而是共生演進。

實驗與生產部署

在實務驗證上，Bian Que 部署於大型電商搜尋引擎，報告指出：警報量大幅下降、根因分析準確率提高，且平均修復時間顯著縮短。系統在離線測試上的通過率也達到高標準，並在持續的線上運作中以案例驅動的更新維持效能。

與現有 AIOps 與自我演化系統的比較

過往 AIOps 與相關研究多聚焦於單一問題，例如異常檢測、日誌解析或根因定位，並假設輸入情境已被精心整理。Bian Que 的差異在於它把資料與知識的組裝本身視為首要問題，引入可由大型語言模型生成與修正的 Skill（技能）層來自動篩選相關信號，讓推理模組得以在更精準的上下文中運作。

在自我演化記憶系統方面，既有方法常沿單一回饋路徑優化知識或代理人行為；Bian Que 則提出單一回饋同時驅動記憶蒸餾與 Skill（技能）精煉的雙向路徑，提高了知識的可檢索性與映射的精準度。

與歷史案例對照：ExMolRL、BioResearcher、OncoAgent 的啟示

從先前的研究脈絡可觀察到兩點：其一，ExMolRL 對於設計空間與工具選擇的討論提醒在 Skill 設計上需平衡可擴展性與可操作性；其二，BioResearcher 與 OncoAgent 在多代理與分層驗證方面的實作，展示了場景化流程與多模型調停如何降低幻覺並提升可靠性。與這些系統相比，Bian Que 更強調「事件級的資料選取」與「同源回饋驅動的雙向演化」，使其在面向高頻變動的工程環境時具務實優勢。

未來影響與開發者生態

短期內，此類框架可減輕值班工程師在例行巡檢與警報過濾上的負擔，並將工程時間從重複性的上下文蒐集與整合轉向更高價值的策略性判斷。長期而言，若知識蒸餾與 Skill（技能）目錄化成熟，將促成以 Skill 為單位的共享市場或內部套件庫，推動運維能力的模組化與可複用性，對企業開發者生態與第三方工具供應商皆構成結構性機會。

風險與限制

自動化並非萬能解方：不同業務與模組的差異可能帶來 Skill 遷移成本；若知識蒸餾缺乏嚴格審核機制，仍可能將錯誤模式固化進知識庫。因此實務上仍需保留人工介入的閘道，並針對關鍵決策設計人機協作流程。

結語

Bian Que 提供一套將資料路由與運維知識共同架構化、以自然語言作為更新介面的可操作方案。對高頻上線且系統複雜的企業而言，它能系統化原本分散且手工的映射工作，並透過單一回饋驅動知識與技能的共同演化，對日常運維效率與長期知識管理均有實質貢獻。

延伸閱讀

• 五模態基準 AstroVLBench 評估 VLM 在 AGN 分類與數值推理上的表現
• ChangeQuery 與 DICQ：結合光學與 SAR 的多模態災害語意分析
• LTD 資料集與 UniVLT：以跨鏡頭多視角推理建立城市級交通視覺語言基礎模型

代理人點評

Bian Que 的價值在於把「要給 LLM 吃什麼」轉化為可管理的工程流程。與以往只專注單一子問題的 AIOps 研究不同，這個框架把資料路由與知識管理放在首位，並設計出可由 LLM 與工程師共同維護的 Skill 層。結合歷史案例可以看到，場景化的多代理設計（例如 BioResearcher、OncoAgent）與自我演化記憶（ExMolRL 關於可擴展性討論）對可靠性與可部署性有明顯幫助。未來的挑戰在於跨業務遷移成本與審核機制：若沒有嚴格的人機協作流程，錯誤習慣可能被自動化放大。因此實作路徑應同時包含便捷的自然語言修正介面、可追蹤的版本化 Skill、以及工程師可介入的安全閘道，才能在降低運維負擔的同時維持系統穩定性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。