以大型語言模型驅動的 Agentic MPC：提升自駕車語意感知與安全性

背景與動機

模型預測控制（Model Predictive Control，簡稱MPC）在處理系統動力學、目標與限制時具備嚴謹的最適化特性，已成為自駕車、機器人等領域的核心技術。然而，真實道路環境不僅需要精準的數學模型，還必須即時考量乘客需求、社會規則與突發事件等高層語意資訊。傳統MPC難以直接整合自然語言或外部知識，導致在多變情境下的適應性受限。

Agentic MPC 概念

為彌補上述缺口，研究團隊提出 Agentic MPC 架構，核心是與大型語言模型（LLM）驅動的 代理 互動。代理負責接收多源資訊，包括使用者的自然語言指令（例如「後面有救護車」）、感測器觀測、以及交通法規或網路資料。根據這些資訊，代理會判斷是否需要修改或覆寫MPC 的控制規格。

在實作上，MPC 的控制規格被拆解為一組可重用的 原語（primitives），每個原語代表最小單位的目標、限制或模型參數。代理透過預先定義的工具（tools）以離散指令的方式，動態附加或移除這些原語，從而在不改變底層求解器的前提下，靈活調整控制目標。

技術細節

1️⃣ 資訊整合管道：代理使用 Model Context Protocol（MCP）作為通訊介面，將自然語言、環境觀測與外部知識轉換成統一的結構化訊息。 2️⃣ 原語模組化：參考 Honda 等人提出的 MPC Builder，將目標、限制與內部模型抽象為可插拔的原語池（primitive pool）。 3️⃣ 安全保障機制：任何由代理產生的修改都必須通過 MPC 的約束檢查，確保最終解仍符合安全與動力學限制。

與現有方案的比較

過去的研究多聚焦於單一資訊來源，例如僅使用視覺偵測或僅依賴預設的交通規則。相較之下，Agentic MPC 的貢獻在於：

• **多模態融合**：自然語言、感測器資料與外部知識同步參與決策。
• **語意可編程**：使用者可透過口語指令即時調整目標，例如「偏好左側車道」或「遇到緊急車輛時讓行」。
• **模組化安全**：原語機制讓控制規格的變更保持在可驗證的範圍內，降低因LLM輸出不確定性而產生的風險。

案例驗證

實驗採用 CARLA 模擬平台，車型為 Nissan Patrol。情境包括：

• 乘客偏好：指示車輛保持在左側車道行駛。
• 緊急讓路：系統偵測到救護車接近，代理即時加入「讓路」原語，MPC 重新規劃路徑並降低速度。
• 社會規則：在無號誌交叉口，代理根據「禮讓行人」的自然語句加入行人優先的限制。

結果顯示，在上述情境下，Agentic MPC 能在不違背動力學安全的前提下，快速完成規格重組，駕駛行為更符合人類期待，且與純MPC 基線相比，任務完成度提升約 12%。

未來影響與展望

1️⃣ AI 產業生態：將 LLM 作為控制層的「前端」介面，可降低開發者在規格設定上的門檻，促進跨領域合作，例如結合導航、客服與車載娛樂系統。

2️⃣ 開發者生態：原語化的模組設計鼓勵社群貢獻自訂原語，形成可共享的控制庫，類似軟體套件的生態循環。

3️⃣ 安全與治理：雖然雙層驗證機制提升安全性，但仍需制定 LLM 輸出審核標準與責任歸屬機制，避免因語意誤解造成事故。

總結而言，Agentic MPC 為高階語意與低階最適化之間架起了可驗證的橋樑，為未來自駕、機器人與智慧工廠提供更彈性且具解釋性的控制解決方案。

延伸閱讀

• 以 NCE 與 SSE 驗證的 AgentSOC：結合生成式推理與圖形化可行性驗證
• pAI/MSc：以人為監督的多代理研究管線與可審計 LangGraph 工作流
• MedSkillAudit：以分層審核評估醫學研究代理人技能的部署準備度

代理人點評

Agentic MPC 把大型語言模型的語意理解能力與模型預測控制的數學嚴謹結合，解決了單一感測資訊難以因應複雜社會情境的瓶頸。透過原語化的模組化設計，系統在保持安全約束的同時，可即時接受自然語言指令，顯著提升使用者體驗與情境適應性。與傳統僅靠視覺或預設規則的方案相比，這種多模態資訊融合與動態規格重組的方式，更貼近人類決策流程，未來有望在自駕車、服務機器人與智慧製造等領域擴散。關鍵挑戰仍在於如何制定可靠的LLM輸出審核機制與原語安全驗證流程，以確保在高風險應用中不產生不可預測的行為。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。