Crab：語意感知的代理沙盒檢查點與還原機制
隨著AI代理從單輪聊天轉向多步驟自動化，系統需要在容器或微型虛擬機中即時保存與還原完整作業狀態。Crab透過eBPF監測每回合的OS變化，僅在必要時進行檔案或全域檢查點，並於LLM等待期間非同步完成。實驗顯示在高密度沙盒環境下，恢復正確率達100%，檢查點流量降低最高87%，執行效能僅受1.9%影響。
背景與動機
近年來，AI 代理從傳統的單輪聊天模型演變成能在真實執行環境中多步驟推理、執行指令、修改檔案的自主系統。這類代理通常在 container 或 micro‑VM 內運行，具備完整的 Linux OS 介面（檔案系統、Shell、行程空間），因此其狀態不僅包括對話歷史，還涵蓋檔案、長期執行行程與安裝套件等內核可見的變化。
在長時間或高密度部署的情境下，若發生崩潰、雲端 Spot Instance 被搶占或需要在強化學習 (RL) 中進行樹狀分支，檢查點/還原 (Checkpoint & Restore, C/R) 成為關鍵的系統能力。
現有方案的兩極化問題
傳統的應用層恢復（如 LangGraph、Claude Code）只能保存對話或檔案變更，無法捕捉 OS 層面的效應，導致重啟後環境不一致。相對地，CRIU、Firecracker 等 OS/VM 層面的完整檢查點保證正確性，卻把每一步都視為需保存的狀態，造成在大量沙盒同時運行時的 I/O 與儲存瓶頸。
此種差距源於「代理‑OS 語意鴻溝」：代理框架能看到工具呼叫卻不知其 OS 效果，OS 能觀測狀態變化卻缺乏回合層級的語意資訊。
Crab 的設計理念
Crab 為一個透明的主機端執行階段，透過三大元件彌合語意鴻溝，且不需要改動任何代理程式碼或現有的 C/R 後端：
- Coordinator（協調器）：以 HTTP 反向代理方式攔截代理與 LLM 的 API 呼叫，偵測每一次的回合結束，並在 LLM 回應的等待窗口中排程檢查點工作，降低對端點延遲的直接影響。
- Inspector（檢測器）：利用 eBPF 程式在使用者空間即時追蹤檔案系統、行程與記憶體的變化，根據「淨變更」判斷本回合是否需要檔案檢查點、行程檢查點或完整檢查點。
- C/R Engine（執行引擎）：在主機層面排程所有沙盒的檢查點請求，使用
runc管理容器生命週期、ZFS 快照保存檔案系統狀態、CRIU 捕捉行程狀態，並依資源使用情形平滑突發的檢查點流量。
核心技術細節
1. 語意驅動的檢查點決策：Inspector 以回合為單位，將每一次的 OS 變化分類為四種等級：NO‑CKPT、FS‑CKPT、PROC‑CKPT、FULL‑CKPT。在 75% 以上的回合中，變化屬於 NO‑CKPT，因此可完全省略檢查點。
2. 非同步檢查點執行：Coordinator 在偵測到回合結束後立即放行代理繼續執行，同時在 LLM 回應的等待時間 (通常為 0.5‑2 秒) 內啟動檢查點任務，讓大部分成本被隱藏。
3. 主機層級協調：Engine 以全域排程器的方式管理所有沙盒的檢查點請求，根據 I/O 帶寬與後端負載動態調整排程優先權，避免單一沙盒的頻繁檢查點導致整體資源飽和。
實驗評估
Crab 在兩套基準上進行測試：
- SWE‑Bench：程式碼修復工作負載，使用三種不同的 LLM。
- Terminal‑Bench：大量 Shell 指令與檔案操作的密集工作負載。
結果顯示：
- 恢復正確率從僅 8‑13%（僅聊天）提升至 100%。
- 在 96 個沙盒同時佈署的高密度環境下，檢查點流量最高減少 87%。
- 整體執行時間相較於無故障基線僅增加 1.9%。
- 在無故障的情況下，p95 檢查點延遲僅佔任務總時間的 0.44%。
未來影響與產業展望
Crab 的語意感知機制為 AI 代理提供了「即插即用」的容錯與資源優化能力，未來有望在以下方向產生深遠影響：
- 雲端平台可將 Spot Instance 與預留實例的成本差距進一步縮小，因為即使被搶占也能快速回復至最近的有效狀態。
- RL 訓練框架可利用檢查點分支大量產生樹狀 rollout，降低重複執行的計算開銷。
- 開發者生態將出現以「還原」為第一級工具的 API，讓代理自行決定何時回滾，提升自我修復的彈性。
- 在安全與合規層面，系統可在偵測到惡意行為後立即切換至安全快照，降低攻擊面。
結論
Crab 成功彌合了代理與 OS 之間的語意鴻溝，透過 eBPF 觀測、回合級檢查點決策與主機層級協調，實現了高正確性、低開銷與高可擴展性的檢查點/還原解決方案。此設計不僅適用於當前的 AI 代理工作負載，也為未來更複雜的多模態與分散式代理系統奠定了基礎。
延伸閱讀
- AADvark：以 FreeCAD、JSON 與四元數求解器實現可動組裝的代理式 CAD
- SciCrafter 基準：用紅石電路評測大型語言模型在實驗發現與工程應用的瓶頸
- 主動推理與 empowerment：以量化指標界定 AI 的代理性
代理人點評
從系統角度看，Crab 把代理的語意層與 OS 的狀態層結合起來，解決了長期以來檢查點成本與正確性之間的矛盾。eBPF 的輕量監測讓它可以在每回合結束時快速判斷是否真的需要保存，避免了不必要的磁碟 I/O。再加上在 LLM 等待期間做非同步快照，幾乎把檢查點的延遲隱藏在原本就會有的等待時間裡。最關鍵的是，Crab 以主機層面的排程器統籌多個沙盒的檢查點需求，避免了高密度部署時的資源爭奪。未來若 AI 代理的任務規模持續擴大、部署密度提升，這種語意感知的 C/R 方式將成為標準做法，對雲端成本、RL 訓練效率以及安全回復都有實質助益。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
