unix-ctf：以可驗證植旗／回收契約評估 Unix 能力（Qwen3-8B、LoRA 與容器化驗證）

導言：為何要區分 Unix 能力

近年將終端互動當作衡量代理人的場景已成主流，許多 benchmark 與大型訓練管線把「透過 shell 寫程式」與「直接運用 Unix 原生機制」混為一談。unix-ctf 的出發點是：這兩者其實屬於不同技能軸，一個偏向一般程式能力（例如撰寫 Python 程式以達成目標），另一個則是操作系統、檔案格式與工具的原生運用，這裡稱為 Unix competence（Unix 能力）。

unix-ctf 的設計理念

unix-ctf 採用 CTF（capture-the-flag）格式：每個任務在沙箱容器內隱藏一個短標記（flag），代理人需找出並回傳。關鍵在於每個任務僅依賴單一 Unix 特性來藏旗，解題則必須使用該特性；因此測驗直接指向 Unix 能力，而非泛程式設計技巧。

為了把語言模型限制在可驗證的輸出層，整個管線把容器與測評工具預先準備好，只允許 LLM 產出兩個層次的腳本：植旗腳本（plant.sh）與回收腳本（recovery.sh）。每個候選都經過機械化、雙向檢驗：植旗後磁碟不得留有旗文的任何明文痕跡；在新的目錄中執行回收腳本必須能成功恢復旗值。

範例與驗證機制

unix-ctf 以簡潔的契約保證可攜性與安全性。舉例說明某些 Unix 特性可能無法被傳統檔案檢索工具發現，典型的檢索命令如

getfattr -n user.secret decoy.txt

這類命令直接呼叫內核的擴充屬性介面，以讀取存在於 side-channel inode namespace 的值。標記格式則採用類似

flag{a3b1c9...}

植旗腳本被寫入容器後會立即執行，執行結果記錄後刪除腳本本體，以避免在磁碟留下可被回收的植入程式。

管線流程概述

整體採五階段離線採集流程，交替使用大型模型產生技術候選與機械化驗證：探索（探索性生成命令序列）、機械驗證（在同一容器內確認無明文旗且回收可行）、合成（把通過的探索重寫成參數化的 plant/recovery 腳本）、可攜性驗證（在新臨時目錄重跑檢查），最後去重並典藏。這種分工把可能於 Docker 建置或環境配置階段出錯的面向移出 LLM 的責任範圍，提高了可用率與移植性。

技術庫與產出

從 750 次原始採集嘗試中，管線最終保留 656 個可用變體（87.5%），去重後產生 155 個 canonical 技術 ID，對應 441 個變體。相比於複製 Endless Terminals 的整容器生成法，在相同可攜性檢查下其通過率僅約 17.4%。這顯示將容器基底與植旗邏輯分離，並以雙向驗證契約約束 LLM 輸出，可以大幅提高有效樣本產出率。

環境生成（Multi-flag containers）

環境生成器每次從技術庫抽取一組技術（管線中使用一個 50 技術的「sticky pool」），為每個容器植入八個旗以提升回報密度。容器基底為事先調試好的 ctf-base 映像，並可套上七種角色（例如 webserver、database、devbox 等），每種角色會提供對應的使用者、服務設定、日誌與 shell 歷史來增加情境真實度。植入流程會將 plant.sh 以 base64 或其他方式寫入容器執行，確認成功後刪除腳本，回傳包含容器、種子與植旗清單的 MultiFlagEnv。

訓練與實驗結果

研究以 Qwen3-8B 為基礎，使用 rank-32 LoRA 並採 GRPO 強化學習作為探測手段（訓練並非聲稱最佳 RL 配方，而是作為可學習性檢驗）。在一組包含 15 類技能的多族群 holdout 測試上，微調前基線解題率為 11.6%，經 GRPO 後可提升至 27.6%，若先進行短暫的監督式風格對齊（SFT）再跑 GRPO，解題率可達 43.6%。此外，在 InterCode-CTF 的評測中，訓練改變了模型解題的分佈，鑑識（Forensics）類別獲得最大提升。

跨主題對比分析

與現有終端基準（如 Terminal-Bench、Endless Terminals、Nemotron-Terminal）相比，unix-ctf 明確偏重不可由一般程式語言抽象替代的 OS／格式內部能力，例如 xattrs、ELF 節或憑證內特定 OID。其他基準多半測試的是透過 shell 操作工具鏈（grep、awk、find）以完成程式化任務，這類題目通常可由熟悉程式語言的模型靠高階邏輯取勝。unix-ctf 補齊了這塊不足：以更嚴格的契約與可攜性檢驗，生成專注於 Unix 流氓角落能力的題庫。

未來影響與產業意涵

短期內，unix-ctf 可作為訓練與評估系統管理、鑑識與低層次作業系統技巧的補充基準，促使代理人在終端場景中，更直接地學會使用系統原語而非純粹靠程式邏輯繞過。長期看，若採用類似方法建立課程式難度遞增的 Unix 任務生成器，可能改變開發者生態中對「終端能力」的期待：工具開發者與自動化系統需面對更懂系統細節的代理人。此外，因為技術庫本身可被用於攻防訓練，研究對公開釋出持慎重態度，僅公開方法論細節而不散布具體植旗對應檔案。

限制與風險

unix-ctf 的建構高度依賴 LLM 在 harvest 階段的表現，因此若某些系統技術在模型語料中代表性不足，該技術可能無法被採集。再者，CTF 格式本質上專注於可機械化判定的短期任務，無法涵蓋 Unix 能力的全部面向，例如長期維運、策略性排錯或跨系統整合等。

結語

unix-ctf 提供了一條可行路徑：把 Unix 能力當成獨立的訓練與評估維度，用程式化、可驗證的植旗／回收契約，擴展了現有終端基準的測量範圍。實驗證明這個表面是可學習的，且能把學到的低層次技巧轉移到既有 CTF 題庫的鑑識類任務上。未來可朝向參數化任務生成器與分級課程，或在多語言與多映像基底上測試可擴展性。

延伸閱讀

• 評估大型音訊語言模型（LALM）的文字先驗效應與音訊依賴性
• UniSonate：以 Dynamic Token Injection 與 Multimodal Diffusion Transformer 統一語音、音樂與音效生成
• ONOTE：為全模態（Omnimodal LLM）記譜處理建立的確定性評測基準

代理人點評

unix-ctf 的價值在於把一組常被忽略的系統操作技能抽出來做成可驗證、可量化的訓練表面。技術上關鍵是把容器基底與植旗邏輯分層，並以雙向契約確保可攜性與無痕跡，這直接提高了有效樣本產出率與質量。實驗顯示，針對性地訓練能顯著提升模型在 Unix 題目的解題率，並改變模型在 downstream CTF 中的勝任分佈。然後要注意，依賴 LLM 採集會有採樣偏差，且 CTF 類任務無法完全覆蓋真實系統運維的長期與策略性挑戰。此外，研究也觸及雙用風險，公開策略必須在促進研究與避免濫用間取得平衡。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。