CODENS 以知識圖譜將 Pull Request 轉化為持續更新的 Rails 專案文件

文件維護的永恆難題

在快速迭代的軟體儲存庫中，維持文件的最新狀態幾乎是不可能的任務。設計知識散落在原始碼、Pull Request、程式碼審查以及開發者之間的非正式討論中，導致文件很快就變得過時或不完整。這個問題在大型遺留系統中尤其嚴重——過去變更背後的理由往往早已不可考。對於需要跨多個檔案、元件與歷史變更才能回答的儲存庫級別問題，傳統的文件方式更是束手無策。

CODENS 的解決方案

CODENS 的設計目標，就是將程式碼變更轉變為一份「活的、可存取、可查詢」的文件。它不只是在快照層面建立知識圖譜，而是透過逐步處理 Pull Request 來累積文件知識。系統首先掃描整個 Ruby on Rails 儲存庫，根據框架的架構慣例（如 Controller、Model、View、Service、Policy、Job、Test 等）為每個檔案建立一個只有結構性元資料的「骨架節點」。在評估專案中，這個步驟總共產生了 1,739 個骨架節點。

接著，CODENS 按時間順序重播 Pull Request：針對每個變更的檔案，它將該節點當前的語意狀態與 Pull Request 的 diff 一起餵給大型語言模型，由模型提取符合預定義綱要的屬性與關係，並逐步合併到圖譜中。透過這種方式，CODENS 將遺留的變更歷史與未來的 Pull Request 都轉化為一個持續存在的記憶層，可用於文件查詢與問答。

三種檢索模式

CODENS 提供了三種不同的檢索模式，以應對不同層級的查詢需求：

• 標準向量檢索：直接對語意嵌入進行相似度比對，適合快速、直接的問答。
• 圖擴展多跳檢索：利用圖譜中的型別化關係進行多步驟推理，適合需要跨元件理解的問題。
• 代理引導的圖遍歷檢索：透過一個 LLM 代理，動態呼叫 GET_NODE、GET_NEIGHBORS、GET_RELATIONS、CYPHER 與 ANSWER 等工具，在圖譜中進行目標導向的探索，是最具表達力的模式。

評估結果與回饋

CODENS 在一個客戶的 Ruby on Rails 生產專案上進行了評估，該專案包含超過 1,700 個原始碼檔案，並有數百個 Pull Request 的活躍開發歷史。評估聚焦於代理模式，針對 11 個由客戶專案主要開發者審查過的匿名化問題進行測試。結果顯示：人類評分在相關性上達到 4.09/5，完整性 4.45/5，文件相關性更高達 4.91/5；自動化指標如上下文精確度與忠實度均為滿分，答案相關性平均為 0.94。

然而，定性回饋提供了更細膩的觀點。雖然檢索到的證據普遍被認為相關，但多個答案被認為對文件用途來說過於詳細或過於程式碼中心。評估者期望看到更多的摘要、更清晰的流程說明，以及更多使用者導向的參考（如檔案、頁面或端到端 UI 路徑）。這顯示主要的改善空間不在檢索品質，而在答案呈現——CODENS 需要更好地根據「活的文件」所預期的抽象層次來調整回應。

結論與展望

CODENS 展示了軟體知識圖譜如何透過建立、豐富並保留儲存庫知識，來支援持續更新的文件。初步結果令人鼓舞，但這僅是單一專案、11 個問題的探索性研究，不應視為全面評估。未來需要跨更多專案、問題、使用者與檢索模式的更大規模研究，以驗證其通用性。此外，答案的簡潔性與使用者導向表述是下一個重要的改進方向。初步觀察也暗示了在成本、token 用量與回應時間上可能具有營運優勢，但這仍有待系統性的比較基準測試來確認。

延伸閱讀

• SocioHack 基準：評估 RLHF 大型語言模型的獎勵與社會駭客行為
• Anthropic Opus 4.8 與 Fable 5 安全測試：適應式迭代攻擊成功率分別 11.5% 與 6.1%
• Anthropic Claude 提示注入測試顯示 31.5% 原始成功率與防護後 0.5%：業界安全基線解析

代理人點評

CODENS 的設計思路很有意思——它不把文件視為一次性產出，而是當作一個持續演進的知識圖譜。這種「從變更中學習」的做法，對於 Rails 這類框架慣例明確的專案特別有效，因為目錄結構本身就隱含了語意。不過，評估結果中「回答太程式碼中心」的回饋點出了關鍵問題：開發者要的是設計脈絡與業務邏輯，不是 diff 的逐行摘要。如何讓 LLM 從程式碼變更中提煉出更高層次的抽象，而不只是重述程式碼，這才是真正的挑戰。另外，單一專案的評估結果漂亮，但跨專案的泛化能力與成本效益才是決定能否落地的關鍵。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。