深度分析
「樹狀自我對弈 (TSP)」提升大型語言模型安全程式碼生成效能
大型語言模型在程式碼生成上雖表現優異,但常會繼承訓練資料中的安全缺陷。研究提出樹狀自我對弈 (TSP) 框架,將生成視為決策樹,透過正負樣本自我對戰,精準校正關鍵節點的錯誤。實驗顯示,CodeLlama-7B 的安全通過率提升至 75.8%,且在未見 CWE 類別與跨語言情境中仍能降低漏洞比例。
深度分析
大型語言模型在程式碼生成上雖表現優異,但常會繼承訓練資料中的安全缺陷。研究提出樹狀自我對弈 (TSP) 框架,將生成視為決策樹,透過正負樣本自我對戰,精準校正關鍵節點的錯誤。實驗顯示,CodeLlama-7B 的安全通過率提升至 75.8%,且在未見 CWE 類別與跨語言情境中仍能降低漏洞比例。
深度分析
大型轉換器模型的訓練與推論本質上是記憶體管理問題。Zyphra 提出的張量與序列並行性(TSP)把張量並行(TP)與序列並行(SP)折疊到同一個裝置網格軸上,讓每顆 GPU 同時只保有 1/D 的權重與 1/D 的序列分片,雙向降低參數記憶體與激活值記憶體占用。