深度分析
EPB 框架:以程式化瓶頸提升神經組合最佳化的可解釋性與效能
神經組合最佳化(NCO)在路徑規劃與排程領域已展現媲美傳統啟發式的效能,但模型黑箱特性限制了產業部署與科學診斷。本文提出首個針對 NCO 政策的可解釋框架——Evolving Programmatic Bottlenecks(EPB),透過大型語言模型自動產生、演化可執行程式庫,將每一步的行動分配視為程式化瓶頸。
深度分析
神經組合最佳化(NCO)在路徑規劃與排程領域已展現媲美傳統啟發式的效能,但模型黑箱特性限制了產業部署與科學診斷。本文提出首個針對 NCO 政策的可解釋框架——Evolving Programmatic Bottlenecks(EPB),透過大型語言模型自動產生、演化可執行程式庫,將每一步的行動分配視為程式化瓶頸。
深度分析
大型語言模型在程式碼生成上雖表現優異,但常會繼承訓練資料中的安全缺陷。研究提出樹狀自我對弈 (TSP) 框架,將生成視為決策樹,透過正負樣本自我對戰,精準校正關鍵節點的錯誤。實驗顯示,CodeLlama-7B 的安全通過率提升至 75.8%,且在未見 CWE 類別與跨語言情境中仍能降低漏洞比例。
深度分析
大型轉換器模型的訓練與推論本質上是記憶體管理問題。Zyphra 提出的張量與序列並行性(TSP)把張量並行(TP)與序列並行(SP)折疊到同一個裝置網格軸上,讓每顆 GPU 同時只保有 1/D 的權重與 1/D 的序列分片,雙向降低參數記憶體與激活值記憶體占用。