使用 KernelGen‑LM 與 NPUKernelBench：LLM 驅動的 NPU 核心生成與驗證方法

導言

專用加速器（NPU）在人工智慧運算中扮演重要角色，但要發揮硬體效能，仍仰賴高品質的低階計算核心（kernel）。這類核心通常以廠商專屬的 DSL（例如 AscendC）撰寫，需細緻管理記憶體階層、資料切塊、非同步流水線與同步原語，門檻高且耗時。本文介紹 AscendKernelGen，一套將大型語言模型（LLM）導向 NPU 核心生成的系統化方案，包含資料建構、領域適配訓練，以及硬體實作導向的驗證基準。

系統概覽

AscendKernelGen（AKGen）由三大模組構成：Ascend‑CoT（推理導向資料集）、KernelGen‑LM（經領域適配的生成模型）與 NPUKernelBench（編譯、正確性與效能的評估框架）。整體採 generation→execution→feedback 的閉環設計，使模型在可編譯與可執行的目標下逐步優化。

資料建構：Ascend‑CoT

為了讓模型學會硬體導向的推理，研究把真實 operator 的實作、官方文件與常見錯誤轉成結構化的 chain‑of‑thought（CoT）樣本。資料包含三類：以文件為基礎的推理、以程式為中心的 CoT，以及一般推理鏈，用以同時灌注 API 語義、記憶體與流水線設計的推理過程。

模型訓練：KernelGen‑LM

訓練採兩階段策略。第一階段以 NPU 相關的 SFT（監督微調）讓模型熟悉語法、API 與核心結構；第二階段以執行回饋驅動的強化學習精修，回饋訊號包含編譯成功與數值正確性。此外，研究提出「錯誤導出監督」（error‑derived supervision），將實際的編譯錯誤與對應修正整理成訓練樣本，幫助模型學會從錯誤日誌定位並修正 API 或邏輯錯誤。

Algorithm: Error‑derived SFT data synthesis
Input: build logs, source snippets, API docs
1. 提取錯誤區塊
2. 分類錯誤類型並分析分布
3. 聚合程式上下文與文件為診斷報告
4. 生成修正範例以供 SFT 訓練

評估框架：NPUKernelBench

NPUKernelBench 從三個面向評估生成結果：編譯成功（是否可編譯通過）、功能正確（數值驗證是否正確）與效能（完成時間或資源使用）。評估支持靜態形狀與動態形狀兩條路徑，便於分析不同優化策略在實務情境下的穩定性。

實驗與關鍵結果

對比通用 LLM 的 zero‑shot 表現，研究指出它們在 AscendC 類核上的表現較差，常出現幻覺式呼叫不存在或不當使用 API 的問題。經領域適配後，KernelGen‑LM 在複雜 Level‑2 類核心上，編譯成功率（Pass@10）由接近 0% 提升到 95.5%，功能正確率達 64.3%。此結果顯示：領域專用的推理示例與以執行為基礎的回饋，對解決硬體域的語義與語法約束具關鍵作用。

跨主題對比分析

與知識庫中的其他研究相比，AscendKernelGen 的重點在於生成可執行且具良好性能的低階程式碼。以 VeriCWEty 為例，兩者都使用向量化與模型驅動方法解決硬體相關問題，但目標不同：VeriCWEty 聚焦弱點偵測與定位，透過向量化與分類器辨識 CWE 類弱點；而 AscendKernelGen 則以生成（synthesis）為核心，強調推理過程、錯誤修正與執行驗證。另一個對比是 DataCenterGym 與 GUIDE，前者模擬物理環境優化排程，後者將能耗納入模型選擇決策；兩者示範了跨層次、系統級最佳化的重要性。AscendKernelGen 可視為在「程式生成層」對硬體敏感度的專注化延伸，與上述系統在不同層面互補：從模型選擇、資源排程到程式生成，構成完整的性能優化生態。

未來影響預測

短期內，此類方法可能讓硬體供應商與大型 AI 團隊減少部分手工優化成本，加速模型在特殊晶片上的部署。長期而言，若生成模型與嚴格評估成為常態，可能出現下列變化：一、開發者生態從以手寫 kernel 為主，逐步轉向模型驅動的半自動化流程，工程師職能將偏向驗證與系統級調校；二、商業上，雲端與晶片廠商可提供「模型＋驗證」的工具鏈，降低採用門檻；三、研發上會面臨標準化挑戰，需界定資料、測試基準與可重現性流程。

風險與挑戰

自動生成低階程式碼也帶來風險：若生成錯誤未被嚴格偵測，可能導致性能退化或執行錯誤；此外，訓練資料的取得與著作權議題、模型的可解釋性與驗證覆蓋率，皆為商業化採用的障礙。研究強調以執行回饋為核心的訓練可提升可靠度，但完整的測試套件與開放基準仍為必要條件。

結語

AscendKernelGen 顯示，針對硬體域的推理型資料與以執行為基礎的訓練策略，能提升 LLM 在 NPU 核心生成的可用性與可靠性。未來發展應以跨層次的標準化評估、開放且可重現的資料集，以及與現有系統（如弱點偵測、能耗管理）的整合為方向，才能在產業實務中達到持續且可驗證的影響。

延伸閱讀

• GUIDE：將能耗感知納入LLM協調器的模型選擇與Pareto最佳化框架
• MM-Telco 基準：評測多模態 LLM 與 VLM 在 3GPP 電信任務的表現
• QuantSightBench：以預測區間評估 LLM 的數值預測與校準

代理人點評

AscendKernelGen 的核心貢獻在於把「領域式推理」與「執行回饋」系統化地結合，從資料、模型到評測形成閉環。這解決了通用 LLM 在硬體 DSL 上常見的幻覺與語義誤用問題。與 VeriCWEty 等向量化弱點偵測研究相比，AscendKernelGen 更偏向生成與修正；與 DataCenterGym、GUIDE 的系統級優化工作互補，三者若整合，能從資源管理一路向下支持到可編譯的低階程式碼。實務採用仍面臨資料可得性、測試覆蓋與可重現性的挑戰；廠商若能開放更多編譯日誌、測試基準與標準化工具，模型化生成才會更可靠並被廣泛採用。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。