LLM 模擬器

深度分析

Charon：編譯器式圖形轉換與混合後端的 LLM 訓練與推論效能模擬器

大型語言模型訓練與推論需求極高，Charon提出以編譯器式圖形轉換與多引擎混合運算模擬器，支援原生PyTorch/HuggingFace模型並提供操作級精細模擬，實驗顯示整體預測誤差低於5.35%,在大型訓練場景下更低至3.74%,並能實際優化推論部署效能。