大模型推論

深度分析

Transformers 後端整合至 vLLM：透過 torch.fx 靜態圖達成手寫級效能

HuggingFace近期將Transformers整合為vLLM模型後端，讓LLM使用原生加速。新後端利用torch.fx靜態分析與AST重寫，將注意力等關鍵層融合至vLLM核心kernel，實現與手寫原生實作相當的吞吐。測試在4B、32B與235BMoE模型上均達到或超過原生效能，降低部署門檻。