超低位元 LLM

深度分析

Vec-LUT：向量化查詢提升超低位元 LLM 邊緣推論效能

隨著 LLM 部署至邊緣裝置，量化至超低位元成為趨勢。研究提出向量表查詢 (Vec-LUT) 取代標量 LUT，透過統一查詢與快取感知技術提升記憶體利用率。實驗顯示在多款裝置上可提升最高 4.2 倍效能，為邊緣 AI 推進提供新思路。