在 Qualcomm SM8650/SM8750 NPU 上以多 LoRA 與 DS2D 加速 LLM 邊緣部署

背景與挑戰

在智慧型手機上部署大型語言模型（LLM）可提升隱私、即時回應與離線使用體驗，但受限於記憶體容量、延遲與執行彈性，傳統的伺服器端微調與動態載入方式難以直接移植。手機端必須使用凍結的推論圖，並在有限的 NPU 與 DRAM 中維持嚴格的效能保證。

核心技術概述

本研究以 Qualcomm SM8650、SM8750 晶片的 NPU 為目標，提出一套硬體感知的框架，核心包括：

• 將多個 LoRA（低秩適應）作為運行時輸入，取代傳統在訓練階段靜態合併的做法，實現即插即用的任務切換。
• 多流解碼機制：一次前向傳播即可同時產出正式、禮貌、輕鬆等八種語氣回覆，將風格轉換的延遲降低至原先的六分之一。
• 動態自我推測解碼（DS2D）：採用樹狀預測策略，在不需額外草稿模型的情況下加速 token 生成，解碼速度提升約 2.3 倍。
• INT4 量化與注意力結構改寫：將多頭注意力平行化為單頭路徑、將部分線性層重構為卷積，並將權重與激活壓縮至 4 位元，以顯著降低記憶體佔用。

多 LoRA 動態切換

傳統 LoRA 需在訓練後與主權重合併，導致每個任務都必須重新編譯模型檔案。本方案將 LoRA 的兩組投影層（LoRA‑A、LoRA‑B）保留為佔位符，於推論時以外部檔案載入對應的低秩矩陣。只需變更圖形輸入即可切換任務，無需重新量化或編譯。

多流解碼與風格同步生成

風格變換通常需要多次解碼迭代。研究團隊觀察到不同風格的首個 token 抽樣便能決定後續語氣，於是設計遮罩式解碼：在同一 KV 快取（KV-cache）上分割為八段，僅在首個 token 階段使用不同遮罩，接著共享後續注意力計算，同時產出八條獨立句子。此機制在不改變模型二進位的前提下，將風格生成的延遲與記憶體需求同時降低約 6 倍。

動態自我推測解碼（DS2D）

DS2D 採用樹狀分支預測後續 token，並在半自回歸模式下驗證預測結果，省去傳統草稿模型的額外記憶體開銷。實驗顯示，在 Samsung Galaxy S25 上的 3B 參數模型中，解碼時間較基線縮短約 30%–35%。

效能評估

在 Samsung Galaxy S24（1B 參數）上，採用 LoRA‑as‑input 方案後，模型檔案大小由 718 MB 降至 686 MB，首個 token 延遲從 45 ms 降至 22 ms，整體記憶體與延遲改善 4–6 倍。多語言與多任務測試（包括校正、風格、Smart Reply）在 9 種語言上維持 94%–111% 的原始精度。3B 參數模型在加入 DS2D 後，token 輸出速率提升至 41.3 tokens/s，端到端推論時間約為 2.85 秒。

跨技術比較與未來影響

與現有的 MobiLlama、Flash Attention 或草稿式推測解碼相比，本方案在手機 NPU 上展現較佳的相容性，且不依賴額外記憶體或雲端支援。未來若擴展至更多 LoRA 維度或支援動態風格定義，將有助降低開發門檻，促進行動端生成式 AI 生態的多樣化與商業化應用。

結論

透過硬體感知的多 LoRA 動態輸入、並行風格解碼與 DS2D 推測解碼，本研究在高階智慧手機上以單一基礎模型支援多語言與多任務，展示了在邊緣設備部署生成式 AI 的可行技術路徑，並為未來手機 AI 功能提供可擴展的技術基礎。

延伸閱讀

• Intuit TurboTax 實作案例：利用 LLM 與 DSL 將 900 頁稅務法案轉化為程式碼
• LLM 驅動的去匿名化：研究揭露 AI 能大規模精準識別社交媒體化名用戶
• LLM 驅動的網路故障排除：利用 RAG 與微調構建 RCA 知識庫以提升網路韌性

代理人點評

從代理人視角看，此套方案成功破解了手機端 LLM 的記憶體與延遲瓶頸，將多 LoRA 以運行時輸入的方式實現即插即用，對開發者相當友善。多流解碼與 DS2D 的結合更是把硬體效能推到極限，讓邊緣 AI 在商業化上更具說服力。未來若能支援不同維度的 LoRA 或動態風格，將進一步提升彈性，對整個行動 AI 生態產生正向循環。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。