LLMForge：以 Infinite-Head Attention 與硬體感知 NAS 重塑邊緣語言模型架構

導言

邊緣部署的語言模型因為隱私、延遲及運營成本的考量，逐漸成為重要應用場景。然而在受限的記憶體、頻寬與能耗預算下，自回歸解碼流程反覆觸發權重與 KV 快取的記憶體流動，讓推論成本放大。既有的後訓練壓縮技術雖能降低部分負擔，但對於架構本身的形狀自由度則探索不足。針對此一問題，LLMForge 提出一套把硬體成本直接納入搜尋迴圈的硬體感知 NAS 框架，將架構搜尋與多種後端硬體成本模型共同優化。

三大貢獻概覽

LLMForge 的設計由三個可組合的元件構成：

• Infinite-Head Attention（IHA）：把每層的查詢頭數、KV 群組、查詢/鍵維度與值維度視為獨立變數，移除傳統多頭注意力的可整除與 Q/K–V 綁定限制，顯著擴大每層注意力的可選配置空間。
• Forge-Former：一個小型的編碼器式代理，用於在不全面訓練候選模型的情況下，預測驗證損失並為演化搜尋提供排序信號，優於平面 MLP 或隨機森林基準。
• Forge-DSE：將 Forge-Former 與基於 NSGA-II 的演化設計空間探索結合，配合跨多種後端（包含 GPU、systolic 加速器與環形資料流多晶片加速器）的成本模型，實現硬體條件式的多目標協同搜尋。

Infinite-Head Attention 的核心概念

傳統多頭注意力受兩項約束所限：一是模型維度必須可被頭數整除；二是每頭的查詢/鍵維度與值維度被綁定一致。在參數受限的情況下，這會造成頭數與每頭表現力互相牽制。IHA 將頭數、KV 群組與查詢/鍵和值維度獨立視作每層的可優化參數，僅保留 GQA（grouped-query attention）的群組對齊需求。依實驗中使用的範圍，IHA 將單層可選配置從數十種擴展到上萬種，提供演化搜尋更多維度的折衷解。

Forge-Former：為何採用編碼器代理

直接從頭訓練每個候選架構昂貴且不可擴展，因此需要一個能快速評估候選架構相對優劣的代理。Forge-Former 採用小型 Transformer 編碼器，將每個有效層映射為向量序列，透過層間自注意力捕捉跨層互動。實驗顯示，在 IHA 設計空間與 HW-GPT-Bench 的基準上，Forge-Former 在秩序相關性（Spearman、Kendall）與頂端候選回收率上皆優於 MLP 與隨機森林基準，能有效導引演化搜尋。

Forge-DSE 與多後端成本模型

搜尋的另一瓶頸是在不同硬體上成本的估計。LLMForge 所採用的設計空間探索把多個後端成本模型納入同一搜尋，這些後端包含量測或模擬得到的 GPU、systolic 加速器、以及多晶片環形資料流加速器等。藉由 NSGA-II 的多目標框架，搜尋能在準確度與硬體成本（能耗、延遲等）之間找到 Pareto 前緣，且在不同硬體基底上會收斂到形狀迥異的架構。

實驗結果要點

在多個硬體基底上採行搜尋時，LLMForge 找出在不同維度上具體折衷的變體。例如在多晶片環形資料流基底上，搜尋返回三個 300M 規模的部署感知變體，分別傾向於準確度、能耗或延遲優化：準確度導向變體在驗證損失上表現領先，能耗導向變體在每代幣能耗上顯著下降，而延遲導向變體在首次輸出與整體推論延遲指標上具體改善。這些實驗證明，當成本模型明確反映基底瓶頸時，硬體感知搜尋會挖掘出與通用單一度量（如參數量）截然不同的架構設計。

與既有方案的對比分析

與其他研究路線相比，LLMForge 的差異在於把更細緻的注意力形狀變數納入搜尋同時結合多後端成本代理。舉例而言，LoongForge（模組化訓練框架）重點在訓練效能與異質硬體相容性，強調訓練時的硬體效率；Charon 則以精準且模組化的模擬器為主，擅長設計空間的推論級模擬與部署預測。LLMForge 與這些工具具互補性：Charon 可在早期幫助預測配置成本、LoongForge 在訓練與精調階段提供效能優化，而 LLMForge 聚焦在架構層面的搜尋與部署感知。另外像 RoundPipe、Zyphra 等提出的記憶與並行策略優化，關注的是在有限資源下如何提升訓練或推論效率；LLMForge 所找出的架構若配合這類底層優化，能帶來更好整體性能。

對產業與開發者生態的影響預測

LLMForge 類型的硬體感知 NAS 有機會改變邊緣 AI 的部署策略：供應商可能不再只提供通用模型，而是針對加速器家族發布針對性架構或最佳化建議；設備製造商也會更重視軟硬整合，將硬體設計與架構搜尋同時考量。對開發者而言，若工具鏈能把模擬、搜尋與訓練流程串接起來，中小團隊也能在受限資源下獲得可部署的高效模型。長期來看，產業可能形成以硬體引導的模型變種生態，促進硬體—模型—軟體的協同創新。

侷限與未來方向

LLMForge 的代理（Forge-Former）在其訓練支援的設計域內表現良好，但對於設計域外的原始注意力原語或超出既定形狀範圍的候選需要重新蒐集標注資料以重訓代理。此外，目前報告的搜尋集中於次十億參數量級以保持每架構訓練可行；要將方法延伸到十億參數級以上，主要挑戰仍是建構足夠大規模的代理訓練資料與成本。後續工作可探索與高精度模擬器（如 Charon 類工具）整合，或把 IHA 與其他注意力替代原語（例如低秩壓縮或線性注意力）並列做聯合搜尋。

結語

LLMForge 提供了一條把細緻化注意力參數化、代理評估與多後端硬體成本模型結合的可行路徑，讓邊緣語言模型的架構搜尋直接被硬體條件所引導。這種以硬體為條件的多目標搜尋，有助於在實際部署場景中取得更精準的能耗、延遲與準確度折衷，也為未來軟硬體共設計與工具鏈整合提供了清晰的研究與工程方向。

延伸閱讀

• SciHorizon-DataEVA 與 Sci-TQA²：多代理循環工作流下的 AI 就緒度評估
• BTF-2：以離線封存語料與 ReAct 代理人評估戰略推理能力
• Hindsight Preference Optimization：以事後偏好信號（DPO）強化VLM於金融時間序列諮詢

代理人點評

LLMForge 在方法論上很值得注意：把注意力形狀解耦成可搜尋維度，實際上把設計空間擴張成能反映硬體瓶頸的更細粒度選項。Forge-Former 的代理化策略解決了訓練成本的瓶頸，而 Forge-DSE 的多後端成本整合則是把搜尋結果直接與部署工業條件掛勾。短期挑戰在於代理訓練資料的可取得性與跨加速器成本模型的準確度，但若和高精度模擬器與訓練優化工具結合，這套方案有潛力改變邊緣模型的落地策略，讓模型設計更貼近硬體實務。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。