多頭注意力檢索增強生成 (MHA‑RAG) 大幅提升基礎模型效能與效率
將基礎模型應用於資料稀少的新領域通常成本高且效能不佳。研究團隊提出以軟提示取代純文字示例，並設計示例順序不變的模型架構，命名為 Multi‑Head Attention Retrieval‑Augmented Generation（MHA‑RAG）。
背景與挑戰
在資料有限的領域中，將大型基礎模型調整至新任務往往需要大量計算資源，且效果不一定理想。過去研究多利用領域特定的示例作為上下文示範，但僅以文字形式呈現可能不是最佳方案。
新方法：MHA‑RAG
研究團隊提出將示例表示為軟提示（soft prompt），並採用一種對示例順序不敏感的模型架構。核心機制是 Multi‑Head Attention Retrieval‑Augmented Generation（MHA‑RAG），其中注意力頭的數量作為簡易超參數，可在不同任務間靈活調整軟提示的產生方式。
實驗與成果
在多項問答基準與不同模型規模的測試中，MHA‑RAG 相較於傳統的 Retrieval‑Augmented Generation（RAG）取得約 20 分的效能提升。更重要的是，推論階段的計算需求下降約十倍（以 GFLOPs 計），顯示在保持或提升準確度的同時，大幅提升效率，且不受示例排列順序影響。
意義
此成果證明以軟提示取代純文字示例，結合多頭注意力機制，可在資源受限的情境下，為基礎模型提供更穩定且高效的適應方案，對未來在多領域快速部署 AI 服務具有參考價值。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
