MHA-RAG

速報

多頭注意力檢索增強生成 (MHA‑RAG) 大幅提升基礎模型效能與效率

將基礎模型應用於資料稀少的新領域通常成本高且效能不佳。研究團隊提出以軟提示取代純文字示例，並設計示例順序不變的模型架構，命名為 Multi‑Head Attention Retrieval‑Augmented Generation（MHA‑RAG）。