GPT-2 隱藏狀態逆向

深度分析

從 GPT‑2 Small 隱藏向量逆向還原文字：梯度最佳化方法與實驗結果

研究指出，解碼式語言模型最後層隱藏狀態可透過梯度最佳化逆向還原文字。作者採用持續於嵌入空間搜尋、最後一次投射的方式，實驗在10字元測試中，精確率從66.9%提升至97.5%。此結果說明，即使僅傳輸浮點向量，也可能被逆向解碼，對分割推論與嵌入API構成潛在威脅。