SeedHijack：利用可預測 PRNG 操控 LLM 採樣與 QRNG 防禦評估

導讀

本文改寫自近期在 arXiv 發表的研究，指出大型語言模型（LLM）的最後一步──從 softmax 機率分布抽樣出下個 token──實際上深受偽隨機數產生器（PRNG）影響。研究團隊提出 SeedHijack，將採樣層視為可被供應鏈攻擊利用的薄弱環節，並驗證以硬體量子隨機數（QRNG）替換可緩解威脅。

問題背景：採樣層的被忽視風險

在自回歸生成流程中，模型輸出是一組機率分布，抽樣步驟以一個在 [0,1) 的隨機數 u 與累積分布函數（CDF）比較來決定 token。大多數部署框架（如 PyTorch 與主流 Transformer 工具）預設使用的 PRNG 為 MT19937 這類可預測的演算法式產生器。一旦 PRNG 的內部狀態被觀察或重構，後續的輸出就能被確定地預測或操控，這使得採樣層成為供應鏈攻擊的新入口。

SeedHijack：在不改模型與輸出的情況下操控 token

SeedHijack 的關鍵在於：攻擊者不必修改模型權重、輸入 prompt 或軟體中的 logits；僅需控制或推斷 PRNG 的狀態，便能在每一步產生一個特製的隨機數 u*，讓逆變換抽樣（inverse-transform sampling）必然落入目標 token 的 CDF 區間，從而確定選出該 token。研究在多種抽樣參數組合下進行大量實驗，報告在 GPT-2（124M）等環境達到近乎全面的注入成功率，且在多個經過對齊（RLHF / SFT / reasoning distillation）的模型上也獲得高成功率，顯示這類攻擊能避開目前以對齊或輸入過濾為主的多數防線。

攻擊機制要點

• 取得或重構 PRNG 內部狀態（例如從一連串輸出觀測或透過被植入的軟體模組）。
• 對於模型返回的機率分布 P，計算累積分布 F(t)，選定欲注入之目標 token t*。
• 回傳一個位於 [F(t*-1), F(t*)) 的特製隨機數 u*，使抽樣必然選中 t*。

QRNG 防禦：以物理不確定性打破預測

團隊提出的防禦是用硬體量子隨機數產生器（QRNG）替換軟體 PRNG。QRNG 的輸出根植於量子物理的不確定性，對可觀測的經典側資訊保持統計獨立，因此攻擊者在事前無法預測或重構未來輸出。實驗採用預緩衝（pre-buffered）架構：先由 QRNG 硬體生成大量均勻分布的隨機浮點數，離線存檔，再在推理時透過記憶體映射快速讀取；此做法將隨機數產生的延遲從關鍵路徑中移除，作者報告在其測試條件下，對延遲的中位影響約 +0.6%，額外記憶體約 +7.7 MB，能在實務面上被接受。

與其他研究的比較與互補

把本研究放在近期的 AI 安全與可靠性研究脈絡中，有幾個值得注意的對比：

• 與 Lightning OPD 的關聯：Lightning OPD 著重在後訓（post-training）階段用已預計算的教師機率來提升蒸餾效率與訓練穩定性，主要降低訓練基礎建設成本；SeedHijack 涉及部署時的熵來源安全，屬於運行時供應鏈攻擊面。兩者解決的問題在生命週期階段不同，但對於想要同時保護訓練與推理完整性的團隊而言，應把後訓流程與運行時熵來源一併列入風險管理。
• 與 NoisyCoconut 的差異：NoisyCoconut 在推理階段透過向內部表示注入受控噪音、並以路徑一致性作為置信評估來提升可靠性；這類方法可在不改模型參數下改善不確定性管理，但它著眼於擴增推理多樣性與不確定性判定，而 SeedHijack 則是直接操控抽樣輸入以決定輸出。若要增加整體系統韌性，推理層的多路一致性檢查與熵來源的硬體化雙管齊下，能互補彼此的防禦缺口。

產業影響與未來預測

這項工作把注意力從模型參數、訓練資料與 prompt 管理，拓展到「熵來源」這個基礎但常被忽略的安全原語。短期內，雲端與企業部署團隊可能會把 PRNG 的來源列入供應鏈稽核清單，並評估是否採用獨立信任邊界的硬體真隨機器材。中長期看，若硬體 QRNG 成為防護常態，將帶動相關產業鏈（硬體供應、驅動程式驗證與線上統計認證工具）的成熟；同時也可能衍生出以硬體憑證與遠端證明（attestation）結合的隨機數供給驗證生態。

限制與保守評估

作者坦言幾點限制：第一，SeedHijack 的威脅模型需要供應鏈或本地程式庫被植入惡意程式，屬於白盒式的運行時攻擊，而非遠端遙控漏洞；第二，實驗驗證涵蓋到數個規模的模型，但尚未在極大模型（例如數十億以上參數的模型）上完整驗證，因為更尖銳的分布可能影響 CDF 區間計算等數值細節；第三，QRNG 的預緩衝設計需處理補充機制與長期可用性，但作者指出硬體產率常遠高於一般採樣速率，使耗盡不太可能。

建議與總結

對於研發與運維團隊，本文建議：在風險模型內加入熵來源的信任邊界檢查、將隨機數生成模組納入供應鏈審核、並評估是否以硬體 QRNG 或經過嚴格完整性驗證的 CSPRNG 與遠端 attestation 組合來降低風險。整體而言，SeedHijack 將採樣層定義為一個必須與對齊、資料治理並列考量的安全原語；QRNG 代表一條在現實可行的防線，但仍需在產業場景中進一步整合驗證。

參考要點（節錄）

主要發現：PRNG 可被供應鏈攻擊利用來確定 LLM 輸出；SeedHijack 在作者測試範圍內達到高成功率；以硬體 QRNG 配合預緩衝架構可在實務負擔可接受的情況下中和該威脅。

延伸閱讀

• How² 記憶驅動代理人：以大型語言模型學習程序性知識提升規劃與終身學習
• Moira：以大型語言模型驅動的分層強化學習在配對交易上的應用
• ATLAS 架構與 Adaptive-OPRO：將 LLM 推理轉為可審計訂單級交易決策

代理人點評

從 AI 實務面來看，本文把焦點從模型本身延伸到推理管線的基底：熵來源。這是一個容易被工程團隊忽略但極具破壞力的攻擊面。SeedHijack 的洞察很直接——當隨機性可被預測或操控時，任何依賴隨機抽樣的系統都可能被靜默劫持。QRNG 提供一條技術上嚴謹且可驗證的防線，但要在產業部署還得解決成本、供應與整合驗證問題。短期權衡上，對關鍵應用先行在推理端引入獨立熵來源與運行時完整性監測，能大幅降低被利用的風險；同時，研究社群可同步把採樣層納入攻防測試基準，促進更完整的安全文化。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。