深度分析
CPU 可行的幻覺偵測:輕量 NLI 與語意相似度方法全方位基準測試
本研究探討在無GPU、僅使用CPU可行的公開模型下,如何偵測大型語言模型產生的幻覺。評估五種輕量方法於問答、對話與摘要三項任務,發現方法表現隨任務差異,問答最佳為相似度與NLI組合,對話則以NLI為首,但在摘要上全部接近隨機。此結果為資源受限研究者提供實務選擇指引。
深度分析
本研究探討在無GPU、僅使用CPU可行的公開模型下,如何偵測大型語言模型產生的幻覺。評估五種輕量方法於問答、對話與摘要三項任務,發現方法表現隨任務差異,問答最佳為相似度與NLI組合,對話則以NLI為首,但在摘要上全部接近隨機。此結果為資源受限研究者提供實務選擇指引。
CPU
隨著 AI 工作負載多元化,傳統 CPU 已無法單獨應付。GPU 以大量平行核心加速訓練,TPU 針對張量運算優化,NPU 以低功耗支援邊緣推論,LPU 則透過全片上 SRAM 提升大型語言模型的即時效能。這些架構互補組成異質系統,提升 AI 效能與效率。