從大型語言模型蒸餾規則提升視覺問答可解釋性
本研究提出一套利用大型語言模型（LLM）蒸餾規則的技術，針對視覺問答（VQA）任務的推理模組進行擴充。研究者先以答案集合程式（ASP）建立初始推理理論，然後以少量 VQA 範例提示 LLM 產生新規則，並透過 ASP 求解器回饋修正錯誤。
研究背景
視覺問答（VQA）要求系統同時理解影像與文字問題，並進行推理。傳統端到端模型雖然表現優秀，但缺乏可解釋性，且在任務需求變更時難以調整。
方法概述
研究團隊將推理理論以答案集合程式（ASP）形式表達，作為初始規則基礎。接著，利用大型語言模型（LLM）在少量 VQA 範例的提示下，產生符合新需求的規則。產生的規則再交給 ASP 求解器驗證，若出現錯誤，求解器的回饋會引導 LLM 修正。
實驗與結果
在多個公開 VQA 資料集（如 VQAv2、CLEVR）上測試，結果顯示只需要極少的範例（少於十筆）即可讓 LLM 正確蒸餾出所需規則，且產生的規則在解答正確率上與手工設計的規則相當。此方法亦證明比傳統資料驅動的規則學習更具效率與可解釋性。
結論與未來方向
從 LLM 蒸餾規則提供了一條在可解釋性與開發成本之間取得平衡的路徑。未來可探索將此框架擴展至其他多模態任務，或結合更複雜的邏輯表示形式。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
