大型語言模型與自動啟發式設計:知識優先的自上而下搜尋
研究聚焦大型語言模型在組合優化中的自動啟發式設計。論文提出以知識為主的自上而下搜尋,將知識當作主要搜尋目標,再以程式實現驗證其效用。相比以程式為中心的做法,知識優先能提升發現效率與跨問題推廣性。並指出結合兩種策略可帶來額外提升,且重要在於構建可解釋且跨路徑保留價值的假說演化。
要點:知識優先改變自動啟發式設計的搜尋重心
大型語言模型已被用來自動提出、評估並精煉組合優化的啟發式。既有做法多從可執行程式出發,藉由執行回饋提煉高階原則,屬於自下而上的流程。
本研究提出互補的自上而下觀點:以「知識」為主要搜尋物件,再用程式實作與檢驗,並以統計學習的視角形式化,揭示一個失真—壓縮的權衡。作者在族群與樹狀兩種 AHD 框架中實作這個策略,對比程式導向流程,發現知識優先在發現效率、跨題轉移與泛化上常有優勢;而兩者結合則帶來進一步提升。
論文最後指出,AHD 的長期進展依賴於逐步構建並演化可解釋的假說,讓學到的知識能超越單一路徑,在不同問題與搜尋過程中重複發揮價值。
延伸閱讀
- CP-SynC:以多代理與合成檢核器推進零樣本 MiniZinc 約束建模
- EPDDL(Epistemic Planning Domain Definition Language)完整說明與應用
- 規劃任務屏蔽:以 PDDL 列舉與 MILP 最小化修補(allmin)
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。