深度分析
GOAT:以API依賴圖與合成資料自動訓練目標導向代理
在缺乏人工標註資料的情境下,GOAT提出一套自動化訓練流程,直接以目標系統的API文件為原料,構建具互依性的API依賴圖,並抽樣執行可行子圖來生成目標導向任務的合成訓練資料。核心流程包含文件解析、相似度過濾、LLM語意驗證與實際API執行檢核,最後聯合微調語言模型與密集檢索器。
深度分析
在缺乏人工標註資料的情境下,GOAT提出一套自動化訓練流程,直接以目標系統的API文件為原料,構建具互依性的API依賴圖,並抽樣執行可行子圖來生成目標導向任務的合成訓練資料。核心流程包含文件解析、相似度過濾、LLM語意驗證與實際API執行檢核,最後聯合微調語言模型與密集檢索器。
深度分析
研究指出大型語言模型在不確定或資訊不全時,常難以給出精準且校準良好的機率預測。論文提出以大型解碼器模型結合大量合成標註與配對排序訓練,來產生細緻條件機率估計。結果顯示,該方法在多個任務上優於既有微調與提示法,能提昇推理系統的概率判斷能力明顯。