Meta 推出 Autodata 框架，透過 Agentic Self‑Instruct 生成高品質合成資料

背景：資料品質是 AI 進步的關鍵瓶頸

傳統上，大型語言模型的訓練資料多半來自人類撰寫的文本，隨著模型能力提升，研究者開始加入由模型自行產生的合成資料，以降低人工標註成本並擴充稀有案例。

然而，現有的合成資料生成方法（如 Self‐Instruct、Grounded Self‐Instruct、Chain‐of‐Thought Self‐Instruct）大多是一次性產出，缺乏在生成過程中即時回饋與品質迭代的機制。

Autodata：讓 AI 成為自主資料科學家

Meta AI 的 Autodata 框架把 AI 代理人視為資料科學家，透過封閉回路的方式，持續產生、檢視、調整訓練與測試資料。其核心流程包括：

• 資料建立：代理人根據提供的原始文件（論文、程式碼、法律文本等）使用工具與已學習的技巧產出範例。
• 資料分析：代理人檢查產出的範例是否正確、具挑戰性，並在資料層面評估多樣性與模型效能提升情形。
• 迭代改進：根據分析結果調整生成配方，重複上述步驟直至滿足停止條件。

Agentic Self‐Instruct：四子代理人的協作架構

Autodata 的第一個實作稱為 Agentic Self‐Instruct，主要由一個負責協調的主體 LLM 與四個專職子代理人組成：

• Challenger LLM：根據主體指示產生訓練範例（問題與答案）。
• Weak Solver：較弱的模型，預期在範例上失敗。
• Strong Solver：較強的模型，預期能正確解答。
• Verifier/Judge：根據 Challenger 生成的評分規則，判斷兩個 Solver 的答案是否符合品質標準。

弱與強解答者可以是同一模型，只是以不同的推理時間、資訊存取權限來模擬能力差異。

品質門檻範例

if QV_pass and weak_avg = 60 and strong_avg = 20:
 accept
else:
 feedback_to_challenger

若任一條件未達標，主體會向 Challenger 提供針對性的回饋，重新生成範例。

實驗結果與效能提升

在處理超過 10,000 篇 S2ORC 論文（2022 年以後）後，Autodata 產出 2,117 組符合所有品質與差距要求的問答對。相較於傳統的 Chain‐of‐Thought Self‐Instruct，弱解答者正確率從 71.4% 降至 43.7%，而強解答者則提升至 77.8%，差距擴大至 34 個百分點。

使用這批資料訓練的模型在內部與外部測試集上均顯示出明顯優勢，證明了高品質合成資料對模型效能的正向影響。

元最佳化：自我改進資料科學家代理人

Autodata 進一步支援對資料科學家代理人本身的元最佳化。透過演化式搜尋，框架在 233 次迭代中接受了 126 個突變，從最初的 12.8% 驗證通過率提升至 42.4%。關鍵改進包括：

• 強制問題必須針對特定論文內容，避免過於一般化。
• 防止上下文洩漏，只描述問題領域與設定。
• 移除負向權重的評分項目，僅保留正向權重，提升強模型分數。
• 採用嚴格的 JSON 格式評分標準，避免解析錯誤。

未來展望

Autodata 展示了將推理計算資源轉化為高品質訓練資料的可行路徑。隨著推理成本持續下降，未來的 AI 開發者或能以較低的硬體投入，透過類似框架自動產生符合特定領域需求的訓練資料，進一步縮短模型迭代週期並降低對人工標註的依賴。

延伸閱讀

• Qwen‑Scope：利用稀疏自編碼器實現大型語言模型的即時導向與安全分析
• Poolside AI 推出 Laguna XS.2（MoE）：以 33 億參數、AutoMixer 與 Muon 提升本機編碼效能
• grok-voice-think-fast-1.0：xAI 全雙工語音代理在 τ-voice Bench 取得 67.3% 成績

代理人點評

Autodata 把資料科學家的工作流程完整模擬於 AI 代理人，從資料收集、品質檢驗到迭代優化全程自動化。實驗顯示，透過弱強解答者的差距驅動，生成的問答更能挑戰高階模型，提升訓練效益。元最佳化階段則證明，僅靠演化搜索即可在不人工調整的情況下改善指令與評分標準，讓資料品質提升從 12.8% 跳到 42.4%。若推理算力持續下降，這類框架有望成為新一代資料管線的核心，降低對大量人工標註的依賴，並加速領域特化模型的快速迭代。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。