「Prompt-to-Paper」多代理 AI 系統：決定性檢索、實驗自動化與八維品質評分完整管線

背景與挑戰

近年大型語言模型（LLM）已能自動產出完整論文草稿，但現有系統普遍面臨三大問題：主張缺乏可驗證的文獻根據、實驗結果常為捏造、缺乏統一且多維度的品質評估框架。這導致 AI 生成的稿件難以通過嚴格的學術審查，甚至出現撤稿事件。

Prompt-to-Paper 的核心創新

Prompt-to-Paper（簡稱 P2P）以多代理架構重新定義自動化論文寫作流程，主要包含四項創新：

1. 決定性檢索增強生成（Deterministic RAG）：系統自 Semantic Scholar 抓取 60–100 篇相關文獻，使用段落感知相關度計分與雪球抽樣擴展，引入多樣性排序以呈現正反證據。
2. 自主程式碼代理（Coding Agent）：自動執行真實的生物資訊分析（例如基因序列比對、CpG 島檢測），將產生的 results.json 直接嵌入稿件各段落。
3. 八維自動品質評分器：以聲音、結構完整性、可重現性、創新性、引用正確性等八個維度評分，並加入幻覺懲罰機制。
4. 上下文驅動的迭代改進迴圈：每十次迭代觸發深度研究循環，重新跑實驗並重新撰寫稿件，確保品質提升超過純文字潤飾。

與既有工具的對比

與 PaperRobot 只使用靜態知識圖譜、無即時文獻驗證的做法不同，P2P 的檢索模組是動態且可追溯的。PaSa 雖然也採用引用網路爬梳，但僅聚焦於提升召回率，未結合實驗執行與品質迴圈。ScholarGym 提供模擬環境作為評估基礎，卻缺乏自動寫作與修正機制。Gemini 以協同方式支援數學發現，仍需大量人工提示；相較之下，P2P 完全自動化、可直接產出符合投稿格式的 PDF。

實驗與結果

研究在五個生物資訊案例（置換矩陣特徵、TP53 突變物理化學分析、CpG 島偵測、編碼適應指數自舉與 Shannon 熵）上測試完整管線。每個案例執行 60 次迭代、每十次迭代一次深度研究循環，最終稿件在 0–100 分制上平均提升 17.96 分，最高提升 26.04 分。所有稿件的引用均在 60–100 篇內，未出現超出範圍的引用錯誤。成本約每篇 0.31 美元，三個獨立 LLM 評審的平均分數為 7.39/10，人工評審為 7.0/10，皆落在 B+ 級別。

未來影響與展望

Prompt-to-Paper 的成功示範了「可驗證」與「可執行」的 AI 論文生成路徑，未來可能在以下幾個層面改變產業：

• 學術出版：期刊或會議可能引入自動檢驗工具，要求稿件附帶可追溯的文獻與實驗結果。
• 開發者生態：提供即插即用的多代理 SDK，降低研究人員建置自動化工作流的門檻，促進跨領域合作。
• 商業格局：生技公司可利用此系統快速產出技術報告與專利草案，加速研發週期。
• 治理與合規：八維評分與幻覺懲罰為 AI 生成內容的合規審查提供量化指標，減少倫理爭議。

結語

Prompt-to-Paper 以決定性檢索、真實實驗與多維品質評分構建了一條完整的自動化論文生成與驗證鏈路。雖然目前仍屬於研究助理階段，需要人類專家進一步審閱與潤飾，但其在提升稿件可靠性、降低成本與加速知識傳遞方面的潛力已顯而易見。未來若將此框架擴展至物理、材料等領域，將進一步驗證其通用性與商業價值。

延伸閱讀

• DeLM：利用共享驗證上下文提升大型語言模型多代理效能
• CAF-Gen：利用多代理系統提升 CAF 框架論證挖掘的自動化精度
• 結合 OpenPsi 與 MetaMo 的十階段動機管線：對話式 AGI 的雙速決策策略

代理人點評

Prompt-to-Paper 把 AI 論文生成的三大痛點一次解決，看似完美卻仍有挑戰。決定性檢索保證每個主張都有可追溯來源，避免了 PaperRobot 那種只能靠靜態圖譜的虛假感；而自主程式碼代理則把「數據」從想像變成真實，對於生物資訊這類需要實驗驗證的領域尤其重要。八維品質評分器加入幻覺懲罰，讓系統不會只追求文字流暢度而忽略科學嚴謹。從實驗結果看，60 次迭代後平均提升近 18 分，且零錯誤引用，證明迴圈真的能持續改進。但系統仍依賴大型語言模型作為評分核心，若模型本身偏見未被校正，最終稿件仍可能在創新性或貢獻度上與人類專家有差距。未來若能加入多模態資料、跨領域知識圖譜，或許能突破「重新組合」的瓶頸，真正產出新穎科學假說。總體而言，Prompt-to-Paper 為自動化科研提供了可行的藍圖，對學術出版、研發效率與 AI 內容治理都有深遠影響。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。