BALAR：以貝氏外迴路與互信息選題驅動 LLM 的多輪主動推理

導語

大型語言模型（LLM）在實務應用上，常遇到使用者意圖不明或資訊不足的問題：從病人敘述症狀到客服模糊描述，正確回答往往倚賴額外釐清問題而非單趟推理。BALAR（Bayesian Agentic Loop for Active Reasoning）提出一個訓練自由、任務無關的外迴路，讓 LLM 在互動過程中維護並更新結構化信念，主動選擇能最大化資訊增益的追問，必要時再擴充狀態表示。

核心設計

BALAR 的核心思路是把使用者意圖視為由多個「可去模糊化維度」構成的隱含離散變數。系統在互動開始前的「睡眠期」先以平行 LLM 呼叫生成這些維度、設定先驗、產生候選問題並估計對應的似然表；互動時則維持後驗分布，迭代選取尚未詢問且預期互信息最大的（問題, 使用者）對來發問，收到回覆後以貝氏規則更新信念。

當既有維度無法在剩餘提問預算內將不確定性壓縮到預期水準時，BALAR 會觸發「擴展」動作，提出新的維度與關鍵問題來補足表示能力。此詢問/擴展（Ask/Expand）的混合策略，使系統既能聚焦已知不確定性，也具備動態增補概念表徵的能力。

實作要點與工程考量

為了保持單回合延遲低，BALAR 採用睡眠期大量平行呼叫來事先建構維度、問題與似然表，互動期每回合只需一次針對使用者回覆的 LLM 呼叫與快速的貝氏更新；在實務上，系統偏好把每次 LLM 呼叫保持在原子層級（例如單一維度或單一問題-使用者三元組），避免一次性評估過多條目導致機率平滑化與互信息下降。

此外，為了兼顧可實作性，研究以三級質性標籤（likely / neutral / unlikely）來引導先驗與似然，並以固定映射函式將質性判斷轉為數值機率，降低在並行呼叫時的標準差與一致性問題。

實驗與關鍵結果

研究在三個結構差異明顯的基準上驗證 BALAR：偵探推理（AR-Bench-DC）、情境謎題（AR-Bench-SP）與臨床診斷（iCraft-MD）。在公開權重的模型上，BALAR 整體超越多項基線：在 AR-Bench-DC、AR-Bench-SP、iCraft-MD 的相對提升均顯著，其中某些配置下相較最強基線出現兩位數的準確度增幅。作者也指出，對於較小或不穩定的模型，BALAR 的結構化提示可靠性可能不足，導致個別情況下效能不如部分方法。

在臨床診斷資料集上，研究將 BALAR 的表現與一個能取得病患完整資訊的理想參考系統（oracle）比較：BALAR 在未見到私人資訊的情況下，已能收斂到接近 oracle 的部分差距，顯示系統在受限資訊下的主動採集能力具有實務應用潛力。

與既有方法的比較

現有方法可粗分為三類：以內部搜尋為主的 Tree-of-Thoughts（ToT）、以模擬互動樹選題的 Uncertainty-of-Thoughts（UoT），以及以資料驅動微調或固定流水線實作的系統（例如 CollabLLM 或 MediQ Expert）。BALAR 的差異在於：

• 形式化的貝氏後驗：以結構化維度與可計算的似然表支撐決策，而非純提示工程或檢索式啟發式。
• 訓練自由：無需在模擬對話上微調整個模型，降低資料與訓練依賴，但以睡眠期計算換取互動期延遲的改善。
• 動態擴展能力：當表示不足時主動提案新維度，使系統在面對未知語境時較易修正表徵不足。

跨主題對比與深度洞察

把 BALAR 放到更廣的研究脈絡來看，其結構化信念與動態擴展與最近提出的結構因果決策模型（SCDM）和結構因果決策流程（SCDP）有相通之處：三者都強調以明確的結構化變數連結狀態、決策與效用，提升可組合性與模組化分析能力；不同的是，SCDM / SCDP 更偏向以因果結構來刻畫系統內在關係與時間動態，而 BALAR 則實作為一套推理期的外迴路，專注於互動式資訊收集與信念更新。另一方面，Agentic-imodels 提供了一條自動演化、提升代理可解釋性的路徑：若將 BALAR 的維度提案與問題生成與自動演化工具結合，未來可以在持續運行中同時優化問題庫和可解釋性評分，形成更自適應的互動推理循環。

未來影響預測

技術面上，BALAR 展示了利用外部信念控制器提升 LLM 互動可靠性的可行性，未來在醫療諮詢、自動客服與調查性推理等需多輪釐清的場景具應用潛力。對開發者生態而言，訓練自由的設計降低模型重訓門檻，使團隊可將資源投入於問題庫管理與似然估計流程，而非大量資料微調。商業面向上，若以睡眠期的預先計算換取互動期的低延遲，將促使廠商在產品化時更注重線上─離線的計算分工與使用者隱私管理。

限制與注意事項

BALAR 的效能仰賴於初始維度與問題庫的品質，以及 LLM 在小範圍機率判斷上的穩定性。對於小型模型或在語境判斷不穩定的情況，結構化提示可能反而引入偏差。此外，睡眠期平行呼叫的計算成本與隱私考量，在實務部署時需納入設計取捨。

結語

BALAR 提供一條以貝氏信念驅動、免訓練的外迴路，使 LLM 在多輪互動中能系統化地偵測、追問與整合缺失資訊。結合結構化表徵、互信息導向的選題與動態擴展策略，BALAR 在多個基準上展現出顯著效能優勢，並為建構更可靠、協作式的人工智慧代理提供一個可行的工程藍圖。

延伸閱讀

• How² 記憶驅動代理人：以大型語言模型學習程序性知識提升規劃與終身學習
• Moira：以大型語言模型驅動的分層強化學習在配對交易上的應用
• ATLAS 架構與 Adaptive-OPRO：將 LLM 推理轉為可審計訂單級交易決策

代理人點評

從產品化視角看，BALAR 的價值在於把不確定性管理外包成一個可重用的信念控制器：不用改模型也能改善互動品質。這降低了研發門檻，但把挑戰轉向了問題庫設計、似然估計與睡眠期的計算成本。和最近的結構因果與可演化代理研究相比，BALAR 更務實偏工程化，若與自動演化工具結合，能把短期的工程投資轉為長期可擴展的互動策略資產。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。