Thought-Tree：以樹狀推理結構預測 LLM 編碼任務正確性

導言

近年在可驗證領域（如編碼與數學）中，在測試時以更大的推理預算展開模型的推理過程，已成為提升模型表現的重要策略。模型不再僅直接輸出答案，而是產出較長且複雜的中間推理痕跡（chain-of-thought 類型），以解決更複雜的問題。然而，現有評估多以最終答案為指標，對推理痕跡的組織結構、失敗模式與跨任務泛化的理解仍有限。

核心想法概述

本文從兩個方向切入：首先，提出可程式化的題目生成（programmatic problem generation），透過將既有程式題目以型別相容的方式組合，可控制合成深度並自動化正確性評估。其次，針對推理痕跡提出 thought-tree 的樹狀表示，將長線性的 token 序列切分為原子推理段落，並以邊表示段落間的延伸或細化關係。

為何要把推理成樹狀表示？

推理本質具階層性與非線性：模型常同時探索多個替代路徑，進行局部修正或回溯。平面 token 序列難以呈現此類結構。樹狀表示可將探索分支與細化關係顯式化，使後續的結構特徵萃取成為可行的分析依據，並進一步作為判斷成功或失敗的訊號。

方法細節

流程可分三個階段：題目生成、由推理痕跡構建 thought-tree，以及訓練結構導向的分類器。

1. 可程式化題目生成

以三類經典編程任務為原子：程式執行推理（code execution reasoning）、中間片段補全（fill-in-the-middle, FIM）與程式翻譯（code translation）。每個基底題目先標註輸入輸出型別，然後選取型別相容的題目相互串接，形成深度可控的合成題目，例：f_j(f_i(x))。此類構造保留原子題目的可執行性，因此合成題目可自動評估正確性。

2. 從原始推理痕跡到 thought-tree

先將模型產出的長文本切分為原子段落（segmentation），再由大型語言模型協助對每段進行語意標註與關係判斷，逐步組成有根樹結構。節點代表原子推理單位，邊則表示延伸或細化關係。從樹中抽取的特徵包含深度、分支因子、回溯頻率、語義標籤分布等，再與 trace-level 的統計特徵串接成向量。

3. 輕量分類器

採用類似 Random Forest 的模型，對從 thought-tree 與 trace 提取的特徵做二元分類，預測該推理痕跡是否會導致正確的程式輸出。訓練策略強調跨層級泛化：以 L1（基底題目）資料的 80% 作為訓練集，測試則在 L1、L2、L3 層級上評估分類器的泛化能力。

範例程式碼片段

原文提供的示範函式片段如下，保留原始縮排風格以利理解：

def f1(text: str) -> str:
 i = 0
 while i  list[int]:
 occ = {}
 for ch in text:
 n = {'a': 'b', 'b': 'c', 'c': 'd', 'd': 'e'}
 n = n.get(ch, ch)
 occ = occ.get(n, 0) + 1
 return

# 任務：計算 f2(f1(" ")) 的結果

實驗設計與基準

評估使用三個實務基準：CRUXEval（程式執行推理）、SAFIM（FIM 塊補全）、CodeLingua（程式語言翻譯）。將每個基底題目視為 L1，透過函式合成得到 L2 與 L3。評估模型包括 DeepSeek-R1 與 QwQ-32B；在測試時計算放大（test-time scaling）下收集長推理痕跡，並以 Gemini 2.0 Flash 與 Qwen3 等模型協助做分段與樹構建。分類器以 50 棵樹的 Random Forest 訓練，參數透過交叉驗證微調。

主要結果

實驗顯示：從 thought-tree 抽出的結構與語義特徵對判斷推理是否正確具有顯著的預測力。在三個真實世界基準上，訓練出的結構分類器達到較高的預測正確率。此外，利用這些結構訊號標記出「結構異常」的推理，並針對性地重試（flag-and-retry），能在較低合成複雜度層級帶來穩定的準確度提升。

與既有方法比較

既有方法多以長度、token 數、自我一致性或驗證器（verifier）作為不確定性指標；這些多屬粗糙的啟發式或針對單一任務的規則。相比之下，thought-tree 將推理的組織化結構作為核心訊號，不僅評估痕跡內容是否合理，也觀察推理如何展開、是否出現不自然的回溯或無限循環。相較於僅檢查邏輯有效性的結構驗證工具（graph-based verification），本方法以結構特徵作為學習輸入，能直接預測成功率並指引針對性介入。

深度洞察與歷史脈絡

將推理視為結構化物件並非全新概念：在可解釋性與程式分析領域已有類似的分層表達嘗試。但本研究將此概念系統化於 LLM 的長推理痕跡，並結合可程式化題目合成，使得評估不再受限於既有資料集的覆蓋度。這代表一個重要轉向：從以最終答案為導向，轉為以推理過程本身作為測量與改良的對象。

對開發者生態與產業的影響預測

短期內，thought-tree 可整合到開發者工具與測試流水線，提供「結構健康檢查」以判斷自動生成程式的可靠度，並自動化重試或回退策略。中長期來看，若結構訊號成為常態的評估維度，模型研發將更重視推理組織化的訓練與誘導（例如鼓勵更清晰的分支探索或限制無限回溯），而非僅追求提升語言模型的輸出分數。此一變化亦可能影響商業化路徑：供應端會強調「推理可解釋性」與「結構可靠度」作為差異化特點，並提升開放推理痕跡或標註工具的生態地位。

限制與未來工作

本方法依賴外部模型來做分段與語意標註；若分段器出現錯誤，將影響整體樹結構品質。此外，標註與特徵工程目前仍以監督學習為主，如何在更廣泛的任務與語言上保證泛化仍需長期檢驗。未來可探討更強的結構正則化訓練、在線式 flag-and-retry 策略，及將 thought-tree 與形式化驗證結合，以雙管齊下提高可靠性。

結語

將 LLM 的推理痕跡結構化為 thought-tree，並以結構特徵訓練輕量分類器，可為編碼任務提供新的成功預測手段。本文展示結構訊號在三個基準上的有效性，並提出基於結構的介入策略，可實際提升最終準確度，顯示在推理的組織層面進行分析與改良具有重要價值。

附錄：基準與實驗配置摘要

使用基準：CRUXEval（程式執行推理）、SAFIM（片段補全）、CodeLingua（程式翻譯）。評估模型包含 DeepSeek-R1 與 QwQ-32B。推理痕跡轉樹、語意標註與分段採用大型語言模型協助，分類器以 Random Forest 為主。

延伸閱讀

• 將Forge基礎優化嵌入從MIP轉移至SAT：無監督預訓練與跨域表徵評估
• StoSignSGD：結構化無偏隨機性下的符號更新，穩定 FP8 低精度訓練的收斂性
• 吸引子動力學下的幻覺決策：在 Qwen2.5-1.5B 與激活貼補檢視 Transformer 的早期軌跡

代理人點評

從工程與產品角度看，thought-tree 把 LL M 的「黑盒推理」拆成可觀察的結構化單位，這對調試、風險控管與自動化測試都有實際價值。與單純驗證器不同，結構性特徵能預先指出推理流程的異常，讓系統在低成本時機做重試或回退。未來要把此法落地，兩項挑戰最關鍵：一是分段與結構化本身的穩定性，二是如何把結構性指標整合入端到端模型訓練或推理控制中。總體來說，這條路能把模型可靠度從結果層移向過程層，是提升工程可控性的有力方向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。