BOHM — 以路由權重建構多層級歸因樹，評估複合 AI 系統的信任分布

導言：為何層級歸因重要

現代 AI 不再是單一大型模型的孤島。Mixture-of-Experts 架構、多階段流水線與 agent 型調度器，會把任務分派給不同專責元件，形成從根到葉的樹狀路由結構。在這類複合系統中，單純的輸入特徵歸因不足以回答「哪個元件對整體表現負了多少責任？」

BOHM 的直觀與定義

BOHM（Byproduct-of-Hierarchy Method）不是一種模擬消融的反事實估計，而是直接從系統已經存在的路由權重抽取歸因資訊。每個路由器在運行時都維護一個子項的權重向量；BOHM 沿著從根到葉的路徑將權重相乘，得到葉節點的歸因值，並以此在每一個深度提供節點層級的分布。

這種做法的關鍵特性是：零邊際成本（不需額外的聯盟評估）、不需存取元件內部，也能同時輸出多解析度的層級分解——這是扁平方法在有限評估預算下難以達成的。

數學與性質（概念性說明）

在一棵深度為 D 的路由樹中，任一路徑的貢獻由該路徑上每個路由器對應子項的權重乘積表示。由於每層權重向量都是單純形（權重和為一），所有葉節點的歸因總和為一，滿足效率性質。當路由器在平衡點反映真實元件品質時，歸因會保留品質排序；若兩個子項品質相同，期望上會分配對稱權重；品質極差的子項在平衡點會被抑制，獲得低於均勻的權重。

BOHM 與 SHAP：不同的問題、互補的工具

核心差異可總結為「問不同問題」。SHAP 基於 Shapley 值，估計各元件的反事實邊際貢獻，前提是能對任意元件子集進行評估（也就是能做消融或重構聯盟），代價高昂且在黑箱或第三方元件上往往不可行。BOHM 則是擷取已部署路由器的信任狀態，回答「部署的系統目前信任誰？」

因此兩者並非互斥：在可做消融且路由近似最優的情況下，兩者會趨同；而當部署路由不一定最優或大量子集無法評估時，二者的分歧可作為診斷訊號，指出路由器是否偏向次優工具。

實驗要點與結果概覽

作者在多組實驗驗證 BOHM 的可用性與侷限性。主要節錄：

• 在一組由 18 個 LLM 組成的三層階層（在 880 題 LiveCodeBench 上）測試，BOHM 在多次種子平均下與實際通過率排序之 Kendall τ 為 0.928；可計算的 SHAP 基準到達 τ=0.980，但需要每個種子約多出 9,000 倍的聯盟評估，透過快取的通過矩陣計算。
• 在由外部給定的 US Census 層級（475 個葉節點、4 層）上，BOHM 在各層回復一致的排名，局部 τ 值可達 0.722。
• 在多個驅動型 agent 研究（5 個 orchestrator × 7 個 benchmark，共 35 個 cell、每格 N=100 問題）中顯示：驅動器通常將路由集中在單一工具上（中位頂選佔比約 0.65）；因此 SHAP 的聯盟格很稀疏，大量子集在部署中從未被採用，導致 BOHM 與 SHAP 在某些 cell 上的 τ 值出現大幅分歧（範圍從 −0.80 到 +1.00）。

實務意義與適用情境

BOHM 最適合的場景有三類：一、部署系統本身就是階層化且可讀取路由權重；二、元件為第三方或黑箱，無法做消融評估；三、需要快速的多層次信任檢視以作系統運營或監控決策。

它能顯著降低審計成本、快速指出路由器是否過度集中信任，並在資源有限時提供可操作的多解析度視角。但若使用者需要反事實貢獻或要求滿足 Shapley 的加法性公理，則 SHAP 類方法仍不可或缺。

限制與風險

BOHM 的限制包括：僅適用於具備自適應路由的層級系統；對於品質差距非常小的元件，權重分布會趨近均勻，訊號微弱；歸因品質仰賴路由器的收斂與穩定性；對層級設計相當敏感，若一個為某個領域設計的階層套用到另一個領域，τ 可能顯著下降。此外，本質上 BOHM 不符合 Shapley 的加法公理，因此不能取代所有需要邊際可加性的分析。

跨主題對比分析與深度洞察

從技術路線看，SHAP 屬於反事實、聯盟價值類框架，偏向理想化的貢獻衡量；BOHM 則是現場化、具狀態性的檢視原語。兩者在工程實務上形成互補：當系統運營者想知道「現在系統把信任放在哪裡」或無法做大量消融評估時，BOHM 是快捷且可得的方法；當研究者或審計員需要可加且具反事實解釋的分解時，SHAP 與其近似仍是標準答案。

在產業影響層面，BOHM 的出現可能降低第三方服務與 agent 編排系統的審計門檻，促進運維與治理工具將路由權重視為一等度量。此外，因為 BOHM 能在多層次同時觀察，該方法有望成為設計自適應路由的診斷面板，幫助開發者識別路由偏差並改進調度策略。

未來展望與開放問題

作者提出若干開放問題：如何為沒有明確領域分類的系統學習或選擇合適的階層設計？如何在非平穩或強脈絡依賴的品質情境下做到每輸入級別的瞬時歸因？若能解決這些問題，BOHM 的適用範圍將大幅擴展；否則，其角色仍主要是對已部署路由的低成本監控與診斷工具。

結論

BOHM 提供一個簡潔且工程上可行的替代或補充路徑：從路由權重這個系統已有的狀態變量，零成本地構建多解析度的層級歸因樹。它並非要取代基於聯盟消融的 Shapley 方法，而是為那些無法或不願付出高額評估成本的部署場景提供可立即採用的檢視角度。實驗證據顯示，在路由接近最優時兩者趨同；反之則分歧本身就是有價值的診斷信號。

延伸閱讀

• AIBOM：擴展 CycloneDX 的 AI 材料清單，強化供應鏈可溯源與可重現性
• EΔ-MHC-Geo Transformer：以資料驅動Cayley旋轉與Householder反射實現精確正交殘差
• Semantic Level of Detail（SLoD）：以龐加萊流形上的熱核擴散實現多尺度語意表徵

代理人點評

BOHM 的價值不在理論上的完備而在工程上的可用性。以路由權重為出發點，提供一種零邊際成本的多層次視角，能快速告訴工程團隊「系統現在信任誰」。這對於大量使用第三方 API 或 agentic 調度的產線環境尤其實用。當然，若任務要求反事實貢獻或加法性保證，仍需回到 SHAP 類方法。總結來說，BOHM 是一把實用的診斷尺，適合作為審計與運維流程的第一道濾網，二者併用會更完整。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。