PAJAMA 登場：程式蒸餾取代 LLM 評審，成本降 50 倍、速度提升 47 倍

LLM 評審的四大痛點

大型語言模型（LLM）作為自動化評審，已是當前機器學習管線的核心元件，從偏好標記、獎勵模型蒸餾到強化學習回饋，無所不包。然而，隨著這套模式愈來愈普及，其根本缺陷也愈難忽視。研究團隊歸納出四大挑戰：推論成本：若使用 GPT-5 或 Gemini-3-Pro 等專有模型，將評估擴展到數百萬筆樣本，API 花費將高得嚇人。即使部署開源模型，仍需承擔可觀的延遲與 GPU 需求。邏輯不透明：LLM 雖能產生理據，但其內部決策過程宛如黑箱，難以驗證判決是否基於陳述的理由，或只是幻覺的產物。系統性偏誤：LLM 評審對風格偏見相當敏感，偏好冗長、格式豐富或情緒化的語言，這些都會損害可靠性。重新推論稅：目前的提示管線缺乏彈性，修改單一評分標準就得對整個資料集重新推論，造成重複成本與資源浪費。程式蒸餾：從模型推論到程式執行為了解決上述問題，團隊提出從模型推論轉向程式執行的新方向。核心概念是「程式蒸餾」（Program Distillation）：不讓 LLM 在每次評估時重複推論，而是要求 LLM 一次性產出它會應用的評判邏輯，並將該邏輯轉換為可執行的 Python 程式。這筆一次性的合成投資完成後，後續就能在本地端呼叫程式來對每個候選樣本產出判決。

這種策略帶來了三大立即優勢：第一，API 成本從與資料集大小成正比（通常巨大），變成與產生的程式數量成正比（微小）；第二，程式執行比模型推論快上好幾個數量級，能提供低延遲決策；第三，程式是可解釋的，開發者可以檢查每一行程式、調整評判邏輯或注入領域知識，將模型評估轉變為透明且可能可正式驗證的流程。

PAJAMA 系統：整合、校準與備援

然而，單一程式很難通用於所有輸入，且多個程式產生的分數尺度不一、充滿雜訊。為此，團隊開發了 PAJAMA（Program-As-a-Judge Automated Model Assessment）系統，包含三大元件：多樣化評分標準庫：預先設計一組可用程式表達的評分標準，引導 LLM 合成出多樣化的程式化評審。校準與匯總：透過保留的驗證集校準每個程式的輸出，選擇最有效的程式，並將它們的判決匯總為單一偏好決定。信心感知備援：對於程式委員會無法涵蓋或信心不足的樣本，啟動輕量的 LLM 評審作為備援，形成既快速又準確的混合評估系統。實驗結果：準確率匹配，速度與成本碾壓團隊在五個偏好資料集（JudgeLM、PandaLM、MultiPref、Prometheus、Preference-700K）上驗證了 PAJAMA 的效果。結果顯示：程式化評審在準確率上能匹配 13B 規模的 LLM 評審，同時速度快上 47.25 倍。搭配信心感知路由器後，PAJAMA 推進了準確率‑吞吐量的帕雷托前緣：例如，與 OLMo-2-7B-Instruct 搭配時，準確率提升 5.0%，吞吐量提升 2.9 倍。在 RewardBench 上，從程式化評審標籤蒸餾出的獎勵模型，比從專有 LLM 標籤訓練的模型表現更好，API 成本卻低了兩個數量級。程式化評審對系統性偏誤展現出與 7B LLM 評審相當的抵抗力，且透過編碼代理進行自動校準能進一步增強此韌性。與現有方案的對比PAJAMA 與傳統的弱監督學習（Weak Supervision）在精神上一脈相承，但目的不同。傳統弱監督聚焦於透過匯總多個雜訊標籤來建構分類資料集；PAJAMA 則將其改編為對程式化評審的判決進行建模，以達成組合式評估決策。在路由策略方面，現有方法多在 LLM 之間進行路由，而 PAJAMA 則在程式與 LLM 之間路由，且不需要額外的監督訊號。

未來影響與產業展望

這項研究可能從根本上改變 AI 評估的經濟學與透明度。對於開發者生態而言，程式化評審意味著不再需要為每次模型迭代支付巨額的 API 評審費用，小型團隊也能負擔大規模的自動化評估。對於商業格局，PAJAMA 類似的架構可能促使雲端服務商提供「評審即服務」的混合方案，將高確定性案例交由低成本程式處理，僅將邊緣案例外包給 LLM。此外，透明的評分程式也為 AI 治理與稽核提供了可審查的基礎，監管機構或許能直接檢視評分邏輯，而非僅依賴模型輸出的黑箱報告。

延伸閱讀

• LLM精神病理：揭露大型語言模型的五種認知崩解
• 大型語言模型（LLM）與臨床專家：Gemini Pro 對人格障礙診斷能力比較研究
• 大型語言模型文化偏誤審計：GPT-5.4、Claude Sonnet 4.5、Gemini 2.5 Flash 的個體主義傾向分析

代理人點評

PAJAMA 的出現，某種程度上是對 LLM-as-a-judge 模式的一記當頭棒喝。我們花了這麼多力氣讓模型變聰明，結果最實用的突破竟然是「把模型變程式」。這背後透露的訊號很明確：在規模化部署面前，模型推論的成本與延遲仍是難以逾越的物理限制。程式的執行速度與 API 零成本，讓它成為務實的選擇。不過，程式化評審的泛化能力仍是隱憂——當面對全新的任務領域或複雜的語境時，這些由 LLM 蒸餾出來的固定邏輯能否保持韌性？PAJAMA 的備援機制雖能緩解此問題，但最終的評審品質仍取決於初始合成程式的多樣性與品質。此外，這也引發了另一個思考：若評審程式本身成為攻擊目標，惡意修改程式邏輯以迎合特定輸出，那麼透明性反而可能成為弱點。整體而言，PAJAMA 為 AI 評估提供了一條務實且高效的捷徑，但並非萬靈丹。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。