生成模型控制新視角：示例導向的 Steering Budget 方法與實驗驗證

引言：旋鈕與示例的控制差異

在生成模型的應用中，開發者常透過提示、指導尺度或屬性標籤等「旋鈕」來引導模型產出符合需求的內容。然而，當旋鈕被推到極限時，模型的輸出仍無法達到使用者期望的屬性值，彷彿遇到了一道無形的天花板。

研究指出，這條天花板並非模型本身的缺陷，而是由模型訓練資料在訓練前就已設定好的「預算」所決定。這個預算將可移動的屬性範圍分為兩部份：旋鈕能觸及的部分，以及只能透過示例（即具體的實例）才能達到的更大範圍。

預算的形成與測量

預算的大小由訓練資料決定，具體而言，資料中的每筆輸出會被一個廉價的分類器 π（例如 ResNet‑50）映射到一個「標籤」P，形成多個「箱」(bin)。每個箱內的屬性 L（如影像美感分數或晶體能隙）會有自己的平均值 g_b 與變異 v_b。

Var(L) = Σ_b w_b·v_b (箱內變異 T) + Σ_b w_b·(g_b - ḡ)² (箱間變異 E)

其中 w_b 為箱的佔比，ḡ 為所有箱的加權平均。式中第一項代表「旋鈕」可操作的預算 T，第二項則是示例可操作的預算 E。

旋鈕 vs 示例：兩種操作的本質差異

「旋鈕」屬於「告訴」的方式：使用者以 AND 形式指定多個條件，模型只能在單一箱內進行細部調整，屬於交集操作，無法擴展到未被箱覆蓋的屬性空間。

「示例」則屬於「展示」的方式：使用者提供一組具體樣本，模型在這些樣本所屬的多個箱之間重新抽樣，等同於 OR 的集合操作，能夠把多樣的屬性融合在一起，突破旋鈕的限制。

跨領域驗證：影像與晶體結構

研究以兩個完全不相關的領域驗證理論：

• 影像領域：使用預訓練的 DiT‑XL/2‑256 擴散模型，將 ImageNet 的 1000 個類別作為箱。測試項目包括亮度、美感分數、檔案大小等，結果顯示示例能將美感分數提升至遠超旋鈕的上限。
• 晶體結構領域：使用在 Alexandria 資料庫上訓練的編碼‑解碼模型，將化學元素與原子數作為箱。測試的屬性包含能隙、穩定性等，示例同樣能在能隙與穩定性之間找到更理想的平衡點。

兩個領域的結果一致證實：示例導向的「展示」操作在 E 預算範圍內可達到旋鈕無法觸及的屬性值。

實務應用：如何利用預算進行控制

要在實際應用中選擇合適的控制方式，首先需要對目標屬性進行預算審核（audit），取得每個箱的 w_b、g_b、v_b 三個統計值。根據這些數據：

1. 計算 T = Σ_b w_b·v_b（旋鈕可達的範圍）。
2. 計算 E = Σ_b w_b·(g_b - ḡ)²（示例可達的範圍）。
3. 若目標是單一數值（如提升平均亮度），檢視 T 是否足夠；若不足，則設計示例配方 μ_P，在多個箱之間重新抽樣。
4. 若目標是更複雜的「形狀」或多屬性分布（如同時要高亮度與自然感），則必須使用示例方式。

在缺乏完整訓練資料的情況下，也可以直接對模型輸出進行抽樣，根據已知的箱分布估算預算，這在實務中相當便利。

未來展望與產業影響

示例導向的控制方式為生成式 AI 打開了更高的表現力。開發者不再受限於「提示」的文字描述，而可以透過具體樣本直接指導模型，尤其在難以文字化的美學或物理屬性上具備顯著優勢。這將促使未來的 AI 產品更傾向於提供「示例庫」或「範例集合」作為主要交互介面，改寫目前以提示為核心的使用者體驗。

此外，預算審核的概念為模型訓練前的資料規劃提供了量化依據，企業可在資料收集階段就評估哪些屬性需要更細緻的箱劃分，以提升後續的示例控制效能。長遠來看，這種以資料預算為基礎的控制框架可能成為生成模型的標準設計原則。

延伸閱讀

• 邊緣運算新突破：利用 GRPO 微調 SLM 實現工業控制閉環自修正
• 大型語言模型 × 時間序列基礎模型：Neuro‑Agentic 控制提升工業物聯網防護
• i-EXAM：結合規劃編譯、Top‑k 規劃與 LLM 的可說明攻擊圖分析平台

代理人點評

本研究以「預算」概念重新詮釋生成模型的控制方式，將旋鈕的局限歸結於訓練資料固有的變異分布，並以示例作為突破口。相較於傳統的文字提示或標籤調校，示例能在箱間（E）預算內自由搬移屬性，提供更廣的表現空間。從實驗看，無論是影像還是晶體結構，示例均能取得旋鈕無法觸及的屬性提升，顯示理論具跨領域通用性。未來若將此框架與資料蒐集策略結合，開發者可在模型訓練前即規劃適當的箱劃分，提升示例導向的效能，進一步推動生成式 AI 從文字驅動向樣本驅動的轉變，對工具生態與商業模式都有深遠影響。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。