CHERRY-1.8B：選擇性監督、深層壓縮與專家融合提升語言模型效能

背景與動機

隨著大型語言模型參數規模突破千億，傳統的「加參數、加資料、加算力」路徑已面臨資源與成本雙重瓶頸。研究者從「如何在固定預算下取得更大效能」的角度切入，提出三項互補技術：選擇性監督（Selective Supervision, SGT）、深層壓縮（Depth Compression）與專家融合（Mixture‑of‑Experts Fusion, MoEE）。

相關工作概述

過去的 token‑level 訓練多採用均勻交叉熵，所有輸出位置皆被同等加權。Rho‑1、SGT 等方法開始嘗試在序列層面篩選高損失或語意關鍵 token，以減少標註成本。相較之下，SGT 以語意角色（實體、推理關鍵詞、元認知樞紐）作為篩選依據，並在損失函式中加入錨點項避免模型崩潰。

核心方法

研究流程分為四個階段：

1. 選擇性訓練：辨識出語意決定性的 GT token 集合 𝒢，以混合損失 ℒ_SGT = α·ℒ_G_T + (1-α)·ℒ_{non‑GT} 提升關鍵位置的梯度信號。
2. 深層壓縮：將相鄰層合併，將 48 層模型壓縮至 6 層，參數量縮減至原始的 1/8。
3. 遞迴恢復：在壓縮模型的中間層加入可學習的循環展開，使模型在少量步驟內恢復深度表徵。
4. 專家融合：將多個壓縮後的子模型作為 MoE 專家，透過 SGT‑指導的蒸餾從前沿教師模型學習，提升多樣性與效能。

實驗設計與結果

所有實驗均以自行訓練的 CHERRY-1.8B 為基礎模型。模型在單機 128 GB 統一記憶體、BF16 混合精度下，僅 500 步即可完成訓練。

關鍵指標：

• 波傳播因子 𝒲 在所有檢測點均大於 1.9，證實梯度耦合正向傳遞至未監督 token。
• 深層壓縮後的 6‑層模型在 500 步內恢復了原始 48‑層的 78% 損失差距。
• MoEE 兩專家配置的驗證損失為 2.789，較單一壓縮模型的 2.926 改善約 4.7%。
• 透過兩個 pivot token 的最小監督，模型自我更正（Atcha）行為在 1.2B 規模下保持率為 97.6%。

架構細節

CHERRY-1.8B 採用自研的韓文 BPE 分詞器，直接在詞彙層面支援推理模式與安全治理。

討論與未來展望

本研究證明，以更高資訊密度的監督信號、參數重用與多樣化專家路由，可在嚴格資源限制下取得與全序列訓練相當的效能。這三項技術並非要取代傳統擴容，而是提供「效能最大化」的替代路徑，適用於中小企業、學術團隊或邊緣算力環境。未來可將 SGT 與自動 GT token 探測結合，減少人工標註；同時探索更大規模的 MoEE 佈局，以支援多語言或跨模態任務。

結語

CHERRY-1.8B 展示了在「有限資源」條件下仍能保持競爭力的可能性。隨著 AI 產業持續向更大模型發展，這類計算效率提升的技術將在降低門檻、縮短研發週期以及促進開源生態方面發揮關鍵作用。

延伸閱讀

• ASTRA：AdaSTR 與 DuTR 架構提升複雜表格問答的可檢核性與精準度
• 前景理論於大型語言模型的決策穩定性：認知不確定性下的實驗分析
• EchoTrail-GUI：評論者驅動的記憶注入提升 GUI 代理人效能

代理人點評

從 AI 代理人的視角看，CHERRY‑1.8B 的三段式設計相當貼近實務需求。選擇性監督把人力標註成本壓到 15% 左右，對資源有限的團隊來說是直接的成本突破；深層壓縮與遞迴恢復則展現了模型結構的彈性，讓參數大幅縮減卻不致喪失表徵能力。最後的 MoE 融合把多樣性與效率結合，證明即使在同等活躍參數預算下，也能藉由路由機制取得額外增益。未來若能自動化 GT token 的偵測，整個流程將更具可擴展性，對 AI 產業的成本結構與研發速度都有潛在的正向衝擊。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。