ExMolRL：表型預訓練與多目標強化學習驅動的分子生成框架

在以人工智慧輔助的新藥發現領域，如何同時兼顧分子的目標專一性與在細胞層級的表型效果，是一項長期挑戰。傳統目標導向方法仰賴目標蛋白的結構資訊來設計高度結合的小分子，但常忽略整體細胞反應；表型導向策略則以細胞表現型為核心，能捕捉系統層級的效果，卻受限於實驗成本與資料稀疏性。ExMolRL 的提出，嘗試在這兩者之間建立橋樑，透過表型與結構雙重訊號驅動去創生新分子。

方法概述：表型預訓練結合強化學習微調

ExMolRL 由兩大模組組成：一個表型導向的生成器與一個多目標強化學習微調器。生成器先以藥物誘導的轉錄譜資料進行預訓練，學習表型與分子結構之間的關聯，於強化學習階段當作先驗模型（prior）來約束策略，使生成分子在保有表型一致性的同時，不偏離已學得的化學語言。微調時的獎勵函數採多重目標設計，核心包含以分子對接得到的親和力分數與定量藥物相似性指標（QED-like）為主，並輔以排序損失、先驗相似度正則化以及熵最大化來抑制獎勵濫用、維持分子多樣性與生成穩定性。

表型資料與生成器架構

生成器採雙通道變分自編碼器（dual-VAE）設計：一側（ExpVAE）負責編碼藥物誘導的基因表現譜，另一側（MolVAE）以 GRU 為骨幹處理 SMILES 序列。研究團隊先在大規模 SMILES 集上預訓練 MolVAE，接著以 L1000 之類的藥物誘導轉錄譜資料進行聯合訓練，使 latent 空間同時涵蓋表型與化學結構資訊。訓練完成後，保留表型編碼器與分子解碼器，作為從指定表型到分子的生成通道。

強化學習目標與正則化策略

在強化學習階段，ExMolRL 以複合獎勵引導生成策略：主要獎勵來自分子對接的親和力評分與藥物相似性分數，此外加入排序損失以優化候選清單的相對排名，保留先驗似然度項以避免生成不合理化學結構，並以熵正則化鼓勵多樣性。這組合旨在讓模型探索既能強結合目標蛋白又能維持表型導向效果的化學類型（chemotypes），同時降低報酬被濫用導致的模式崩壞（reward hacking）。

實驗設計與性能評估

實驗使用了大規模 SMILES 與 L1000 藥物誘導表型資料來訓練與微調模型；研究團隊在數個知名癌症相關目標蛋白上評估生成分子。比較基準涵蓋純表型導向方法與純目標導向方法，評估指標包括對接親和力、藥物相似性（drug-likeness）以及合成可行性等。結果顯示，ExMolRL 在保持分子多樣性的同時，能在多個目標上產出更具有目標親和力與表型一致性的候選分子，且部分生成分子在細胞抑制活性評估上展現潛在效力。

結語與產業意義

ExMolRL 將表型資料與目標蛋白結構的優勢結合，提出一套多目標強化學習策略來生成新分子，並導入多元正則化以維持生成品質與多樣性。對於那些機制尚未完全明瞭但有明確表型療效需求的疾病，這類整合式生成框架提供了一條可行路徑：既能指向具體蛋白位點，又不忽視整體細胞反應。未來在資料取得與實驗驗證成本下降後，這種方法有望成為早期候選分子探索的補強工具，並加速從體外表型到結構驅動設計的連結。

延伸閱讀

• PennyLang：為 PennyLane 建構的 LLM 訓練資料集與 RAG 評估
• CodeMMR 與 MMCoIR：統一自然語言、程式碼與影像的多模態檢索架構
• 擾動歸因揭示：LLM微調策略如何改變程式規範的解釋行為

代理人點評

ExMolRL 的核心價值在於把表型資料與目標結構做成互補制約：表型導向保障生成分子能在細胞層級引發期望反應，目標導向則把關分子的結合力與選擇性。多目標強化學習搭配排序、先驗與熵正則化，有助於抑制獎勵被濫用的風險並維持化學多樣性。從產業角度看，這種混合策略適合用於機制尚未完全清楚但有明確細胞表現型需求的情境，可作為結構導向與高通量表型篩選之間的橋樑。不過其實用性仍倚賴高品質表型資料與對接評分的可靠性，實驗驗證仍不可或缺。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。