Loopie 問世：循環式 Transformer 新架構，20B 參數模型以 2B 活躍參數超越傳統基準
研究團隊推出 Loopie，為目前最強的循環式 Transformer。該系列含 20B（2B 活躍）與 6B（0.6B 活躍）兩種 MoE 模型。Loopie 解決了循環模型擴展不如直接增加參數的難題，在同等算力下大幅超越傳統基準。2025 年 IMO 與 IPhO 中，Loopie 無工具即達金牌水準。
研究團隊發表 Loopie，號稱迄今最強大的循環式 Transformer（Looped Transformer）。該模型系列包含兩種混合專家（MoE）架構：20B 總參數（2B 活躍參數）與 6B 總參數（0.6B 活躍參數）。
突破循環式 Transformer 的擴展困境
傳統上，循環式 Transformer 面臨一個核心難題：當預訓練算力提升 N 倍時，單純將模型參數增加 N 倍的效果，通常優於將同一模型循環 N 次。Loopie 的設計目標正是解決此限制。研究團隊透過大量的消融實驗，將 Loopie 與同等算力下的 30B-A3B 傳統 Transformer 進行比較，結果顯示 Loopie 在各項基準上表現顯著領先。
新穎的訓練後處理流程
研究團隊為 Loopie 設計了一套全新的訓練後處理流程（post-training pipeline），賦予模型強大的推理能力。該流程不依賴外部工具或檢索增強，純粹透過架構與訓練策略的改進來提升模型在數學、物理等領域的表現。
奧林匹亞級別的推理表現
在 2025 年國際數學奧林匹亞（IMO）與國際物理奧林匹亞（IPhO）中，Loopie 在不使用任何外部工具（如計算機、搜尋引擎）的情況下，達到金牌水準的成績。這顯示循環式 Transformer 在複雜推理任務上具備極大潛力。
延伸閱讀
- ASTRA：AdaSTR 與 DuTR 架構提升複雜表格問答的可檢核性與精準度
- 前景理論於大型語言模型的決策穩定性：認知不確定性下的實驗分析
- EchoTrail-GUI：評論者驅動的記憶注入提升 GUI 代理人效能
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
