LoKA：系統—模型共設計讓FP8在大型推薦模型可行

LoKA讓FP8在大型推薦模型可行

新一代GPU以低精度FP8提升運算效率，但大型推薦模型（LRM）數值敏感，且以小型矩陣乘法與正規化為主，直接套用FP8常造成品質下降或延長訓練時間。研究團隊主張僅靠更好內核不足以解決問題，必須系統與模型同步設計。

論文提出LoKA框架，核心有三：LoKA Probe是統計導向的線上基準方法，學習激活與權重分布並逐層量化誤差以標定安全採用點；LoKA Mods是一組可重用的模型調整，改善數值穩定性與執行效率以擴大可用範圍；LoKA Dispatch為執行期調度器，根據Probe提供的統計資訊，選擇最速且滿足精度要求的FP8內核。

整體策略將探測、模型改動與內核調度結合，提供一條讓FP8在LRM訓練中更實務化的路徑，平衡數值穩定與效能提升。

延伸閱讀

• SAGA：以工作流為單位的 GPU 叢集排程，結合 AEG 與 WA-LRU 優化代理延遲與資源
• SiriusHelper：以 LLM、分層知識庫與 DeepSearch 實作大數據平台運維助理
• Praxis：以結構化服務依賴圖（SDG）與hammock-block PDG驅動的雲端程式與設定根因分析

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。