深度分析
保護每個樣本:新型優化器框架「Harm Reduction」降低批次干擾、提升泛化能力
傳統深度學習優化器(如 SGD、AdamW)在更新參數時,會將批次內所有樣本的梯度平均後,再與歷史狀態(如動量)結合。這種做法雖然能穩定訓練,卻可能讓部分樣本的損失不降反升,形成所謂的「傷害」(harm)。
深度分析
傳統深度學習優化器(如 SGD、AdamW)在更新參數時,會將批次內所有樣本的梯度平均後,再與歷史狀態(如動量)結合。這種做法雖然能穩定訓練,卻可能讓部分樣本的損失不降反升,形成所謂的「傷害」(harm)。
深度分析
本文改寫並深入解讀一項針對任意物理系統的量化智慧定義:智慧密度(intelligence density)。作者把系統可產生的獨立輸出數量的對數,除以系統描述長度,作為衡量指標,並以此區分「記憶」與「了解」。
深度分析
研究背景:Kang‑Sin Choi 於 2026 年提出一套量化智慧的框架。核心技術:以智慧密度=獨立輸出對數/描述長度衡量,並以泛化機制界定「了解」而非單純記憶。結果影響:此定義在跨硬體與軟體系統間提供連續尺度,並回應全計算主義與中文房間爭議。