深度分析
WEINCE:結合 Weibull 極值理論校正 InfoNCE 的硬負樣本處理
InfoNCE 作為對比學習的核心目標,長期以 softmax 形式實作,隱含一種對最高相似度樣本的分布假設。研究指出,當嵌入向量正規化後,硬負樣本的相似度分布趨向有上限,與 Gumbel(softmax)假設不相容。
深度分析
InfoNCE 作為對比學習的核心目標,長期以 softmax 形式實作,隱含一種對最高相似度樣本的分布假設。研究指出,當嵌入向量正規化後,硬負樣本的相似度分布趨向有上限,與 Gumbel(softmax)假設不相容。
深度分析
面對生活模擬遊戲的規模化NPC挑戰,研究提出pcsp:以凍結LLM嵌入加低秩投影,訓練單一共享RL策略並以InfoNCE保持軌跡一致性。在300人測試上,達到最高17×優於隨機、語意—行為Spearmanρ≈0.73,且推論比LLM基線快22×。