逐詞重權

速報

RankTuner：以相對排名指標整合機率與熵的逐詞重權法

背景：監督微調常用逐詞重權。RankTuner提出相對排名指標，比對真實標記排名與其在預測分布下的期望排名。再以該指標倒數作為逐詞尺度來重權，使更新聚焦於真正未學到的標記，減少對先驗不確定位置的過度處罰。實驗顯示在數學推理、異分布推理與程式碼生成前期，RankTuner勝過機率或熵單一重權基線。