masked-language-models

深度分析

以Glauber動力學分析MLM：矩形測試、條件分布不相容與語意陷阱

研究把MLM的逐位遮掩重抽樣建成Glauber馬可夫鏈，發現條件分布普遍不相容並以矩形測試量化；理論證明高溫、跨位影響受限時混合時間為O(n log n)，低溫則陷入語意陷阱導致指數慢混；實驗以BERT與RoBERTa顯示溫度與序列長度驅動的相變與語意陷阱現象。