分佈外泛化

深度分析

解讀Transformer注意力模式，預測AI模型在分布外數據的行為

本研究利用可解釋性工具分析Transformer模型的注意力模式，預測其在未見過數據上的行為。在合成任務中，數百個模型展現不同歸納規則，而階層性注意力模式與OOD階層性歸納規則高度相關，即使該模式非因果必要。此發現為AI模型評估與除錯提供新方向。