程式語言自信度

深度分析

LLM 代碼完成自信指標分析：Perplexity 在多語言程式碼中的表現

本研究以大型語言模型代碼完成的自信度為切入點，採用perplexity作為衡量指標，比較靜態與動態語言、不同模型與多語言資料集的表現，發現Java、C#等強型別語言perplexity較低，Perl、R較高，程式註解提升perplexity且模型選擇影響大於資料集差異，為開發者選擇代碼輔助工具參考。