多模態程式碼檢索

深度分析

CodeMMR 與 MMCoIR：統一自然語言、程式碼與影像的多模態檢索架構

CodeMMR提出一個統一的多模態檢索框架，並配合全新基準MMCoIR，涵蓋Web介面、資料視覺化、SVG、示意圖與UML等五大視覺領域，並支援多種程式語言與函式庫。透過指令式多模態對齊訓練，CodeMMR把自然語言、程式碼與影像嵌入同一語意空間，在標準評測上顯著領先既有視覺語言嵌入模型。