Multimodal LLM

深度分析

PGN 導航系統實作解析：基於 OpenPangu-7B 多模態模型的離線動作預測

視覺語言導航要求代理人能根據指令在環境中移動。PGN 系統基於 OpenPangu-7B，透過兩階段訓練將視覺編碼器與語言模型對齊，並利用五幀觀測視窗與 LoRA 適配專家導航軌跡。在離線評估中，V9 版本達到 62.29% 的動作匹配率，證明了多模態大模型在動作預測上的潛力，為未來閉環導航研究奠定基礎。