分層嵌入(PLE)

深度分析

Gemma 4 核心設計與部署路徑：PLE、共享KV與雙RoPE的實務影響

DeepMind於HuggingFace發表Gemma4多模態模型，採Apache2授權便利部署。以分層嵌入、共享KV快取與雙RoPE設計，支援可變影像token與長上下文，含文字、影像與部分音訊輸入。測試顯示多規模在語言與視覺任務上具競爭力，利於本地與邊緣部署。