Per‑Layer Embeddings

深度分析

Gemma 4：面向裝置端與長上下文的多模態模型（Per‑Layer Embeddings、共享 KV 快取）

DeepMind推出Gemma4，帶來可在裝置端運行的多模態模型。它支援影像、文字與語音輸入，採用每層嵌入與共享KV快取、雙RoPE與滑動窗＋全域注意力設計，兼顧長上下文與量化效率；測試顯示大型密集模型在文字基準得分領先，MoE在較低活化參數下接近同級表現。