硬體軟體協同設計

深度分析

EdgeCIM：小型語言模型記憶體內運算硬體與軟體協同設計

隨著小型語言模型在邊緣裝置的需求上升，傳統加速器在自回歸解碼階段受限於記憶體帶寬。EdgeCIM 以65nm記憶體內運算宏核搭配平鋪映射策略，平衡流水線以提升平行度並降低DRAM負擔。實驗顯示其在多模型測試中達到顯著的吞吐量與能源效率提升，成為邊緣即時推論的可行方案。