分散式 Transformer 推論

深度分析

在 Jetson Orin Nano 上以 Prism 與 Segment Means 緩解 GLOO CPU–GPU 暫存瓶頸

本研究在整合式 GPU 的嵌入式邊緣裝置（NVIDIA Jetson Orin Nano）上，實作並量測分散式 Transformer 推論的實務瓶頸。作者以 Prism 的 Segment Means 壓縮結合離線剖析，動態在本地或分散執行間切換，將需經 CPU 暫存的通訊量大幅降低。