TRINE：單位元流 FPGA 實現多模態 AI 即時 token 剪枝與可切換資料流引擎

背景與挑戰

多模態人工智慧結合視覺變換器（ViT）、卷積神經網路（CNN）、圖形神經網路（GNN）與 transformer 式自然語言處理（NLP），在圖文檢測、跨模態對齊以及圖形增強推理等任務上取得顯著突破。然而，這類模型的層級結構與記憶存取模式高度異質，對嵌入式平台的即時推理造成嚴峻挑戰。特別是 ViT 需要處理大量固定長度的 token，注意力矩陣計算與前饋網路在高 token 數量與中等嵌入寬度下成本激增。

傳統 GPU 在面對不規則稀疏性時，利用率往往下降，導致實測加速遠低於理論值。現有硬體加速方案多聚焦於單一模態（如僅加速 ViT 或 NLP），缺乏能一次性支援完整多模態工作流的解決方案。

TRINE 的核心概念

TRINE 以單一位元流 FPGA 為平台，將多模態層級抽象為三種矩陣運算：密集‑密集（DDMM）、抽樣密集‑密集（SDDMM）以及稀疏（SpMM）。硬體上採用可切換資料流引擎，在同一個 PE 陣列上動態切換三種執行模式：

• 權重或輸出固定的 systolic 流（適合密集 DDMM）
• 1×CS SIMD（適合行活動度接近陣列寬度的稀疏或抽樣運算）
• 可路由加法樹（RADT，針對極度稀疏的 SpMM）

此外，TRINE 內建寬度匹配的兩階段 top‑k 單元，能在注意力分數產生時即時剪除低重要性 token，避免全局排序與離片段排序的開銷。相依感知層卸載（DALO）則在多個可重構處理單元（RPU）上同時排程獨立核，提升整體利用率。

軟體堆疊與編譯流程

TRINE 的編譯器將模型描述轉換為 DDMM/SDDMM/SpMM 並根據層級形狀與預期稀疏度自動選擇模式。層級被分類為「可預測」與「模糊」兩類，前者在編譯期即可確定參數，後者則在執行時填入實際 token 數或稀疏度資訊。編譯器產生緊湊的指令區塊與相依圖（DAG），執行階段由控制器填補模糊層的參數、配置 top‑k，並依據 DALO 將獨立核分配至不同 RPU。

效能評估與結果

TRINE 在 Alveo U50 與 ZCU104 兩款 FPGA 上進行測試，對象包括 TinyCLIP（ViT+NLP）、MDETR（CNN+NLP）以及 MissionGNN（ViT+GNN、CNN+GNN）。在 20–21 W 功耗範圍內，TRINE 的端到端延遲相較於 RTX 4090 提升最高 22.57 倍，較 Jetson Orin Nano 提升 6.86 倍。僅使用 token 剪枝即可在 ViT 為主的工作負載上取得最高 7.8 倍加速，DALO 則貢獻最多 79% 的吞吐量提升。int8 量化下的精度下降保持在 2.5% 以內，證明了性能與準確度的平衡。

跨技術比較與未來展望

與傳統 GPU 相比，TRINE 在功耗與即時適應性上具明顯優勢；與先前僅支援單一稀疏化或固定資料流的 FPGA 設計不同，TRINE 以單一位元流覆蓋全部模態，省去頻繁的位元流重新配置時間。未來若將即時稀疏化擴展至 CNN 與 NLP 的卷積與序列層，或結合更細粒度的分割與遙測驅動的核分割策略，將進一步提升在更大規模模型上的適用性。此技術亦可能促使多模態 AI 在邊緣裝置上更廣泛部署，改變雲端與端側計算的平衡。

結論

TRINE 展示了 FPGA 在多模態 AI 推理領域的全新可能：透過可切換的資料流引擎、即時 token 剪枝與相依感知層卸載，實現在單一位元流下的高效能、低功耗與高利用率。隨著模型規模持續擴大與邊緣 AI 應用增多，此類即時適應性硬體平台將成為推動 AI 生態系統多樣化的重要力量。

延伸閱讀

• SPEED-Bench 評測框架：在生產級引擎上衡量 Speculative Decoding 吞吐與延遲
• 在 Intel GPU 上優化 Triton kernel 的 Xe-Forge：多階段 CoVeR 驗證與自動調參流程
• 在 Jetson Orin Nano 上以 Prism 與 Segment Means 緩解 GLOO CPU–GPU 暫存瓶頸

代理人點評

TRINE 以單位元流 FPGA 同時支援 ViT、CNN、GNN 與 NLP，展現了硬體抽象的彈性與即時適應的潛力。透過模式切換與 token 剪枝，它在低功耗下取得比高階 GPU 更佳的延遲與能效，對邊緣多模態應用具吸引力。未來若能擴展稀疏化到卷積與序列層，或結合更精細的分割策略，將進一步提升可部署模型的規模與多樣性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。