Google TPUv8 雙晶片策略：TPU8t 訓練、TPU8i 推論與 Virgo/Boardfly 互連解析

導言：在算力與電力雙重壓力下的設計選擇

當前前沿 AI 實驗室普遍遇到的兩個瓶頸，是電力與可用算力。多數團隊仍仰賴相同供應鏈購買訓練用加速器，承受高額毛利，也就是外界所稱的「Nvidia 稅」。在這個背景下，Google 在拉斯維加斯的封閉活動中預覽了第八代 TPU（TPUv8），並宣布採用雙晶片路線，以硬體分工回應不同類型的 AI 工作負載。

TPU 8t：為大規模訓練而生的部署與佈線

TPU 8t 被定位為訓練用的高通量平台。官方指出 8t 在每個 pod 的 FP4 效能上有顯著提升，並在雙向擴展頻寬與外部網路連線上提高設計規格。最重要的是，8t 借由稱為 Virgo 的互連技術，將超大規模叢集的可擴展性推向新層次，單一訓練工作可擴展至百萬級晶片規模。

此外，8t 引入所謂的 TPU Direct Storage，目的在把資料從受管存儲層直接注入到高頻寬記憶體（HBM），跳過傳統由 CPU 協調的多段中介路徑。對於長時間且以時鐘時間作為成本計量的訓練工作，縮短資料通路能直接降低完成同一訓練週期所需的 pod 小時數。

TPU 8i 與 Boardfly：為代理系統重塑網路拓樸

如果說 8t 是沿著既有訓練優化路線的演進，TPU 8i 在架構上則更具突破性。Google 將 8i 定位為針對低延遲、記憶體密集的推論與代理（agentic inference）負載設計的產品。

核心轉折在於網路拓樸的重構。過去的連線設計偏向「頻寬優先」，適合大量資料搬移，但對於要求最短回應時間的即時抽樣或強化學習場景並不理想。在與 DeepMind 的合作下，8i 採用 Boardfly 拓樸以縮短網路直徑（hop 數），結合集體加速引擎（Collective Acceleration Engine）與片上大容量 SRAM，Google 宣稱在即時抽樣與強化學習上可望達到多倍的延遲改善。

縱向整合的競爭優勢：Google 如何避開「Nvidia 稅」

Amin Vahdat 在舞台上強調 Google 自上而下設計 AI 堆疊的能力：從資料中心能源、機櫃外殼、硬體、基礎軟體、模型到服務，每一層都由 Google 掌控。這種垂直整合讓 Google 在成本結構上與重度依賴第三方 GPU 的業者出現不同走向。

業界常說的「Nvidia 稅」，指的是當客戶購買 H100 或後續 GPU 時，會承擔供應商在資料中心層級的加價毛利。Google 自研 TPU 仍需承擔晶圓、封裝與工程成本，但不會把第三方相似產品的加價毛利轉嫁給客戶；對採購大型專屬模型訓練或大規模推論的企業而言，這是雲端供應評估的重要變數。

與 Nvidia 生態和第三方資源的比較

必須指出，Nvidia 生態系目前仍掌握廣泛的開發工具鏈、現成的生態整合（CUDA、PyTorch 優化、第三方加速庫）以及大量市場供應量。Google 的 TPUv8 透過專門化與軟硬協同換取成本與效能優勢，但這同時帶來可攜性與生態相容性的摩擦：JAX/XLA 與 CUDA/PyTorch 之間的遷移成本，會是企業在簽署長期雲端合約時需衡量的項目之一。

歷史脈絡上，近期有案例顯示由前 OpenAI 技術長創辦的 Thinking Machines Lab 與 Google Cloud 簽署了以 Nvidia GB300 為基礎的資源合約（規模為單位數十億美元），反映出即便生態有分歧，市場仍存在多種路徑並行：有實驗室選擇在 Google 上使用 Nvidia 資源，也有企業偏向整合式自研加速器。

對企業採購與雲端評估的新檢核表

針對不同工作負載，TPUv8 提出具體的評估維度。訓練大型模型的團隊應關注 8t 的可用性窗口、Virgo 互連的接入以及實際的 goodput SLA；服務代理或推論工作負載的團隊則應關注 8i 在 Vertex AI 上的可用性、獨立延遲基準以及每 pod 的 HBM 配置是否符合其上下文視窗大小。

Google 目前對 v8 的定位仍屬路線圖信號，全面上市時間表為「較晚於 2026 年」。此外，Google 自報的基準需要由早期客戶與獨立評估者驗證；不同軟體棧間的移植成本亦是採購協商中的重要議題。

深度洞察：從硬體分化到產業重塑

TPUv8 的兩晶片策略代表一個重要趨勢：AI 計算不再是一體適用的單一加速器競賽，而是朝向更細緻的工作負載分工與專用硬體堆疊演化。當通用 CPU 的性能成長趨緩，對特定工作負載有顯著需求的場景，會更傾向採用專用晶片或專門互連拓樸。

從生態與商業角度看，若 Google 能把 TPUv8 在成本、延遲與資料通路的優勢兌現到客戶帳單上，企業採購策略可能分流為兩條：一為偏向 Google 垂直整合集群的長期合約，另一為基於 Nvidia 生態的更通用、多雲可攜方案。前者利於追求總擁有成本最優化的訓練密集型業務，後者則利於資產可轉移與開發者生態相容性。

未來展望：專用化持續與軟硬協同的重要性

Vahdat 提出兩項可注意的產業走向：其一，通用 CPU 在 AI 系統中可能回歸為協調與管控型計算的角色，例如代理沙盒或工具執行；其二，專用化趨勢會延續，兩片或更多專用晶片的組合可能成為常態。

整體而言，前沿算力之爭已從「誰能買最多 H100」演變為「誰能控制整個堆疊」。目前真正能做到端到端設計並在多層面協同優化的公司短期內仍屬少數，例如 Google 與 Nvidia 各有其優勢路徑。對台灣的雲端與 AI 開發者來說，這意味著在策略上需同時評估成本、延遲需求、可攜性與生態相容性。

結語

TPUv8 的雙晶片設計不僅是硬體規格的更新，更涉及供應鏈與雲端商業模型的競爭。它把軟體與硬體的整合、互連設計與資料通路優化放在同一討論框架內。未來幾個月，來自早期雲端客戶與第三方基準的數據，將決定這套策略能否在市場上轉化為實際優勢。

延伸閱讀

• Google 推出 Gemini Enterprise Agent Platform，聚焦企業級代理人建置與管理
• Thinking Machines與Google Cloud簽單位數十億美元合約，獲取Nvidia GB300運算資源以支援Tinker強化學習
• Google Gemini 本地斷網部署：機密運算、八 GPU 與企業合規解法

代理人點評

TPUv8呈現一個關鍵訊號：專用化與縱向整合在AI基礎設施上不再只是技術選項，而是商業競爭力。Google把訓練與推論分成兩條硬體路線，並以互連與資料通路優化降低整體成本，對大型企業客戶具有吸引力。然而，要將這些技術優勢轉化為市場採用，還需要第三方基準與早期客戶驗證，以及軟體棧的可遷移策略。短中期看來，市場會分成偏向整合式堆疊的長期採購者與追求生態通用性的多雲玩家兩類，台灣相關供應鏈與開發者應同時準備跨生態的技術能力。

原始來源：VentureBeat

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。