人工智能

Google 推強大 AI 晶片 7 代 Ironwood 效能升 4 倍 強化 AI 代理負載效能挑戰 NVIDIA 地位

Published by
Lawton

Google Cloud 於 11 月 7 日宣布推出 3 款基於特製晶片的新產品,包括第 7 代 TPU Ironwood、Arm 架構虛擬機器 N4A 及首款 Arm 裸機執行個體 C4A metal,大幅強化 AI 推論與代理工作負載效能,同時降低營運成本。Google Cloud 正式進入「AI 推論時代」,從模型訓練轉向高效實用的模型互動應用。

 

Ironwood 效能飆升 與 Anthropic 簽訂百萬晶片合約

Ironwood 是 Google 迄今效能最強大的特製晶片,相較前代 TPU v5p 峰值效能提升 10 倍,而與 TPU v6e (Trillium) 相比,每塊晶片在訓練和推論工作負載上的效能提升超過 4 倍。根據 Tom’s Hardware 報導,Ironwood 提供 4,614 FP8 TFLOPS 運算效能,配備 192GB HBM3E 記憶體,記憶體容量是 Trillium 的 6 倍,大幅減少數據傳輸需求。

 

 

AI 安全公司 Anthropic 宣布計劃使用多達 100 萬個 TPU 晶片,這份價值數百億美元(約數千億港元)的合約是業界迄今已知最大規模 AI 基礎架構協議之一。Anthropic 運算主管 James Bradbury 表示,Ironwood 在推論效能和訓練可擴展性上實現高效提升,同時保持客戶期望的速度和可靠性。

 

超節點架構 單一網域連接 9,216 塊晶片

Ironwood 可在單一超節點 (SuperPod) 中擴展至 9,216 塊晶片,透過速度達 9.6 Tb/s 的晶片互連網絡 (ICI) 連接,讓數千塊晶片快速相互通訊,並存取高達 1.77 Petabytes 的共享高頻寬記憶體。根據 Tom’s Hardware 資料,Ironwood 超節點提供 42.5 FP8 ExaFLOPS 運算效能,遠超 Nvidia GB300 NVL72 系統的 0.36 ExaFLOPS。

 

Google Cloud 採用光路交換 (OCS) 技術作為動態可重組結構,在服務持續運行時即時繞過中斷並恢復工作負載。當需要更強效能時,Ironwood 可跨 pod 擴展,形成數十萬個 TPU 的叢集。TrendForce 預測,Google 與 Broadcom 合作開發的 Ironwood 將在 2026 年擴展並取代 TPU v6e,預計 Google TPU 出貨量將在 2026 年維持雲端服務供應商中最高水準,年增長率超過 40%。

 

 

軟件硬件協同設計 提升系統營運效率

Google Cloud 宣布使用 TPU 服務的客戶現可受惠於 Google Kubernetes Engine (GKE) 的 Cluster Director 功能,提供智能調度和高彈性叢集。同時發布高效能開源 LLM 框架 MaxText 強化功能,讓開發者更易操作監督式微調 (SFT) 和生成式強化策略改良 (GRPO) 等最新訓練技術。

 

在推論方面,Google Cloud 強化 vLLM 對 TPU 的支援,允許開發者僅需少量配置更改,即可在 GPU 和 TPU 之間切換。新發布的 GKE Inference Gateway 功能能在 TPU 伺服器之間進行智能負載平衡,將生成首個詞元的時間 (TTFT) 縮短高達 96%,服務成本降低多達 30%。

 

根據 IDC 最近報告,AI Hypercomputer 客戶平均達成 353% 的 3 年投資報酬率、降低 28% 的 IT 成本,並使 IT 團隊效率提升 55%。

 

Axion 產品線擴展 成本效益提升 2 倍

Google Cloud 推出第 2 款通用 Axion 虛擬機器 N4A 預覽版,提供較同等級 x86 虛擬機器高達 2 倍性價比。N4A 搭載高達 64 個 vCPU、512GB DDR5 記憶體,網絡效能可達 50 Gbps,支援自訂機款與 Hyperdisk Balanced 及 Throughput 磁碟區。

 

同時推出的首款 Arm 裸機執行個體 C4A metal 預覽版,搭載高達 96 個 vCPU、768GB DDR5 記憶體,網絡效能高達 100Gbps,適合 Android 開發、車用系統等專業工作負載。根據 Tom’s Hardware 資料,Axion 基於 Arm Neoverse v2 平台,相較現代 x86 CPU 提供高達 50% 效能提升及 60% 能源效率改善。

 

影片平台 Vimeo 託管與交付營運資深總監 Joe Peled 表示,在 Axion N4A 執行個體的初步測試中,核心轉檔工作負載相較同等級 x86 虛擬機器效能提升 30%。數據智能平台 ZoomInfo 基礎架構首席架構師 Sergei Koren 指出,在 N4A 執行個體測試中,核心數據處理流程的性價比相較 x86 提升 60%。

 

產業採用情況

創意科技公司 Lightricks 研究總監 Yoav HaCohen 表示,該公司依靠 Google Cloud TPU 及其龐大 ICI 網絡,為領先的開源多模態生成模型 LTX-2 實現突破性訓練效率提升,Ironwood 早期測試結果讓團隊充滿信心。AI 基礎設施公司 Essential AI 基礎設施主管 Philip Monk 表示,Ironwood TPU 平台部署簡易,讓工程師能立即運用其強大效能。

 

 

廣告科技公司 Rise 雲端與軟件架構師 Or Ben Dahan 表示,遷移至 Google Cloud Axion 產品組合後,運算消耗降低 20%,同時透過 C4A 執行個體維持低而穩定的延遲表現。在 N4A 系列測試中,多個在生產環境運行的應用程式 CPU 消耗相較舊有基礎架架構減少 15%。

Ironwood TPU 初期部署集中於美國,Google 預計在 2026 年中將其擴展至全球各地區。

 

 

 

資料來源:Google Cloud

Published by
Lawton