隨著人工智能（AI）模型的規模呈指數級增長，算力基礎設施已成為科技競賽的核心。長久以來，GPU（圖形處理器）一直是 AI 運算的霸主，但 Google 推出的 TPU（張量處理器）憑藉其專用架構，正在挑戰這一現狀。本文將分析兩者的核心分別，並探討 TPU 是否具備全面取代 GPU 的潛力。
1. TPU 與 GPU 最大的差異：專才與通才
TPU 與 GPU 最本質的差異在於設計哲學。
* TPU (專才)： Google 研發的 TPU 是為了「矩陣運算」這一件事而生的。深度學習的核心（如神經網絡的訓練與推斷）高度依賴矩陣乘法。TPU 採用了獨特的陣列架構（Systolic Array），讓數據在晶片內如波浪般流動，大幅減少了記憶體存取的次數。這使得 TPU 在處理特定 AI 任務時，能展現出極高的效率。
* GPU (通才)： 由 NVIDIA 和 AMD 生產的 GPU，最初是為了圖形渲染而設計，擁有大量的可程式化核心。這種「並行運算」能力雖然也被證明非常適合 AI，但其架構必須保留處理圖形、物理模擬等通用任務的邏輯，因此在純粹的 AI 矩陣運算上，包含了許多對於 AI 來說不必要的電路開銷。
| 比較項目 |
TPU (Tensor Processing Unit) |
GPU (Graphics Processing Unit) |
| 研發/生產廠商 |
Google (自研專用) |
NVIDIA, AMD (通用市場) |
| 核心設計目標 |
專為 AI 深度學習 (訓練/推斷) 度身訂造 |
多用途設計：圖形處理、科學計算、AI 加速 |
| 運算架構 |
陣列架構 (Systolic Array)，專精矩陣運算，高吞吐量 |
大量可程式化核心 (SIMT)，並行處理能力強，彈性高 |
| 軟件生態 |
高度優化 TensorFlow, JAX (PyTorch 支援度有限) |
強大的 CUDA 生態，廣泛支援 PyTorch, TensorFlow 等 |
| 能效表現 |
極高 (比 GPU 高 2-3 倍)，適合大規模持續運算 |
中等至高 (視架構而定)，但在純矩陣運算上功耗較高 |
| 靈活性 |
較低，專注於特定 AI 數學模型 |
極高，適用於渲染、模擬、加密貨幣、除錯等 |
| 代表性平台 |
Google Ironwood (可擴展至 9,000+ 晶片) |
NVIDIA H100 / Blackwell, AMD MI300 |
2. 效能與成本：Ironwood 的啟示
根據最新的數據顯示，TPU 在大規模運算中展現了驚人的能效優勢。以 Google 新一代 Ironwood TPU 平台為例：
* 規模化能力： 能橫向擴展至 9,000 多顆晶片，提供逾 40 兆次的運算能力（註：此指特定精度下的集群總算力）。
* 能效比： 在批量大型模型運算下，TPU 的每瓦效能（Performance per Watt）高出 GPU 2 至 3 倍。
這意味著對於像 Meta 或 Google 這樣需要 24 小時不間斷訓練超大模型的企業而言，使用 TPU 不僅速度快，長期運行的電費和散熱成本也遠低於 GPU 集群。
| 比較項目 |
TPU |
GPU |
| 硬件成本 |
約為 GPU 的 52%（低 48%） |
較高 |
| 運算性能每美元比率 |
較 GPU 高 4.7 倍 |
基準 1 倍 |
| 功耗（晶片級別） |
約 175-250 瓦 |
約 300-400 瓦，部分旗艦型號高達 700 瓦 |
| 能效比（性能／瓦特） |
高 2-3 倍 |
基準 1 倍 |
| 推論任務整體成本（示例） |
約 45.6 萬美元（節省超過 70%） |
約 172 萬美元 |
| 運營成本節省案例 |
節省 40% – 74% |
相對較高 |
3. 關鍵分析：TPU 能否全面取代 GPU？
既然 TPU 在 AI 領域如此強大，它是否會讓 GPU 走入歷史？答案是：目前不能，且短期內不會。 原因主要有三點：
A. 生態系統的鎖定 (Lock-in) 與靈活性
GPU 擁有極其成熟的軟件護城河（如 NVIDIA 的 CUDA）。研究人員可以在 GPU 上輕鬆切換不同的框架（PyTorch, TensorFlow, Caffe 等），並進行細微的程式碼調整。 反觀 TPU 高度依賴 TensorFlow 和 JAX。雖然近年來對 PyTorch 的支援有所提升，但其程式設計的自由度仍低於 GPU。對於需要頻繁修改模型架構的學術研究者來說，GPU 更加友善。
B. 通用性限制
並非所有的運算都是深度學習。科學模擬（如氣象預測、分子動力學）、工程運算、即時圖形渲染以及現場除錯（On-site Debugging）等任務，依然需要 GPU 的通用架構。TPU 在這些非矩陣運算的任務上表現並不理想。
C. 取得門檻
GPU 是商品，企業可以購買硬件自建伺服器；而 TPU 目前主要透過 Google Cloud 提供租賃服務（雖然有 Edge TPU 等小型硬件，但訓練級晶片主要在雲端）。這限制了希望將數據保留在本地（On-premise）的企業採用 TPU。
4. 為何只有 Google 可以用 TPU 來訓練 AI，而其他企業則不行？
儘管市場常有「TPU 僅適合推論」的講法，但 Google 透過完全由 TPU 驅動的 Gemini 系列（從 1.0 到最新 3.0）證實了其具備頂級的「訓練」能力。然而，這項能力之所以成為 Google 難以複製的獨門秘技，關鍵在於「經濟風險」與「垂直整合」。
對於一般企業而言，投入專用晶片（ASIC）進行訓練是極不理性的賭博。AI 演算法日新月異，訓練需要極高的靈活性，一旦演算法改變，針對特定邏輯「硬化」的 ASIC 便可能瞬間淪為昂貴的廢物（沈沒資產）。相比之下，GPU 的通用性是規避此風險的唯一解決方案。
Google 之所以能打破此局，是因為它建立了封閉的「垂直整合生態」。Google 同時掌控 TPU 硬件與 Gemini 演算法，兩者能同步演進、相互優化，形成內部「封閉的生態鏈」。這讓 Google 能在自家資料中心內消化技術變更的風險，而其他巨頭（如 Meta）不可能為了適應 Google 的硬體架構而犧牲自身研發的靈活性。因此，用 TPU 進行大規模訓練，是一場只有具備系統整合特權的玩家才能駕馭的戰略遊戲。
5. 結論與展望：香港產業的機會
目前 AI 晶片市場呈現「雙軌並行」的趨勢。大型科技巨頭（如 Google, Meta）在訓練超大模型和進行海量推斷時，會優先採用 TPU 以降低成本和能耗；但在研發階段、多樣化科研用途及非 AI 的高速運算上，GPU 依然不可或缺。
在香港，隨著 AI 市場擴大及本土科研技術的發展，產業界已開始關注 TPU 的潛力。各大雲端供應商引入 TPU 方案，讓本地科研機構能評估 TPU 集群性能。未來，香港的科技基礎設施極可能走向 「TPU 負責大規模 AI 運算，GPU 負責通用科研與圖形處理」 的分工模式，兩者互補長短，共同推動技術升級。
