半導體設計及製造商 Nvidia 宣布推出最新 AI 晶片 NVIDIA HGX H200，旨在訓練和部署各種人工智能模型，並期望能幫助公司主導 AI 運算市場的晶片新增更多功能。
在 Llama 2 模型的推理速度上， NVIDIA HGX H200 的速度與 H100 相比幾乎增加一倍。新晶片是首款搭載先進記憶體 HBM3e 的 GPU，使 GPU 的記憶體頻寬從每秒 3.35TB 提高至 4.8TB，記憶體總容量從 80GB 提高至 141GB，與其前代相比容量增加 1.8 倍，頻寬增加 1.4 倍。
此外，NVIDIA HGX H200 採用 Hopper 架構，並配備 H200 Tensor Core GPU 和高階記憶體，以處理 AI 和高效能運算產生的大量資料。
輝達表示，推出新產品的目的是為跟上用於創造 AI 模型和服務的數據集的規模，而增強記憶量的 H200 在處理資料的速度會快很多。
據了解，多間雲端服務公司，例如Amazon旗下的AWS、Alphabet 的 Google Cloud 和 Oracle 的 Cloud Infrastructure 都表示，預計明年第 2 季開始，將使用這款新晶片，是首批採用 H200 的雲端服務商。
NVIDIA 目前並未公布 H200 的價格價格，但發言人 Kristin Uchiyama 指出，最終定價將由 NVIDIA 製造夥伴制定。
資料來源：bloomberg