AWS 結合生成式 AI　DeepSeek 模型的部署與應用

作者

藍骨
發佈日期

2025-03-03
閱讀時間

6分鐘
字體大小

生成式人工智能（Generative AI）近年來成為科技界的熱門話題，而 AWS 作為全球領先的雲端科技平台，正致力於為企業提供穩定、高效的生成式 AI 部署環境。在本次專題中，我們與 AWS 的專家團隊一起，深入了解如何透過 AWS 的 SageMaker 和 Bedrock 平台部署 DeepSeek 模型，並探索其應用潛力。

什麼是 DeepSeek？

DeepSeek 採用了創新的強化學習技術 GRPO (Group Relative Policy Optimization)，取代了傳統的 PPO（Proximal Policy Optimization），顯著降低了內存佔用與訓練成本。此外，DeepSeek 的開發團隊還通過直接使用低級 PTX 指令，繞過了常用的 CUDA 編程，進一步提升了模型運行效率。

如何在 AWS 上部署 DeepSeek 模型？

AWS 提供多種方式，讓開發者能在其平台上快速、安全地部署 DeepSeek 模型。其中，SageMaker 和 Amazon Bedrock 是最主要的兩種選擇。

利用 SageMaker 部署模型

SageMaker 是 AWS 的一站式機器學習平台，用戶可以快速部署 DeepSeek 模型，並利用多種安全功能保護數據：

安全隔離：用戶可將模型部署在私人 VPC（虛擬私有雲）中，並設定子網與安全群組，確保部署環境的安全性。
即時監控：通過 AWS CloudWatch 監控 GPU、CPU 和內存使用情況，確保模型在高效運作的同時控制成本。
簡化部署流程：用戶只需幾行程式碼，即可從 Hugging Face 獲取 DeepSeek 模型的權重並部署至 SageMaker 平台，快速完成部署與測試。

使用 Bedrock 的伺服器無需管理服務

Amazon Bedrock 是 AWS 為生成式 AI 打造的伺服器無需管理服務平台，用戶可以通過以下方式快速部署DeepSeek 模型：

自定義模型導入：將 DeepSeek 模型的權重存儲在 Amazon S3 中，並通過 Bedrock 的導入功能快速部署模型。
內置測試工具：Bedrock 提供 Playground 功能，用戶可以即時測試模型的推論效果，並根據需求進行提示語設計（Prompt Engineering）的優化。
伺服器無需管理架構：Bedrock 採取動態載入與釋放模型的方式，用戶可根據實際需求選擇是否購買預留吞吐量，確保模型始終保持在線狀態。

相關文章:

【F1 x AWS】數據改寫一級方程式賽車　AWS 助攻 2024 賽季成史上最激烈

Amazon Bedrock SLA 保障再升級　DeepSeek-R1 全託管無伺服器模型正式加入

AWS 成為首個提供 DeepSeek-R1 作為全面託管模型的雲服務供應商

多樣化的部署方式

除了 SageMaker 和 Bedrock，AWS 還支持透過其他方式部署 DeepSeek 模型，例如：

利用專用晶片進行訓練與推論：AWS 的 Tranium 和 Inferentia 晶片可實現高效的模型訓練與推論。
使用 EKS 部署模型：利用 Amazon Elastic Kubernetes Service（EKS）在 Kubernetes 集群中部署模型，實現靈活的多環境運行。