生成式 AI 推理應用新選擇　DeepSeek-R1 登陸 Amazon SageMaker JumpStart

DeepSeek-R1 現已上架Amazon SageMaker JumpStart，用戶可以透過這些平台輕鬆部署並運行該模型，用於生成式 AI 應用的推理 (Inference)。無論是探索創新 AI 應用還是大規模部署解決方案，DeepSeek-R1 的強大功能將助力企業快速實現目標。

DeepSeek-R1 概覽

DeepSeek-R1 是由 DeepSeek-AI 開發的第一代大型語言模型（LLM），具備以下關鍵特點：

• 強化學習 (Reinforcement Learning, RL)：模型透過多階段的強化學習訓練，在生成回應時比傳統的預訓練和微調技術表現更佳，能夠更好地適應用戶意見與需求。
• 推理能力 (Reasoning)：DeepSeek-R1 採用了鏈式推理 (Chain-of-Thought, CoT) 方法，能夠逐步分解複雜問題，提供透明且結構化的答案，提升準確度與解釋性。
• 專家混合架構 (Mixture of Experts, MoE)：擁有 6710 億參數，其中 370 億參數在推理時被啟用，透過專家集群進行高效的查詢路由，實現專業化處理與跨範疇應用。
• 適用場景：廣泛應用於文字生成、邏輯推理、數據解釋等工作流程，支援多種生成式 AI 任務，例如內容建立、代碼生成和問答系統。

在 Amazon SageMaker JumpStart 部署 DeepSeek-R1

Amazon SageMaker JumpStart 是一個機器學習中心，支援用戶快速部署內置算法、基礎模型及預構建解決方案。DeepSeek-R1 現已上架，部署步驟如下：

1. 存取 SageMaker Studio
   登入 Amazon SageMaker 控制台，選擇 Studio，首次使用需先建立 Domain。
2. 搜尋 DeepSeek-R1 模型
   在 SageMaker Studio 中選擇 JumpStart，搜尋 DeepSeek-R1，點擊查看模型卡片了解詳情。
3. 部署模型
   • 端點名稱：可選擇自動生成或自訂名稱。
   • 實例類型：預設為 ml.p5e.48xlarge，支援高性能推理。
   • 實例數量：預設為 1 台實例，可根據需求調整。
4. 測試與最佳化
   部署完成後，端點狀態顯示為 InService，即可接受推理請求並進行測試。用戶可透過 SageMaker 提供的工具（如 Debugger 和 Pipelines）對模型性能進行監控與最佳化，確保運行穩定。

詳細指南請參考：SageMaker JumpStart

安全與合規：使用 Bedrock Guardrails

無論是在 Amazon Bedrock Marketplace 還是 SageMaker JumpStart 部署 DeepSeek-R1，用戶均可使用 Amazon Bedrock Guardrails 加入安全措施，防止生成不良內容，並確保應用的合規性。

• ApplyGuardrail API：支援輸入與輸出的安全檢查，提供基於用例的多重保護機制。
• 靈活整合：Guardrails 工具可與其他 AWS 服務無縫結合，幫助用戶在不同場景中實現標準化的安全控制。

詳細使用方式請參考：DeepSeek-R1 Guardrails 文件

DeepSeek-R1 模型的上架進一步提升了 Amazon Bedrock Marketplace 和 SageMaker JumpStart 的價值，為用戶提供了一款兼具強大推理能力和高效性能的生成式 AI 工具。結合 AWS 提供的安全與最佳化功能，DeepSeek-R1 能夠滿足多樣化的業務需求，助力企業實現生成式 AI 的創新與落地。

造訪以下連結探索更多：

• DeepSeek-R1 Amazon Bedrock Marketplace
• DeepSeek-R1 SageMaker JumpStart