Amazon Bedrock 是一項完全託管服務，透過 API 提供來自 Anthropic、Meta、Mistral AI、Stability AI 和 Amazon 等領先 AI 公司的高效基礎模型 (Foundation Model)。今次將實測如何將 Amazon Bedrock 與經過 Amazon SageMaker 訓練或微調的模型一起使用，整項配置由微調到部署都毋須代碼。
以前如果想在 Amazon Bedrock 中使用自己的自訂微調模型，則必須在 SageMaker 中自行管理推理基礎設施，或直接在 Amazon Bedrock 上訓練模型，當中牽涉的輸送量 (throughput) 費用高昂。現在，Amazon Bedrock 支援導入自訂模型，而用戶更可以在 SageMaker JumpStart 中訓練或微調現有模型並導到 Amazon Bedrock。
實測須知及先決條件
現時為止，Amazon Bedrock 支援導入以下自訂模型:
- Mistral
- Flan
- Meta Llama 2 and Llama 3
有意進行實測者，需確認擁有具有 Amazon SageMaker Studio 和 Amazon Bedrock 存取許可權的 AWS 帳戶。而本文章會使用 Hugging Face Flan-T5 Base 模型。
示範 1: 在 SageMaker JumpStart 中訓練模型
首先，開啟 AWS 管理控制台並轉到 SageMaker Studio。
在 SageMaker Studio 中，選擇 JumpStart。搜尋並選擇 Hugging Face Flan-T5 模型。
在模型詳細資訊頁面上，可以查看模型的簡述、如何部署模型、微調模型，以及自訂模型所需的訓練數據格式。選擇 Train 以開始根據訓練數據微調模型。
本文使用的是預填的數據集範例。在使用自己的數據時，請在 Data 部分中輸入其位置，並確保滿其足格式要求。
配置安全設定，例如 AWS Identity and Access Management (IAM) 角色、Virtual Private Cloud (VPC) 和加密。記下 Output artifact location (S3 URI) 的值作日後使用。然後便可以提交作業開始訓練。
用家可以透過在 Jobs 下拉選單中選擇 Training 來檢視作業。當訓練作業狀態顯示為 Completed 時，表示作業已完成。使用預設設定時，訓練大約需要 10 分鐘。
示範 2: 將模型導入 Amazon Bedrock
模型完成訓練後，可以將其導入 Amazon Bedrock。請完成以下步驟：
在 Amazon Bedrock 控制台上，選擇 Foundation models 下的 Imported models。
選擇 Import model 。
輸入模型名稱，並在 Model import settings 下，選擇 Amazon SageMaker model，然後選擇模型旁邊的單選按鈕。
在 Service access 下，選擇 Create and use a new service role ，然後輸入角色的名稱。選擇 Import model 。完成模型導入只需約 15 分鐘。
在導航窗格中的 Playgrounds 下，選擇 Text ，再選擇 Select model 。
在 Category 選擇 Imported models，選擇 flan-t5-fine-tuned 模型，再選擇 On-demand Throughput。最後選擇 Apply。
最後，就可以與自訂模型進行互動。如果不再需要使用 SageMaker 及有關自訂模型，請清理有關資源。詳情可參閱教學文章 Clean Up 部份。
分享到 :
最新影片
