在 AI 應用日益普及的今天，成本控制成了企業最頭痛的問題之一。AWS 在 re:Invent 2024 大會上推出的 Amazon Bedrock Intelligent Prompt Routing 以及 prompt caching（提示詞快取）功能，就像是一位精明的 AI 管家，幫企業精打細算，讓 AI 應用不再是燒錢的無底洞。
想像你有一群能力各異的員工，有的擅長處理簡單任務，有的專門解決複雜問題。Amazon Bedrock Intelligent Prompt Routing 就像是一位超級主管，懂得根據每個問題的難度，自動分配給最適合的「模型」處理。透過先進的提示詞配對和模型理解技術，系統會預測每個請求對應的模型效能，並將請求動態分配至最可能以最低成本提供所需回應的模型。
舉個例子，當餐廳的語音客服系統收到「今晚有位嗎？」這樣的簡單問題，系統會自動選用較小的模型處理；而面對「有哪些素食選擇？」這類需要詳細說明的問題，則會交給功能更強大的模型回答。這樣的智慧分配策略，讓企業最多可以節省 30% 的營運成本。
Amazon Bedrock 的 prompt caching 功能就像是給 AI 裝了一個超強的記憶庫。當多位用戶詢問類似的問題時，系統不需要每次都重新運算，而是能夠直接調用之前的答案。這個看似簡單的功能，卻能為企業帶來驚人的效益：成本最多降低 90%，回應時間縮短高達 85%。
以 Adobe 的實際應用經驗為例，他們在 Acrobat AI 助理中導入 prompt caching 功能後，文件處理的回應時間減少了 72%。當多名用戶查詢文件中相似的內容時，系統可以快速提供答案，不只節省成本，更大幅提升了用戶體驗。
AWS re:Invent 2024 重點解析 AWS 科技夢想藍圖 從超級電腦到平民化 AI Apple 選擇 AWS 客製化 AI 加速器 押注 AI 晶片新佈局 以「雞仔」編織港人溫暖回憶 「雞仔嘜」的轉型與營銷策略
Argo Labs 的應用案例完美展現了這兩項功能的威力。這家專門為餐廳提供語音客服解決方案的公司，透過結合 Intelligent Prompt Routing 和 prompt caching 功能，成功打造出經濟實惠又高效的 AI 客服系統。當客戶提出問題、預訂餐位時，系統能自動判斷問題類型，選擇最適合的模型回答，同時儲存常見問題的解答，創造出流暢的客戶體驗。
這些新功能的推出，正在徹底改變企業使用 AI 的方式。過去企業在使用 AI 時，往往需要在效能和成本之間做出艱難的取捨。現在有了 Intelligent Prompt Routing 和 prompt caching，企業可以同時兼顧兩者，讓系統自動優化資源使用，在保持高品質服務的同時，大幅降低營運成本。
特別是對於中小企業來說，這些功能的意義更加重大。過去可能因為成本考量而對 AI 應用裹足不前，現在終於有機會以合理的價格導入 AI 技術，享受數位轉型帶來的優勢。
AWS 在 Amazon Bedrock 平台上推出的這些新功能，標誌著 AI 應用進入了一個更成熟的階段。透過智慧化的資源配置和優化，企業終於能夠以更合理的成本，享受 AI 技術帶來的便利。這不只是技術的進步，更是讓 AI 走向普及化的重要里程碑。
隨著 Intelligent Prompt Routing 和 prompt caching 功能的推出，我們可以期待看到更多企業加入 AI 應用的行列，為產業帶來更多創新和改變。AI 的未來，正變得越來越親民，越來越實用，而 AWS 的這些創新，正在為企業打開一扇通往 AI 經濟時代的大門。
AWS re:Invent 2024 重點解析 AWS 科技夢想藍圖 從超級電腦到平民化 AI Apple 選擇 AWS 客製化 AI 加速器 押注 AI 晶片新佈局 以「雞仔」編織港人溫暖回憶 「雞仔嘜」的轉型與營銷策略