LLM 面世以來，越來越多企業都紛紛採用它來提升工作效率。但企業同時都要考慮在提升效率之餘應如何控制成本，避免浪費 tokens。早前 Open AI 行政總裁亦表示，當LLM 解決用戶的問題後，用戶對 LLM 表達謝意，便足令開支增達數千萬美元。有見及此，AWS 於去年 12 月就推出了 Amazon Bedrock 智能提示路由 (Intelligent Prompt Routing) 預覽版本，並於今個月全面推出。該功能可按照問題的複雜性分流到合適的 LLM，大致保持答案質素之餘，亦令成本更低，回應更快。
支援 LLM 系列以及整體性能改進
Amazon Bedrock 為每個模型系列提供了預設提示路由器，向更便宜的模型發送更簡單的提示，以達到更高性能，減省成本。這些路由器帶有預先定義的配置，在特定基礎模型上可以開箱即用。另外，亦可以自行配置路由器，而目前支援以下系列的 LLM 模型:
- Anthropic Claude 系列：Haiku、5 v1、Haiku 3.5、Sonnet 3.5 v2
- Llama 系列：Llama 3.1 8b、70b、3.2 11b、90B 和 3.3 70B
- Nova 系列：Nova Pro 和 Nova lite
AWS 使用了專門及公開數據進行了多項內部測試，以評估 Amazon Bedrock 智能提示路由。首先，他們使用了成本約束下的平均回應品質增益（ARQGC），這是一個標準化（0-1） 性能指標，用於衡量各種成本約束下的路由器品質，0.5 表示隨機路由，1 盯表示最佳路由效果。其次，測試亦比較了與使用該系列中最強的大模型相比，使用智慧提示路由所節省的成本。並根據平均記錄到第一個 token 的時間 （Time to First Token, TTFT） 來估計時延優勢，有關數據列於以下表格。
| 大模型系列 | 路由整體性能 | 配置路由器以匹比最強模型時的性能 | |
| 平均 ARQGC | 節省成本 (%) | 時延優勢 (%) | |
| Nova | 0.75 | 35% | 9.98% |
| Anthropic | 0.86 | 56% | 6.15% |
| Meta (Llama) | 0.78 | 16% | 9.38% |
了解回應品質差異 (Response Quality Difference)
回應品質差異衡量回退模型 (Fallback Model) 與其他模型的回應差異。數值越小表示回應內容越相似，反之亦然。選擇以哪一模型作為回退模型十分重要。當使用 Anthropic 的 Claude 3 Sonnet 作為回退模型，並配置 10% 的回應品質差異時，路由器會動態選擇一個比起 Claude 3 Sonnet 的回應品質下降 10% 的 LLM來實現整體性能。相反，如果使用成本較低的模型（如 Claude 3 Haiku）作為回退模型，則路由器會動態選擇與 Claude 3 Haiku 相比，回應品質提升 10% 以上的 LLM 來實現整體性能。在下圖，可以看到 Haiku 作為回退模型時，回應品質差異設置為 10%。
操作示範
可以使用 Amazon Bedrock 的 AWS 管理控制台。可以建立自己的路由器，亦可以使用預設路由器。可以在 Amazon Bedrock 控制台中，選擇導航窗格中的 Prompt Routers，然後選擇 Configure prompt router。
然後，可以在控制台的 Playground 中使用選用自設的路由器或預設路由器。例如在下圖中，我們附加了 Amazon.com 的一份 10K 文件，並詢問了有關銷售成本的具體問題。
選擇 router metrics 圖示就可以看到請求最終經由哪個模型處理。由於這個問題屬於較複雜的問題，所以 Amazon Bedrock 智能提示路由會路由到較強大的 Claude 3.5 Sonnet V2，如下圖所示。
結論
以上基準測試結果表明，在保持高品質回應和減少延遲優勢的同時，智能提示路由在不同模型系列都能顯著節省成本。如果想探索最佳配置，可以在配置時嘗試不同的回應品質差異數值，分析路由器在其開發數據集上的回應品質、成本和延遲，選擇出最適合要求的配置。有興趣了解更多的讀者可參閱原文。
