金融科技公司在數碼轉型浪潮中面臨特殊挑戰：如何在嚴格監管環境下安全部署人工智能技術，同時維持創新步伐？Robinhood 的經驗提供重要參考，展示如何在不犧牲安全性前提下成功擴展大型語言模型（Large Language Model, LLM）應用。
金融科技的 AI 安全挑戰
金融服務業處理全球最敏感的個人資料：財務資訊。當人工智能技術進入此領域，數據安全與私隱保護成為首要考量。Robinhood 作為金融科技創新先驅，同樣面臨嚴格監管框架內安全部署 AI 的挑戰。
自 2013 年創立以來，Robinhood 以提供免佣金交易服務聞名，成為首家完全於雲端服務託管的證券行。該公司 AI 及機器學習（Machine Learning, ML）平台使命明確：透過強大 AI 與 ML 抽象化賦予開發人員能力，同時為進階用戶提供高階工具，專注簡化從實驗到生產流程。
此平台目前支援多項關鍵業務應用，包括詐騙調查、檔案處理、代理工作流程、數據分析、文字轉 SQL 功能、通訊應用及市場推廣內容生成等。安全設計始終是首要考量，Amazon Web Services（AWS）雲端架構提供堅實基礎。
詐騙調查的 AI 革新
Robinhood 每日有超過 80 名詐騙調查員需手動撰寫逾 300 份案件結論，傳統流程耗時 30 至 60 分鐘，難以維持敘述一致性與品質。為解決此難題，團隊導入由 Amazon Bedrock 預留輸送量模式（Provisioned Throughput Mode）及 Claude Sonnet 模型驅動的解決方案，系統能於數秒內將調查員原始筆記轉化為結構化結論草稿。
安全設計是此解決方案核心，團隊實施多重防護機制：僅在表單變更時啟用生成敘述按鈕、限制每個瀏覽器工作階段兩次點擊、鼓勵調查員手動完善自動生成內容，並設立 1 至 5 分評分回饋機制持續改良系統。此人機協作模式大幅提升效率，同時確保人類專家對最終結果的監督，精準平衡自動化與安全性需求。
架構演進：從封閉到彈性網絡
Robinhood 的 AI 架構歷經關鍵演變，反映金融企業在 AI 部署的成熟路徑。初期採用 Amazon Bedrock 預留輸送量模式提供專用模型單元，確保推論過程隔離性。團隊更配置 Amazon Virtual Private Cloud（Amazon VPC）端點，透過 AWS PrivateLink 在 AWS 網絡內部安全傳輸所有流量。
此架構面臨四項挑戰：需提前數月預測流量模式並承諾固定模型單元數量、共享模型單元可能出現資源競爭問題、新 LLM 通常在隨選 API 先發布，以及六個月承諾期限制採用多元模型的靈活性。
面對挑戰，Robinhood 轉向更靈活架構——Amazon Bedrock 隨選 API（on-demand API）。此轉變由零日數據留存協議確保安全性，同時解鎖更大彈性與擴展能力。特別值得注意的是 Amazon Bedrock 跨區域推論（cross region inference）功能：將分配配額在推論設定檔區域提高一倍、動態路由流量至多區域無需複雜客戶端負載平衡，並在維持相同 VPC 安全性前提下，提供最佳可用性與增強高用量期間彈性。
LLM 閘道：安全與彈性核心
Robinhood 的 LLM 閘道成為 AI 架構核心樞紐，兼容多種 SDK 處理輸入翻譯工作，驗證字符大小等參數確保請求合規高效，所有請求和回應記錄至離線分析表，提供穩健審計追蹤能力。此設計讓開發團隊能使用偏好技術堆疊，同時透過中央化服務存取 LLM。
考量金融服務的嚴格合規要求，閘道內建個人可識別資料（Personal Identifiable Information, PII）過濾服務，運用 Microsoft Presidio API 自動偵測及編輯輸入輸出中的敏感資料。閘道同時支援備用模型機制，當主要模型失效或超出容量限制時，系統無縫切換至次要備用模型，例如從 OpenAI API 轉至 Llama 模型。
成本控制方面，閘道自動計算每項請求成本，允許團隊設定預算並按項目實施限制。此精細控制使 Robinhood 能在維持高效能同時，嚴格管理 AI 相關支出。
金融科技 AI 發展藍圖
展望 2025 年，Robinhood 計劃進一步強化 AI 平台，建立讓團隊更快創新、更精準可靠的生態系統。團隊正引入內建工具進行模型與提示分析，同時建立跨平台管理數據的統一框架，確保合規不阻礙創新。
閘道將增強動態模型路由及微調選項功能，確保合適模型處理適當請求。批次推論管道的推出將提升大規模任務處理效能，而提示遊樂場（prompt playground）開發計劃則提供安全實驗空間，讓團隊能在生產數據上切換模型與調整參數。
安全與創新的平衡藝術
Robinhood 經驗展示金融科技公司如何在嚴格安全要求下有效擴展 AI 應用。其 LLM 閘道與架構演進過程提供寶貴參考模型，證明透過 AWS 雲端服務能建立既安全又靈活的 AI 基礎設施。對任何考慮在金融領域部署 AI 技術的機構而言，此經驗傳遞明確指引：安全與創新不必對立，透過精密架構設計，企業可兼得兩者優勢。在數據私隱與 AI 應用間取得平衡，不僅是合規需求，更是贏得客戶信任的關鍵。
參考資料
- AWS re:Invent 2024 – Scaling secure large language models with Robinhood (FSI317)
- Amazon Bedrock
- Amazon Virtual Private Cloud (Amazon VPC)
- AWS PrivateLink
分享到 :
最新影片
