從數小時到 15 秒,這不是科幻電影,而是紐約人壽保險公司真實達成的業務轉型成果。全球金融巨頭正在經歷一場前所未有的數據平台革命,而這場變革的催化劑,正是 AWS 雲端服務。西班牙對外銀行(BBVA)正如「飛行中換引擎」般完成數據平台遷移;巴西 Itau 銀行透過數據網格架構重新定義數據協作模式;而紐約人壽則將索賠處理時間壓縮至原來的百分之一。本文深入剖析這些頂尖金融機構如何借助 AWS 雲端服務,實現數據平台的革命性跨越,製作 AI 驅動的決策引擎。
西班牙對外銀行(Banco Bilbao Vizcaya Argentaria,BBVA)作為業務遍及 25 個國家的金融巨頭,其數據架構經歷了從分散式數據庫、企業數據倉儲到大數據平台的發展階段。然而,當面對每年 40% 的數據增長速度時,BBVA 意識到傳統架構已難以為繼。
BBVA 全球架構師 Federico Esteban 將其數據平台現代化過程形容為「飛行中換引擎」的艱鉅挑戰。透過與AWS 的策略合作,BBVA 開發了名為 ADA 的全球數據平台,成功實現無縫遷移,同時支援超過 6,000 名進階使用者和 40,000 名數據消費者。
相較於 BBVA,有著 179 年悠久歷史的紐約人壽面臨著另一種挑戰:其傳統 Hadoop 本地端數據湖環境已接近生命週期終點,不僅供應商支援有限,更無法滿足日益增長的數據處理需求。
為突破這個瓶頸,紐約人壽任命了數據與分析總監,成立了 AI 與數據組織,制定了基於四大支柱的全新數據策略。在 CEO 的大力支持下,紐約人壽踏上了從 Hadoop 平台向雲端 Lakehouse 架構轉型的旅程,為其後續的 AI 創新奠定了堅實基礎。
作為巴西最大的銀行之一,Itau 在南美洲擁有強大市場地位和龐大客戶群。面對複雜的數據管理挑戰,Itau 選擇了數據網格(Data Mesh)架構,借助 AWS 雲端平台建立了靈活高效的數據生態系統。
這個架構設計反映了 Itau 對數據治理和可用性的高度重視,包含了生產者帳戶、消費者帳戶以及中央控制平面帳戶,搭配 AWS Lake Formation 提供全方位的治理與支援。在這個體系中,分析工程師扮演著連接數據生產者和消費者的關鍵橋樑角色。
在 Itau 的數據生態系統中,數據經過三個關鍵層級的轉換,每一層都由特定角色負責維護和優化:
這種分層架構確保了數據從原始狀態逐步轉化為具有高業務價值的資產,為下游應用提供可靠基礎。
隨著 AI 應用日益廣泛,安全挑戰也隨之增加。金融機構面臨的五大 AI 安全威脅包括:數據外洩與敏感資訊洩露、AI 模型漏洞攻擊、雲端錯誤配置風險、深偽詐騙攻擊,以及提示注入與模型越獄。
為應對這些挑戰,企業需建立完整的 AI 安全六層防護藍圖:
紐約人壽在 AWS 架構中採用了微帳戶策略,完全符合 AWS Well-Architected Framework 的最佳實踐。此策略隔離了業務應用程式,適應不同合規與安全需求,同時設立明確邊界,確保適當的資源存取控制。
同時,紐約人壽選擇了採用 Amazon S3 作為數據湖和 Amazon Redshift 作為數據倉儲的 Lakehouse 架構。這個策略結合了重新架構和提升轉移兩種方法,確保業務連續性的同時實現了技術升級。
BBVA 的 ADA 平台則融合了數據網格(Data Mesh)和數據湖倉庫(Data Lake House)兩種架構的優勢。平台核心採用數據湖倉庫架構,主要包含 Amazon S3、Amazon Redshift、AWS Glue Data Catalog 等 AWS 服務。在消費層,BBVA 採用數據網格架構,為各業務部門部署獨立「沙盒」(Sandbox)。
隨著平台遷移到雲端,成本控制成為新的挑戰。BBVA 創立了「FinDataOps」部門,專注於數據領域的財務運營。該部門不僅協助財務部門適應按用量付費模式,更提供詳細的成本儀表板,讓使用者能夠按業務區域、部門或個人進行分析。
BBVA 依據不同區域的風險等級設計了不同的防護措施。最重要的是「主防護機制」,它監控每個沙盒的預算使用情況,在達到 40%、50%、100% 時發送警告,並在超出 200% 時自動停止沙盒。使用者必須檢討原因、修正預算後才能重新啟動。這種機制有效控制了雲端成本,同時確保資源的合理使用。
紐約人壽的業務團隊曾面臨一個關於索賠管理體驗的痛點:需要基於複雜醫療記錄生成客製化信件,這個過程高度手動且耗時,通常需要一整天時間。
為解決這個挑戰,紐約人壽團隊設計了基於 Amazon Bedrock
的大型語言模型解決方案。利用 Amazon SageMaker 進行提示詞工程和模型調整,結合 Amazon OpenSearch Serverless 和 Amazon DynamoDB 實現全面監控。改進後的流程仍然保留人工審核環節,維持風險控制,但信件生成時間從數小時縮減至僅需 15 秒。這個變革不僅提高了效率,還改善了一致性,確保所有生成內容維持適當語調,採用事實為基礎,並達到特定閱讀理解水準,從而提升客戶體驗並降低法律風險。
在傳統模式中,數據科學家往往需要花費大量時間進行數據準備、建立複雜的數據處理管道,導致將特徵和模型投入生產的周期過長。在 Itau 的轉型中,分析工程師通過深入理解業務問題、協助數據科學家將特徵轉化為生產級數據資產,以及在專業化層中建立高品質特徵組,顯著提升了數據品質和處理效率。
Itau 的分析工程團隊使用 GitHub 儲存庫管理數據和配置合約,這些合約可由 AWS CloudFormation 模組讀取以部署雲資源。核心的自動化工作流利用了 AWS Step Functions 與 Amazon EventBridge 的強大協同作用,實現了端到端的自動化流程。
目前,BBVA 的 ADA 平台主要處理結構化數據,但未來計劃擴展支援生成式 AI 所需的非結構化數據。這個趨勢反映了整個行業對非結構化數據價值的認識日益提高。隨著生成式 AI 技術的成熟,企業將能從文字、圖像、視頻等非結構化數據中提取前所未有的洞察。
BBVA 計劃從批次推論擴展到使用 Amazon SageMaker 的線上推論,並整合 Amazon Kinesis 實現實時數據處理,超越目前的批次處理模式。這個趨勢將使企業能夠更快速地響應市場變化和客戶需求,實現真正的實時決策。
隨著 AI 時代的到來,分析工程師將越來越多地利用 Amazon Q 的自然語言界面來加速開發流程,而 Amazon Bedrock 則為構建、部署和擴展生成式 AI 應用程序提供了強大的基礎模型服務。這些 AI 工具將幫助分析工程師自動生成數據轉換代碼、提供智能數據品質建議、加速特徵工程過程,以及自動生成數據視覺化和故事。
從 BBVA、紐約人壽到 Itau 的數據平台轉型之旅,我們可以總結出以下關鍵成功要素:
這些全球頂尖金融機構的案例完美展示了如何透過 AWS 雲端服務構建現代化數據平台,不僅顯著提升業務流程效率,還為未來的創新奠定了堅實基礎。無論企業處於數據平台轉型的哪個階段,這些經驗和洞察都將為其提供寶貴指引,助力實現從數據到決策的革命性飛躍。