想像一架飛機正高速飛行於高空中，載著數百名乘客穿越雲層，機組人員卻必須在不著陸、不停航的情況下，更換引擎。這聽起來近乎不可能，但在金融世界裡，大型機構進行數據平台轉型，面臨的挑戰與此如出一轍。
西班牙對外銀行（Banco Bilbao Vizcaya Argentaria，BBVA）正是完成這項壯舉的代表。他們在不中斷業務運作的情況下，與 Amazon Web Services（AWS）攜手，建構出 ADA——一座支撐超過 6,000 名進階使用者與40,000 名數據消費者的全球數據平台。數據量爆炸成長、即時分析需求飆升，讓傳統系統難以為繼，而 BBVA 透過這場近乎無聲的轉型，不僅確保了業務連續性，也為金融業的數碼現代化設下了新標準。
金融巨頭的數據轉型挑戰與解決方案
BBVA 作為一家業務遍及 25 個國家、擁有超過 7,000 萬客戶和 12 萬名員工的全球金融機構，其數據平台演進歷程反映了許多企業的共同挑戰。BBVA 全球架構師 Federico Esteban 在 AWS re:Invent 2024 分享時指出，該行的數據架構經歷了從分散式數據庫、企業數據倉儲到大數據平台 Datio 的發展階段。
然而，隨著數據量劇增，BBVA 面臨兩大問題：一是大數據技術複雜難以維護和擴展；二是在地端部署限制了未來發展空間。最為關鍵的是，BBVA 的數據量以每年 40% 的速度成長，這種增長趨勢讓遷移到雲端成為必然選擇。
2023 年 6 月，BBVA 宣布與 AWS 建立戰略合作夥伴關係，致力於打造全球數據平台，實現數據和人工智能（AI）驅動的組織轉型。這個平台將成為 BBVA 營運和客戶數據的安全儲存庫，為內部業務相關方提供自動化的業務和行銷洞察，提高吸引和服務客戶的營運效率。
現代數據社群的關鍵架構：結合數據網格與數據湖倉庫
BBVA 的 ADA 平台融合了數據網格（Data Mesh）和數據湖倉庫（Data Lake House）兩種架構的優勢。Amazon 全球金融服務業首席解決方案架構師 Ignacio Fernandez 解釋，現代數據社群的關鍵在於將數據責任下放至邊緣，類似於 IT 從單體架構轉向微服務的概念，從而增加自主權、所有權和速度。
平台核心採用數據湖倉庫架構，主要包含以下 AWS 服務：
- Amazon Simple Storage Service (Amazon S3) ：用於低成本儲存方案，處理海量數據。
- Amazon Redshift：當需要高效能分析時使用的強大數據倉儲技術。
- AWS Glue Data Catalog：統一所有數據，提供集中式目錄服務。
- AWS Lake Formation：集中管理對數據的存取控制。
- Amazon Elastic MapReduce (Amazon EMR)：每日執行 50,000 個處理程序，動態創建和銷毀數千個叢集。
在消費層，BBVA 採用數據網格架構，為各業務部門部署獨立「沙盒」（Sandbox）。目前已有超過 250 個沙盒，每個沙盒配置在獨立帳戶中以便控制成本和預算。使用者可使用 Amazon Athena 進行查詢，以及 Amazon SageMaker 執行分析和模型訓練。沙盒間的協作和數據共享則透過 AWS DataZone 實現，確保治理和控制。
打造安全、高效的多區域數據平台
為了減少延遲並靠近提供數據的營運系統，BBVA 將平台部署在兩個位置：歐洲（西班牙區域）和美洲（目前在北維珍尼亞，計劃遷移至即將推出的墨西哥區域）。這種多區域部署策略確保了平台的高效能和全球覆蓋。
平台規模令人印象深刻：
- 超過 4 PB 的數據
- 管理約 30,000 個數據表
- 每天執行超過 50,000 個處理程序
遷移如此龐大的平台面臨巨大挑戰，BBVA 採取的關鍵策略包括：
- 預遷移準備：透過「鍵屋」（housekeeping）工作和減少不必要內容，降低了 40% 的遷移範圍。
- 監管合規：BBVA 是首批將全部銀行數據遷移至雲端的金融機構之一，花費大量精力取得各國監管機構的批准。
- 平行執行階段：同時運行本地和雲端兩個平台，直到確保結果一致。Federico 形容這是「專案中最複雜和最重要的部分」。
- 自建傳輸系統：基於 Amazon EMR 和 DistCP（Distributed Copy），能在 30 小時內移動 500 TB 數據，或在不到 6 小時內移動 100 TB 數據。
這種「飛行中換引擎」的遷移方法，確保了業務連續性，同時達到了至少 95% 數據表完美遷移的目標。實際成績更超出預期，達到了 97% 的成功率。
成本控制與 FinDataOps 的創新實踐
隨著平台遷移到雲端，成本控制成為新的挑戰。BBVA 創立了「FinDataOps」部門，專注於數據領域的財務運營，其責任包括：
- 預算與計費支援：協助財務部門適應按用量付費模式。
- 成本可視性：提供詳細的成本儀表板，允許使用者按業務區域、部門或個人進行分析。
- 防護機制：建立預防性和偵測性防護，保護使用者避免成本錯誤。
BBVA 依據不同區域的風險等級設計了不同的防護措施：
- 數據工程師區域：9 個防護措施保護 Amazon EMR 和 AWS Glue 等服務，例如監控執行時間過長的作業並自動停止。
- 業務使用者區域：保護日常使用的服務，如 Amazon Athena，當查詢處理過多數據時自動停止。
最重要的是「主防護機制」，它監控每個沙盒的預算使用情況，在達到 40%、50%、100% 時發送警告，並在超出 200% 時自動停止沙盒。使用者必須檢討原因、修正預算後才能重新啟動。
成本監控技術主要依靠 AWS CloudWatch 和 AWS CloudTrail，配合自定義儀表板，讓使用者能夠比較不同業務區域或個人的效能，促進最佳實踐分享。
未來發展與 AWS 服務持續最佳化
儘管 ADA 平台已成功上線，BBVA 仍有雄心勃勃的發展計劃：
- 非結構化數據管理：目前平台僅處理結構化數據，計劃擴展支援生成式 AI 所需的非結構化數據。
- 數據共享與協作：持續整合 AWS DataZone 的新功能，改進沙盒間的共享機制。
- 線上推論整合：從批次推論擴展到使用 Amazon SageMaker 的線上推論。
- 新數據格式：從 Parquet 格式探索 Iceberg 等交易數據格式，獲取更多功能。
- 實時處理：整合 Amazon Kinesis 實現實時數據處理，超越目前的批次處理模式。
- 開發效率提升：探索 Amazon EMR Serverless、AWS Glue Data Quality 等服務，為數據工程師提供更好的工具。
BBVA 還開發了基於生成式 AI 的聊天機械人，支援西班牙語，為終端使用者提供幫助，減少平台支援時間。
結語
BBVA 的全球數據平台轉型之旅展示了在保持業務連續性的同時實現大規模雲端遷移的可能性。透過與 AWS 的合作，他們不僅克服了「飛行中換引擎」的挑戰，還建立了現代化的數據生態系統，為未來的創新奠定了堅實基礎。
這一案例為其他金融機構和大型企業提供了寶貴的經驗，證明即使面對最複雜的數據遷移挑戰，也能透過精心策劃的方法和適當的雲端服務，成功實現數碼轉型目標。
參考數據：
- AWS re:Invent 2024 – BBVA: Building a multi-region, multi-country data platform at scale (FSI310)
- Amazon EMR
- Amazon Simple Storage Service (Amazon S3)
- Amazon Redshift
- AWS Glue
- AWS Lake Formation
- AWS DataZone
- Amazon Athena
- Amazon SageMaker
- AWS CloudWatch
- AWS CloudTrail
- Amazon Kinesis
- Amazon EMR Serverless
分享到 :
最新影片
