AWS Industry Forum 技術人員 AI 實戰分享　推動金融與支付

作者

藍骨
發佈日期

2024-04-29
閱讀時間

5分鐘
字體大小

聚焦金融與零售業 AWS Industry Forum Hong Kong 論壇於 4 月 9 日在香港 JW 萬豪酒店圓滿結束。論壇除了邀來行內 IT 高管分享業界數碼化轉型趨勢，更有技術人員分享 AI 技術落地金融及支付業務。

檢索增強生成 RAG 提升 LLM 答題表現

大會當日邀請到 AWS 行業方案架構師 Odin Wang 講解檢索增強生成 (Retrieval Augmented Generation, RAG) 如何令 AI 變得更可靠，並輔以金融業案例分享。

生成式 AI 技術如雨後春筍，各大科技企業都推出其大型語言模型 (LLM)。但模型回覆內容時對時錯，成為不同行業實際應用的一大制肘。事實上，在技術層面而言有不同方法優化 LLM 的表現，如果公司有龐大資源，可以選擇自行構建 LLM。次之可以考慮微調 (fine-tune) 一套現有的LLM。而投資最低，最符合應用場景落地的就是採用檢索增強生成技術 (RAG)。

檢索增強生成技術顧名思義就是結合搜尋功能，先從公司資料庫搜尋相關的內容，結合用戶原本的查詢傳送到 LLM，讓 LLM 獲得足夠資料的情況下解答問題。數據質素提升，答案自然準確，客戶滿意度亦能提升。

Odin 分享了利用 RAG 讓 LLM 回答有關金管局的監管條例。他先要求 LLM 擔任一位合規專員，並按提供的文件相關的段落內容，回答誰人應該審查風險管理政策。而使用 RAG技術，機器就會先搜尋文件相關內容，亦即所謂語境(context)，合併成較詳盡的查詢讓 LLM 分析。

要讓 LLM 回覆更可靠，除了利用 RAG 充份搜尋相關資料，對 LLM 的查詢提示亦應該具體充份，亦即所謂提示工程 (prompt engineering)。Odin 示範了一個具體清晰的提示應該包括描述 LLM 應擔當的角色、需執行的工作、輸出內容應注意的事項。當提示滿足以上條件，LLM 回應便會更加準確。

Amazon QuickSight 簡單一問輕鬆化繁複數據為圖表助支付技術公司分析業務

香港支付技術公司 Spectra Technologies 服務覆蓋多款香港主流支付方式，並與多間銀行合作。面對日常龐大的支付數據，公司物色商業智能 (Business Intelligence，BI) 工具，但卻面對不少挑戰，例如傳統 BI 工具以伺服器為本，難以擴充、憑證成本高昂、使用 BI 工具有一定學習門檻。