愈來愈多企業使用「生成式 AI」技術,但在初次使用 AI 技術與享受 AI 帶來的優勢之間,不少人其實也在面對同一難題:要如何調整 AI 模組成最適合公司需求的狀態?這些實際操作 AI 的問題,本篇請來專家拆解,以實例講解如何客製化人工智能系統、輕鬆讓 AI 無縫融合。
由 AWS 舉辦的 AWS Summit 2024,早前找來「機械學習」(Machine Learning)範疇專家、AWS 的解決方案架構師 Eunice Tsao,以實例向聽眾講解客製化、自訂「基礎模型」(Foundational model,FM)的原理。
Eunice 在初段即解答了一個應用「生成式 AI」的常見問題:為何不單單使用「提詞」(Prompt Engineering)方法來處理所有與「生成式 AI」有關的工作,而要使用「微調」(Fine-tuning)或「持續預訓練」(Continue pre-training)等自訂方法? Eunice 分別以醫療、金融、法律服務、客戶服務作例子,解釋了用戶客製化「基礎模型」的重要,指 AI 在面對艱澀的醫療、金融業術語時,使用者只要透過客製化 AI 模組,讓 AI 疏理範疇內的文本與討論內容,即能讓 AI 的回覆更準確、更高效,如單純使用「提詞」,「基礎模組」未必能以特定語調、專業術語回應問題,更甚會出現「人工幻覺」(Hallucination)等不準確答案。
在理解客製化的重要後,Eunice 即以 AWS 的 Amazon Bedrock 平台示範「微調」基礎模組,做法原來非常簡單,Eunice 僅需設定模組、數據集、儲存位置、基礎模組 ID 等資訊,即可在「基礎模組」加載另一個包含特定對話和摘要形式的數據集,並指令所有數據的提詞和完成項目都需以剛輸入的數據集作為回應模版。結果,Eunice 成功改變「基礎模組」生成摘要時的行為,讓摘要更簡潔明確。Eunice 認為,此舉不但讓 AI 更符合用家使用要求,亦能讓輸出更簡短,達至減少成本。
另外,Eunice 亦以電子書示範「持續預訓練」AI,原理是透過向「基礎模組」提供已分類、已整理的數據(Clean data),啟動並設置持續預訓練的相關參數,讓最新資訊更新到用戶正在使用的「基礎模組」中,即可提高準確度。Eunice 提醒,「持續預訓練」適用於用家希望「基礎模組」能使用未整理、未結構化數據的情況,而這類無監督學習方式亦比「微調」需要更多數據。
最後,Eunice 分享了一些客製化 AI 的心得,例如使用數據用量、何時才算完成訓練、如何比較 AI 模組表現等常見疑問。總結而言,企業在使用「生成式 AI」時,確是有需要調整好「基礎模組」至最適合企業情況的狀態,才能最大化使用「生成式 AI 」所帶來的優勢。
相關文章:
AWS 推出基於機器學習的 EC2 容量區塊 多種預訂方式便利企業 AI 開發 Amazon EC2 釋放 UltraClusters 與 P5e 實例潛能 企業實現 AI 轉型更輕鬆 AWS 與 NVIDIA 兩強聯手 共同邁向 AI 研發競賽之路