人工智能為人類帶來便利性的同時亦對能源造成負擔，有數據指出 ChatGPT 一天用超過 50 萬度電，而每處理 5-50 個提示就會消耗接近半公升水冷卻運算系統，情況令人堪憂。有見及此，Google DeepMind 研究團隊近日提出一種加快人工智能訓練的新方法，使用多模態對比學習與聯合範例選擇（JEST）能大大減少訓練人工智能所需的運算資源和時間，其迭代次數比現時少 13 倍而運算量亦少 10 倍，成功超越最先進的模型。
根據 Google DeepMind 研究團隊發布的研究報告，資料品質是預訓練表現的重要驅動因素。Phi-3、Gemma 2等模型表明，更少但高品質的數據可以實現更強大的效能。若要篩選出高品質的數據，關鍵是需建立有效的數據管道。現時大致分為手動管理和基於模型的資料管理方法，但前者成本高且難以擴展，而後者則有望為多模態大規模語言模型（LLM）實現Scaling Law。
研究團隊發布的 JEST 原理簡單易懂，模型會從「超級batch」中篩選出「子batch」，能顯著提升學習效率。研究數據指出，當過濾 90%的資料時，JEST 可提升 6%效能，而在以運算為代價來最大化訓練速度或效率的情況下，JEST 相對於可比較的 IID 訓練運行可加速 13 倍。
研究報告展示 JEST 資料品質引導的巨大潛力，即使小規模的精選資料集亦能指導對更大未經管理的資料集的學習，為人工智能和多模態模型的發展開創新方向。
資料來源：Tom’s Hardware
