最近，大型語言模型 LLM 引起了人們的關注，其中 OpenAI 的 ChatGPT 備受矚目。而近日有外媒報道，Microsoft和香港浸會大學的研究人員共同推出一款專攻編程工作的模型產品WizardCoder-15B ，可以提供指令微調。
來自Microsoft和香港浸會大學的團隊人員利用大量程式碼數據進行預訓練，通過對大量互聯網數據進行大量預訓練並利用精確的指令數據進行進一步微調，使他們能夠在與程式碼相關的各種活動中表現出色。
研究人員在該項目中通過使用特定於程式碼的 Evol-Instruct 生成詳細的程式碼指令數據來提高 StarCoder 開源程式碼法學碩士的功能。他們通過多種方式修改了進化提示過程，並簡化了進化提示，改進了進化指令，加入了程式碼調試和時空複雜度限制。
研究人員更使用新開發的程式碼指令跟踪訓練集來微調 StarCoder 並獲得 WizardCoder。 實驗顯示，WizardCoder 的HumanEval 性能增加了 +22.3，MBPP 增加了 +8.2，HumanEval 和 HumanEval+ 的通過率方面甚至優於 Anthropic 的 Claude 和 Google 的 Bard、PaLM、PaLM-2 和LaMDA等產品。
資料來源：marktechpost