Microsoft 研究團隊分析公司內部數萬名工程師使用 AI 編程工具的情況，發現採用 Claude Code 或 GitHub Copilot CLI 的工程師，已合併的程式修改請求數量估算增加約 24%。研究亦發現，Copilot CLI 使用者的增幅高於 Claude Code，惟研究人員強調，這些數字不能直接代表兩款工具的效能優劣。
這份研究於 2026 年 7 月在 arXiv 發表。研究團隊追蹤 2026 年 1 月 5 日至 4 月 29 日的內部使用紀錄，分析工程師何時開始使用 AI、甚麼因素影響持續使用，以及 AI 工具與實際工作產出之間的關係。
Copilot CLI 增幅 24.9% Claude Code 為 11.4%
研究以已合併的 Pull Request（PR）數量衡量工作產出。PR 是開發者提交程式修改，經檢查後合併至項目的請求。研究人員將首週採用 AI 工具的工程師與未採用者建立統計對照模型，估算前者每日合併的 PR 數量平均增加 24%，95% 可信區間介乎 14.5% 至 33.7%。這項增幅在整個約 4 個月觀察期內沒有出現明顯衰退。
團隊再比較同一名工程師使用及沒有使用 AI 工具的不同星期。結果顯示，只使用 Copilot CLI 的工程師，在使用工具的星期，合併 PR 數量平均增加 24.9%；只使用 Claude Code 的工程師則增加 11.4%。兩款工具的使用者並非隨機分配，所處團隊及處理工作亦可能不同，因此不能直接認定 Copilot CLI 的編程能力較強。
使用頻率同樣與產出有關。每週使用 AI 編程工具 3 天的工程師，合併 PR 數量比自己完全沒有使用的星期高 15%；每週使用至少 5 天的工程師，增幅達 50.1%。但研究屬觀察性質，未能排除工作難度等因素影響結果。
同事及上司使用 AI 明顯影響其他人跟隨
研究另一項發現涉及 AI 工具在企業內部的普及方式。在 Copilot CLI 採用情況分析中，如果同屬上一級管理層轄下的同事，有至少四分之一在過去 14 天使用過工具，工程師首次嘗試 Copilot CLI 的統計勝算會高出最多 216%。
若直屬上司已使用 Copilot CLI，員工嘗試使用的勝算增加 82%；若平日經常互相檢查程式碼的同事，有至少四分之一已使用工具，增幅則為 54%。這些百分比反映統計模型中的相對勝算，並非實際使用率直接上升相同幅度。
至於會否持續使用，工程師原本的工作習慣更具參考價值。平日經常提交 PR 的工程師，較容易養成使用 Copilot CLI 的習慣。相反，原本已經在 Visual Studio Code 等開發環境使用 GitHub Copilot 的工程師，雖然更願意嘗試 CLI 版本，持續使用新工具的勝算卻低約 12% 至 15%。
Microsoft 曾計劃縮減 Claude Code 授權 研究結果仍有局限
研究論文亦披露，4 月 29 日觀察期結束後不久，Microsoft 曾在內部通知員工，計劃約一個月後停止向大部分工程師提供 Claude Code 授權，並引導受影響員工轉用 Copilot CLI。研究團隊特意將分析截止於政策轉變之前，避免公司安排影響自然採用情況。論文沒有確認這項安排後來的實際執行結果。
研究人員指出，Microsoft 擁有開發 Copilot CLI 的 GitHub，內部工作環境及支援安排可能對自家工具更有利。研究只使用 Azure DevOps 的 PR 數據，亦未直接評估程式碼品質、維護成本或軟件最終價值。PR 數量增加可能代表更多工作完成，但也可能涉及將工作拆成較多小型修改，因此不能等同軟件開發整體生產力提高相同幅度。
研究團隊認為，企業部署 AI 編程工具時需要同時觀察實際使用率、長期留存情況及工作成果。單憑產出數量，仍不足以判斷 AI 工具能否抵銷訂閱及運算成本。
資料來源：Microsoft 研究論文、GitHub
