生成式 AI 的開發需要極大量的內容作訓練，而這些內容有不少都是在網上抓取，也因此引起爭議。雖然有一些業界標準可以表明拒絕抓取，但看來 AI 開發公司並沒有跟隨。
據報導指，不少 AI 開發公司並沒有遵守拒絕抓取的 robot.txt 協議，擅自從網站取得內容訓練 AI。其中 AI 搜尋初創 Perplexity 就因此被媒體指責。內容授權初創 TollBit 表示，他們分析這些出版商的網站存取記錄，發現了一些代理有特定模式存取網站，「這意味著來自多個來源（不僅僅是一家公司）的 AI 代理選擇無視 robots.txt 協議來取得網站內容。」
Business Insider 進一步爆料，OpenAI 和 Anthropic 等知名 AI 公司也存在類似行為。對此 Perplexity CEO Aravind Srinivas 在接受 Fast Company 採訪時辯稱，他們「並非故意忽視 Robot Exclusions Protocol 之後說謊」。他解釋，他們除了自家抓取工具外還使用第三方網絡抓取服務，而發現的抓取工具就是其中之一。他認為「情況很複雜」，而且 robots.txt 協議「並非法律框架」，出版商應該與 AI 開發公司建立新的關係。
來源：Reuters
傳 Apple 為保險兩邊下注 iOS 18 或同時採用 OpenAI、Google 人工智能