DeepSeek 早前低調推出的最新推理模型 R1-0528 在數學和編程基準測試中表現出色,但隨即引發使用 Google Gemini 數據進行「蒸餾」訓練的質疑。研究人員指出該模型的語言模式和推理過程與 Gemini 2.5 Pro 極為相似,很可能是透過「蒸餾」來提升效能。
墨爾本開發者 Sam Paech 在社交媒體發文,聲稱擁有證據顯示 DeepSeek R1-0528 使用 Gemini 輸出進行訓練。Paech 指出該模型偏好的詞彙和表達方式與 Google Gemini 2.5 Pro 極為相似,並在帖文中寫道「如果你想知道為什麼新的 DeepSeek R1 聽起來有點不同,我認為他們可能從使用合成 OpenAI 數據轉向使用合成 Gemini 輸出」。
AI 評估工具 SpeechMap 的匿名開發者同樣分享了關於 DeepSeek R1-0528「軌跡」的發現。軌跡是指某些先進 AI 模型在得出結論過程中顯露的推理步驟,該開發者指出 DeepSeek R1-0528 的推理過程與 Gemini 的推理軌跡「驚人相似」。
「蒸餾」是 AI 模型開發中的常見技術,透過使用大規模模型來訓練小規模模型,從更強大的「教師」模型中提取數據來訓練較小的「學生」模型。雖然這是常見做法,但 OpenAI 和 Google 的服務條款都明確禁止客戶使用其模型輸出來建立競爭性 AI 系統。這並非 DeepSeek 首次被指控使用競爭對手模型數據進行訓練。2024 年 12 月,開發者發現 DeepSeek V3 模型經常將自己識別為 ChatGPT,暗示可能使用了 ChatGPT 對話記錄進行訓練。AI2 非營利研究機構的研究員 Nathan Lambert 表示,如果他是 DeepSeek,絕對會從市場上最好的 API 模型建立大量合成數據。Lambert 指出 DeepSeek 在 GPU 資源上短缺但現金充裕,這實際上為他們提供了更多計算能力。
針對蒸餾爭議,主要 AI 公司已加強安全措施。OpenAI 4 月開始要求組織完成身份驗證程序才能存取某些先進模型,需要來自支援國家的政府核發身份證明,而中國不在支援清單內。Google 最近開始「摘要化」透過 AI Studio 開發者平台提供的模型軌跡,使訓練競爭模型變得更加困難。Anthropic 5 月也宣布將開始摘要化其模型軌跡,聲稱需要保護其「競爭優勢」。
DeepSeek R1-0528 在多項基準測試中表現優異,AIME 2025 數學測試準確率從 70% 提升至 87.5%,LiveCodeBench 編程測試表現從 63.5% 躍升至 73.3%。該模型現在能夠與 OpenAI 的 o3 和 Google Gemini 2.5 Pro 等頂級專有模型競爭。
來源:TechCrunch
分享到 :
最新影片