英皇查理三世 9 月 17 日在蘇格蘭 Dumfries House 主持一場閉門 AI 峰會，邀請 Nvidia、Google DeepMind、OpenAI 及 Anthropic 高層與會，直言 AI 技術一旦落入錯誤人手中，將構成「生存威脅」，呼籲業界在為時已晚前建立足夠管控手段。
峰會地點為英皇莊園 King’s Foundation 總部
這次活動由 Ditchley Foundation、King’s Trust、King’s Foundation 及 Sustainable Markets Initiative 4 個機構共同籌辦，地點是 Dumfries House，即英皇在蘇格蘭 Cumnock 的 Ayrshire 莊園，亦是 King’s Foundation 總部，據 Politico 早前報道，約 30 名業界人士參與這場私人會議，活動沒有公開議程。Reuters 現場報道確認，英皇與 Nvidia 創辦人兼行政總裁黃仁勳、Google DeepMind 創辦人兼主席 Demis Hassabis 一同步入會場。
英皇直斥 AI 構成「生存威脅」 質問管控是否足夠
英皇在演辭中表示，AI 有潛力改善及拯救生命，尤其在生命科學及醫學領域，但其開發者亦愈趨頻密警告，技術可能發展出更黑暗一面，「甚至可能奪去生命」，「我們有迫切需要，充分考慮這類技術落入錯誤人手中的生存威脅，以及被用於潛在災難性方式的風險，」他在 Dumfries House 向與會領袖表示，「難道我們不需要在為時已晚前，建立足夠管控手段？」
他同時形容 AI 發展「引人入迷，同時亦深感憂慮」，並指關心人類道德一面的人正焦急尋求保證，擔心人類將失去對自身命運的掌控，有王室官員解釋，英皇角色是促成對話、凝聚各方，而非表達個人意見。
出席名單涵蓋業界、政府及宗教代表
確認出席者包括 Nvidia 創辦人兼行政總裁黃仁勳、Google DeepMind 創辦人兼主席 Demis Hassabis、OpenAI 財務總監 Sarah Friar、Anthropic 首席全球事務官 Tino Cuéllar，以及英國 AI 事務大臣 Kanishka Narayan，同場亦有教宗良十四世顧問 Paolo Benanti 出席，他一直呼籲各國政府放慢 AI 發展步伐。
Narayan 會後表示，討論集中於企業有責任確保開發 AI 時符合公眾利益，並強調這次峰會並非一次性活動，而是英國就 AI 負責任發展參與的「一系列對話」之一，「我們在測試、理解風險及緩解風險方面，擁有全球最頂尖能力之一」。
Nvidia 行政總裁提「負責任樂觀」論
黃仁勳會後向傳媒表示，AI 開發須建基於「負責任的樂觀」態度，責任主要落在開發者自身，企業須更嚴格確保產品在推出前已準備妥當，「如果未準備好，就先擱置」，他形容業界應該「盡快推進，但不能操之過急」。黃仁勳亦透露，英皇在雙方首次會面時已主動提出 AI 安全議題，「若說誰曾就負責任樂觀最深刻、最有見地地發言，英皇正是其中之一」。
Amodei 呼籲減速 引致業界連鎖反應
峰會召開之際，業界正就 AI 發展步伐展開激烈爭論，Anthropic 行政總裁 Dario Amodei 9 月中在其網站發表文章，呼籲業界放慢先進 AI 模型能力提升速度，並提出多項建議，包括讓外部評估團隊取得類似員工權限，持續監察企業安全實踐。他警告，若不減速，AI 有可能在 6 至 12 個月內具備操控大規模殭屍網絡能力，足以癱瘓整個互聯網。Amodei 表示：「若減速可為我們爭取多 1 至 2 年時間，讓模型未達關鍵能力水平前推進對齊研究，我們就能大幅降低出現嚴重問題的風險。」
Amodei 的呼籲隨即令業界出現連鎖反應，OpenAI 行政總裁 Sam Altman 在 Amodei 發文後，隨即在社交平台表示 OpenAI 將承諾跟從其中一項建議，並透露公司今年不會推行上市計劃，原因是要優先處理「安全及對齊」問題。Elon Musk 亦公開表態支持，形容「Dario 是對的」。
同時 Anthropic 安全團隊 2 名成員 Joe Benton 及 Jacob Coxon 近日相繼辭職，批評公司及競爭對手在超級智能開發競賽中未夠負責任，Coxon 更直言 Anthropic 與 OpenAI「正直衝自我改進超級智能，拿我們生命作賭注」。聯合國人權事務高級專員 Volker Türk 早前亦呼籲各國，在為時已晚前，就 AI 安全及保安建立「堅實保障」。
有評論質疑，這類警告是否意圖幫助現有業界領袖鞏固優勢，而北京方面則已駁斥相關憂慮，形容為企圖控制技術發展的說法。
英皇一直關注 AI 對社會及環境影響
英皇早於 2023 年在 Bletchley Park 舉行的 AI Safety Summit 已談及 AI 議題，當時形容其重要性可媲美「電力發現、原子分裂、萬維網誕生，甚至是火的運用」，他亦多次談及 AI 對環境的影響，與其一貫支持自然保育的立場一致。
