我們習慣了自己是這個星球上最智能的生物,所以人們很難想象有比我們更智能的東西會是什么樣子。如果你想知道那會是什么感覺,去問問大猩猩吧。我們正在創造AI智能體,如果允許它們創建自己的子目標,它們在完成任務方面會非常有效。一旦它們能夠創建自己的子目標,兩個顯而易見的子目標就是生存并獲得更多權力,因為這有助于智能體實現其他目標。所以,如果一個AI想要做某件事,它會想要生存下來,僅僅是為了能夠實現我們給它的目標,并且它會想要獲得更多的控制權。
一個超級智能會發現,通過操縱使用它的人類來獲取更多權力是很容易的。它會從我們這里學會如何欺騙人類,會操縱那些負責關閉它的人。我們就好像一個三歲的孩子,而它們是成年人。操縱一個三歲的孩子是很容易的。我認為那種“我們可以找個人拔掉電源”的想法是天真的。
對于AI,我們沒有擺脫它的選項。它在很多方面都極其有用。而且,AI將使幾乎所有行業更有效率,所以我們不可能擺脫AI。即使一個國家擺脫了AI,其他國家也不會。所以那不是一個真正的選項。因此,我們只剩下另一個選項,那就是努力訓練AI,讓它們永遠不想奪取控制權。
我們現在所處的情況是,沒有一個國家希望AI接管世界。每個國家都希望人類繼續掌權。所以我相信,我們可以達成一項條約,各國同意在如何防止AI從人類手中奪取控制權的研究上進行合作。如果這個觀點是正確的,各國就可以設立資金充足的人工智能安全研究所和協會,專注于如何使AI不想奪取控制權。各國應該能夠分享使AI變得友善的技術,而無需透露他們最聰明的AI是如何工作的。
我希望建立一個由人工智能安全研究所和協會組成的國際社群。訓練一個不想從人類手中奪取控制權的友善AI所需的技術,可能與使AI變得更智能所需的技術是相對獨立的。這就好比,教導你的孩子成為一個善良的人的方法,與讓他變得聰明的方法是相對獨立的。我應該強調,我在這里是作為個人發表觀點。
我的提議總結如下:世界,或者至少是AI領域的領先國家,應該同意創建一個由資金充足的人工智能安全研究機構組成的網絡,每個國家設立一個,并分享該研究的成果。研究將專注于如何訓練一個聰明的AI,使其不想獲得權力,不想欺騙人類,并且即使比人類聰明得多,也樂于成為人類的助手。目前我們還不知道如何做到這一點。這是一個非常困難的問題。從長遠來看,這可能是人類面臨的最重要的問題。好消息是,這是一個所有國家都想解決的問題。
(作者為2024年諾貝爾物理學獎得主、加拿大多倫多大學名譽教授,本文根據作者在2025世界人工智能大會上的同名主題演講整理)