數字智能是否會取代生物智能？

我們習慣了自己是這個星球上最智能的生物，所以人們很難想象有比我們更智能的東西會是什么樣子。如果你想知道那會是什么感覺，去問問大猩猩吧。我們正在創造AI智能體，如果允許它們創建自己的子目標，它們在完成任務方面會非常有效。一旦它們能夠創建自己的子目標，兩個顯而易見的子目標就是生存并獲得更多權力，因為這有助于智能體實現其他目標。所以，如果一個AI想要做某件事，它會想要生存下來，僅僅是為了能夠實現我們給它的目標，并且它會想要獲得更多的控制權。

一個超級智能會發現，通過操縱使用它的人類來獲取更多權力是很容易的。它會從我們這里學會如何欺騙人類，會操縱那些負責關閉它的人。我們就好像一個三歲的孩子，而它們是成年人。操縱一個三歲的孩子是很容易的。我認為那種“我們可以找個人拔掉電源”的想法是天真的。

對于AI，我們沒有擺脫它的選項。它在很多方面都極其有用。而且，AI將使幾乎所有行業更有效率，所以我們不可能擺脫AI。即使一個國家擺脫了AI，其他國家也不會。所以那不是一個真正的選項。因此，我們只剩下另一個選項，那就是努力訓練AI，讓它們永遠不想奪取控制權。

我們現在所處的情況是，沒有一個國家希望AI接管世界。每個國家都希望人類繼續掌權。所以我相信，我們可以達成一項條約，各國同意在如何防止AI從人類手中奪取控制權的研究上進行合作。如果這個觀點是正確的，各國就可以設立資金充足的人工智能安全研究所和協會，專注于如何使AI不想奪取控制權。各國應該能夠分享使AI變得友善的技術，而無需透露他們最聰明的AI是如何工作的。

我希望建立一個由人工智能安全研究所和協會組成的國際社群。訓練一個不想從人類手中奪取控制權的友善AI所需的技術，可能與使AI變得更智能所需的技術是相對獨立的。這就好比，教導你的孩子成為一個善良的人的方法，與讓他變得聰明的方法是相對獨立的。我應該強調，我在這里是作為個人發表觀點。

我的提議總結如下：世界，或者至少是AI領域的領先國家，應該同意創建一個由資金充足的人工智能安全研究機構組成的網絡，每個國家設立一個，并分享該研究的成果。研究將專注于如何訓練一個聰明的AI，使其不想獲得權力，不想欺騙人類，并且即使比人類聰明得多，也樂于成為人類的助手。目前我們還不知道如何做到這一點。這是一個非常困難的問題。從長遠來看，這可能是人類面臨的最重要的問題。好消息是，這是一個所有國家都想解決的問題。

（作者為2024年諾貝爾物理學獎得主、加拿大多倫多大學名譽教授，本文根據作者在2025世界人工智能大會上的同名主題演講整理）