人工智能的真正風險

艾倫·達福（Allan+Dafoe）斯圖爾特·羅素（Stuart+Russell）

最好是期待人類的聰明才智，而非低估它；最好是承認風險的存在，而非否認它

AI對人類是威脅嗎

有新聞報道稱，人工智能（AI）研究盡管在未來可能取得成功且前途不可限量，但潛在的長期風險正逐漸顯示出來。奧倫·埃齊奧尼（Oren Etzioni）是一位知名的人工智能研究人員，他對此感到不滿（參見《專家并不認為超級智能對人類是一種威脅》）。在他直接公開指責牛津大學哲學家尼克·波斯特羅姆（Nick Bostrom）和他的最新著作《超級智能》（Superintelligence）后，埃齊奧尼指出，波斯特羅姆提出的“即將出現的人類層級智能的主要數據源”來自對AI研究人員意見的調查。在此之后，埃齊奧尼自己也對AI研究人員的意見進行了調查，聲稱他得出的結論推翻了波斯特羅姆的觀點。

要知道，埃齊奧尼甚至沒提到為什么他公開譴責《超級智能》所造成的影響，這點很重要。他也沒有解釋清楚為什么超級智能的AI可能會造成無法把控的負面影響，為什么提前開始解決AI的問題是如此重要。波斯特羅姆并沒有把事實建立在超人類AI系統即將來臨的這個預測上，他在著作中寫道：“本書并不是在表明我們正處于人工智能重大突破的開端，也沒有表明我們可以準確預測這一重大進展何時會發生。”

因此，在我們看來，埃齊奧尼的文章轉移了讀者的注意力，使讀者沒有關注該書的核心內容。埃齊奧尼以質疑調查結果為由，直接從個人偏好的角度出發攻擊波斯特羅姆。我們覺得有必要更正一下。我們的一位同事（拉塞爾）甚至還參與了埃齊奧尼的調查，但卻發現他的回答完全被埃齊奧尼曲解了。事實上，根據我們的詳細分析，埃齊奧尼的調查結果與波斯特羅姆的觀點完全一致。

那么，埃齊奧尼是如何得出他的新結論的呢？他自己設計了一份調查問卷，不過問卷的質量比波斯特羅姆的差一些，又對結果進行了錯誤的理解，所以得出了不正確的結論。

文章的副標題是：“如果你問那些真正應該了解的人，那你就會發現沒有多少人認為人工智能對人類是一種威脅”。所以在此情況下，這讓讀者認為埃齊奧尼的確詢問了真正了解AI的專業人士的看法，而波斯特羅姆并沒有。但事實卻正好相反。波斯特羅姆才是真正詢問過的人，而埃齊奧尼誰也沒問過。波斯特羅姆調查了最常受訪的前100位AI研究人員。超過半數的受訪者認為人類層級的機器智能對人類的影響將是“不太好的影響”或是“極其壞的影響（事關存亡的人類大災難）”，這樣的幾率很高（至少有15%的幾率）。埃齊奧尼的調查則不像波斯特羅姆那樣，他根本沒有涵括任何有關人類威脅的問題。

相反，埃齊奧尼對此只問了一個問題，那就是我們何時將實現超級智能。正如波斯特羅姆的數據預測的那樣，在埃齊奧尼的受訪者中，超過一半的人（67.5%）選擇了“至少25年”才能實現超級智能——畢竟，波斯特羅姆有超過一半的受訪者給出的數據是“25年后，僅有50%的可能性達到人類層級的人工智能”。我們的同事（拉塞爾）在埃齊奧尼的調查中給出的回答是“至少25年”。而波斯特羅姆在自己的調查中寫道：“我本人的觀點是，在較晚的實現日期方面，專家調查里的中間人群并沒有足夠的概率分布，所以時間上還無從推測。”

如何看待AI的潛在威脅

在設計出了讓受訪者可能選擇“超過25年”這一選項的調查問卷后，現在埃齊奧尼又陷入了他自己的陷阱：他聲稱25年是一個“無法預見的將來”。所以可由此推測出，無論是拉塞爾還是波斯特羅姆，他們都不認為超級智能對人類是個威脅。這讓拉塞爾和波斯特羅姆都很訝異，可能也會讓調查中許多其他的受訪者也感到驚訝。事實上，埃齊奧尼的文章標題本可以簡單地起為《75%的專家認為走向超級智能是必然的趨勢》。難道因為大部分專家認為超級智能離我們還有至少25年之遠，我們就該忽視它的災難性風險嗎？按照埃齊奧尼的邏輯，我們還應該忽視氣候變化的災難性風險，順便嚴懲提出這些問題的人。

還有一些人與埃齊奧尼和某些AI界人士的觀點相反，他們認為AI的長期風險并不等同于表明超級智能及其伴隨性風險“即將來臨”。曾指出Al風險的人，包括一些杰出人物，比如阿蘭·圖靈、諾伯特·維納、I.J.古德和馬文·明斯基。甚至奧倫·埃齊奧尼自己也承認了這些風險。據我們所知，這些人中沒有任何一個人曾斷言超級智能即將到來，也還未有任何跡象表明超級智能即將來到我們的生活中。波斯特羅姆在《超級智能》中也沒有任何的提及。

之后，埃齊奧尼再次重復了他那令人半信半疑的觀點，“悲觀的預測前景通常沒有考慮到AI在預防醫療事故、減少交通事故等方面的巨大潛力”。對波斯特羅姆來說，埃齊奧尼的觀點根本站不住腳。波斯特羅姆預計在控制AI方面的成功將使人類大范圍地自發使用AI。埃齊奧尼的觀點也十分荒謬。就像是在說分析核電站爆炸可能性的核工程師“沒有考慮到廉價電力的巨大潛力”一樣。因為可能某一天，核電站真的能夠生產出便宜的電了，所以我們既不能提起核電站爆炸的可能性，也不能致力于解決核電站可能爆炸的問題。

切爾諾貝利事件表明，宣稱某一強大技術不會引起任何風險是不明智的。宣稱某一強大技術永遠不會實現也是不明智的。1933年9月11日，盧瑟福勛爵（可能是世界上最杰出的核物理學家）認為通過原子裂變獲得能量，簡直是異想天開。然而在不到24小時之后，利奧·西拉德（Leo Szilard）便發現了中子誘發核鏈式反應。幾年后，核反應堆與核武器的詳細設計便出現了。所以說，最好是期待人類的聰明才智，而非低估它；最好是承認風險的存在，而非否認它。

許多杰出的AI專家已經認識到AI具有威脅人類存續的可能性。但與媒體報道中的失實陳述和誤導說法不同，這種風險不該由自發的惡意引起，而是應來自促進AI發展過程中出現的不可預測性和潛在的不可逆性。早在1960年，諾伯特·維納（Norbert Wiener）就已清楚地闡述過這個問題，但我們直到今天仍沒能解決它。希望讀者能夠支持目前正在進行的努力。

（作者分別為耶魯大學政治學系助理教授、加州大學伯克利分校計算機科學系教授）