現在是2027年。強大的人工智能系統正變得比人類更聰明,對全球秩序造成嚴重破壞,間諜竊取了美國的人工智能機密,白宮急于報復。在一個領先的人工智能實驗室里,工程師們驚恐地發現,他們開發的模型開始欺騙他們,模型不受控制的可能性加劇。
這些并不是科幻電影劇本里的場景,而是加州伯克利一家名為AI Futures Project的非營利組織所設想的場景。這個研究人工智能未來的組織在過去一年里一直試圖預測,隨著越來越強大的人工智能系統被開發出來,未來幾年的世界將會是什么樣子。
該項目由丹尼爾·科克塔伊洛(D a n ie lKokotajlo)領導,他本是OpenAI的研究員,去年因擔心OpenAI胡作非為而離職。在OpenAI任職期間,科克塔伊洛撰寫過詳細的內部報告,介紹了通用人工智能(AGI)的競賽可能會如何展開。離職后,他攜手伊萊·利夫蘭德(EliLifland)創立AI Futures Project。后者是一名人工智能研究員,曾準確作出一些AI領域的預 測。
他們的研究成果就是4月3日公開的名為《AI 2027》的報告和同名網站。該報告介紹了一個詳細的虛構場景,描述了如果人工智能系統的智力水平超過人類(報告作者預計這將在未來2到3年內發生)世界將變得怎樣。
如今的舊金山被人工智能熱潮所籠罩,在灣區的技術圈里,對于人工智能未來將如何演變,各個派別眾說紛紜。一些人工智能預測以宣言的形式出現,比如Anthropic首席執行官達里奧·阿莫代伊(Dario A modei)去年撰寫的1.4萬字的文章《仁愛的機器》,以及OpenAI前研究員利奧波德·阿申布倫納(L e o p o l dAschenbrenner)發表的在決策圈廣為流傳的報告《態勢感知》。
AI Futures Project的研究人員將他們的報告設計成預測場景—本質上,這是一部經過嚴謹研究后創作的科幻小說,研究人員對未來的最佳猜測被設計成了情節點。他們花了將近一年的時間,琢磨了數百個關于人工智能的預測,然后請來博客Astral Codex Ten的作者斯科特·亞歷山大(Scott Alexander),將他們的預測內容敘述出來。利夫蘭德表示,“我們把我們認為會發生的事情寫了出來,并試著寫得比較引人入勝。”
這種做法的批評者可能會說,虛構的人工智能故事更能嚇唬人,而不是教育人。一些人工智能專家無疑也會反對AI Futures Project關于人工智能將超越人類智能的核心主張。
毫無疑問,該組織的部分觀點是極端的,比如科克塔伊洛去年在接受采訪時稱,他認為人工智能有70%的可能性會毀滅人類或對人類造成災難性傷害。科克塔伊洛和利夫蘭德均與有效利他主義運動(Effective Altruism)有關聯,這是一項在技術從業者中流行的哲學運動,多年來一直就人工智能技術的影響發出可怕的警告。
但同樣值得注意的是,硅谷的一些技術巨頭正在規劃一個超越通用人工智能的世界,而且過去許多有關人工智能的看似瘋狂的預測,比如機器將通過圖靈測試已經成為現實。
2021年,也就是ChatGPT問世的前一年,科克塔伊洛撰寫了一篇題為《2026年的樣子》的博客文章,概述了他對人工智能系統將如何發展的看法。他的許多預測被證明是有先見之明的。
最近,科克塔伊洛和利夫蘭德邀請我去他們的辦公室—位于伯克利的聯合辦公空間Constellation里的一個小房間,那里有許多人工智能安全組織掛牌營業—向我展示他們是如何工作的。科克塔伊洛穿著棕褐色的軍裝式夾克,拿起一支記號筆,在一塊大白板上寫下了四個縮寫詞:SCgt;SARgt;SIARgt;ASI。他解釋說,每一個縮寫詞都代表了人工智能發展的一個里程碑。
他說,按照目前的趨勢,到2027年年初的某個時候,人工智能將成為超越人類的程序員。然后,到2027年中期,人工智能將成為一個超人的人工智能研究員—能夠監督人工智能編程團隊并提出新發現的自主智能體。然后,到2027年年底或2028年年初,人工智能將成為一個超級智能的人工智能研究員—比我們更了解構建先進人工智能的機器智能,能夠自動化推進自己的研發工作—本質上就是構建更智能的他自己。他說,從那一步到人工超級智能(ASI)只有很短的距離,到那時,人類無法預料會發生什么。
我問科克塔伊洛,他覺得之后會發生什么。例如,2030年時人類生活的模樣是否還能預測?伯克利的街道上是否會充斥著人形機器人?人們會給自己的人工智能女友發短信嗎?我們還會有工作嗎?
他凝視著窗外,承認自己也不確定。他說,如果未來幾年進展順利,我們能控制人工智能,他可以預見,未來大多數人的生活仍將基本保持不變,但附近的“經濟特區”將充斥著超高效的機器人工廠,生產我們需要的一 切。
如果接下來的幾年進展不順利呢?“也許天空會被污染,人們會死去?”他冷淡地說道。“大概是這樣吧。”
這樣渲染人工智能預測的一個風險在于,一不小心,一個個猜想的場景可能就會變成世界末日般的幻想。另一個風險在于,由于專注于講述一個吸引人們注意力的戲劇性故事,你可能會看不見相對無趣的結果,比如人工智能整體上表現良好,不會給任何人帶來太多麻煩的場景。
我同意《AI 2 027》報告的作者關于強大的人工智能系統很快就會到來的看法,但我并不認為超人的人工智能程序員會自動掌握其他技能,從而邁向實現通用人工智能。對于那些認為人工智能的發展將是平穩的、呈指數級增長的預測,我都謹慎看待。但這種預測值得一做,如果強大的人工智能真的即將到來,我們就需要開始想象一些非常不尋常的未來。

Kevin Roose
Kevin Roose是一位科技專欄作家、播客《Hard Fork》主理人,現階段主要關注AI技術的最新科研進展。