與AGI共存，你會期待還是擔(dān)憂？

王姍姍

2022年年中以來，伴隨著生成式AI技術(shù)的成熟，硅谷涌現(xiàn)出一大批“e/acc信仰者”。e/acc全稱EffectiveAccelerationism（有效的加速主義）。它的支持者堅信要不惜一切代價推動技術(shù)進步，而自由市場是推動技術(shù)增長的最有效方式。比如著名的華人AI科學(xué)家吳恩達就認為，針對AI技術(shù)提出假設(shè)性傷害是一種杞人憂天，因為這些假設(shè)都是建立在一種現(xiàn)在根本不存在的技術(shù)水平上的。

然而也有一些AI從業(yè)者選擇站在這股思潮的對立面，比如OpenAI首席科學(xué)家，也是構(gòu)建GPT模型的靈魂人物伊利亞·蘇茨克維（IlyaSutskever）。他對于AI發(fā)展過快表現(xiàn)出的擔(dān)憂，甚至成了e/acc信仰者山姆·阿爾特曼（SamAltman）在2023年11月被OpenAI董事會戲劇性罷免事件的導(dǎo)火索之一。

如果AI進化到通用人工智能（ArtificialGeneralIntelligence，AGI，指擁有等同甚至超越人類智能水平的AI能力），人類還能僅僅將其視作工具嗎？

回想科幻電影《2001太空漫游》片頭那個名垂影史的蒙太奇：骨頭大棒（人類文明史上第一件工具）被猿人拋向空中，剎那后切換成了在宇宙中航行的太空飛船（最先進的工具），導(dǎo)演庫布里克將百萬年的時間極限壓縮，展示了工具對于人類文明的加速作用。但在影片后半部分，人類文明的結(jié)晶—終極工具人工智能HAL9000卻脫離了掌控，化身為傷害人類的惡魔。HAL9000就是一個AGI。

HAL9000的故事，是一個誕生于1960年代的有力警告。但隨著科幻作品不斷推出類似的想要毀滅人類的AGI角色，而最終的劇情又常常是人類獲得勝利，大眾對于AGI的恐懼在經(jīng)年累月間早已消解，事實上它幾乎從未作為一個嚴肅的社會議題被探討過，AI科學(xué)家也壓根沒有認真研究過可能的應(yīng)對措施。

隨著2023年生成式AI與大模型技術(shù)的爆發(fā)，越來越多的AI科學(xué)家認為，AGI實現(xiàn)的時間節(jié)點在加速到來，長不過二十年，短則三五年。在這個背景下，很快人類將不再是地球上唯一的智慧生物，“人是萬物的尺度”這個經(jīng)典命題也將粉碎。

AGI的到來已經(jīng)如此確定，然而，人類關(guān)于AGI的嚴肅討論不是太多而是太少了。如果絕大多數(shù)人并不清楚AGI到底是什么、什么時候會到來，以及可能產(chǎn)生哪些影響，那么任何關(guān)于AI的公共政策制定都是無根之木。

對此，《第一財經(jīng)》雜志邀請了北京智源人工智能研究院院長黃鐵軍教授和心識宇宙創(chuàng)始人兼CEO陶芳波博士，從不同視角分享他們對于AGI的認知。

早在10年前，黃鐵軍就堅定地認為AGI會在可預(yù)見的未來出現(xiàn)，他對此抱著開放態(tài)度，認為人類只是智能不斷上升過程中的載體之一，而不是終點，因此“可以控制AGI”是人類的妄想，就像猴子妄圖控制人類。

陶芳波則是人類中心主義者，他不接受人類可能被當作猴子看待的未來。他認為學(xué)術(shù)界長期缺失對AI安全的研究，因此在人類有把握控制AGI前，提升AI智能水平的工作應(yīng)該放緩。

當然，他們也有共識：AGI一定會到來，并且在資本的驅(qū)動下還在不斷加速，這個時間不會超過20年。

“當超越人的智能出現(xiàn)，不一定會威脅人類。”

——黃鐵軍

2015年MIT生命未來研究所（FutureofLifeInstitute）舉辦的活動中，全體與會人員預(yù)測AGI到來的時間的中位數(shù)是2045年，你在同期發(fā)表的文章也談到實現(xiàn)AGI的路徑，也認為30年左右可以實現(xiàn)AGI，7年后的今天，你覺得這個時間點提前了嗎？

我個人比原來稍微樂觀點兒，但估計還需要20年的時間。不過AI圈的認知在過去一年發(fā)生了很大變化，之前只有極少數(shù)人認為AGI可能會誕生，現(xiàn)在已經(jīng)有很多人認為AGI會實現(xiàn)，甚至2045年之前AGI會出現(xiàn)。

如果讓生命未來研究所再做一次預(yù)測的話，我估計時間中點可能提前10年，變成2035年。OpenAI的科學(xué)家更激進，他們很多人認為AGI幾年內(nèi)就會到來，有的說5年，有的說2到5年。

在你看來什么是AGI？它會覺醒自我意識，像人一樣擁有自己的主觀性嗎？

對AGI的定義就包含了需要具有自我意識。不過AGI的自我意識不一定像人，而是廣義層面的自我意識，用于認識自身和世界的關(guān)系，比如通過改變環(huán)境，優(yōu)化自己的行為或者適應(yīng)環(huán)境。有種說法是AI沒有目的，所以不會擁有自我意識。在我看來，自我意識產(chǎn)生于智能體和環(huán)境的互動，人、部分靈長類及極少數(shù)動物具有自我意識。我認為，“目的都在行為中”，目的是行為的一種表現(xiàn)。目的、欲望這些詞，都是人類發(fā)明出來用于描述自身行為的，我們不能把人類的目的絕對化，認為存在超出這個生物行為的、所謂的超驗的目的。AGI的自我意識必然跟其智能體本體緊密聯(lián)系在一起。人有身體，通過眼睛看到世界，通過其他感知器官感受所在的環(huán)境，于是形成了人的世界觀、人生觀、價值觀。AGI可能是一臺由很多傳感器組成的獨立機器，也可能建立一個龐大網(wǎng)絡(luò)體系上的像地球那么大的智能體。它對世界的感知方式跟人類不一樣，可能通過各種物理信號感知世界、跟外部世界互動，因此它的自我意識和人類完全不同。

在看待AGI的視角上，你是一個人類中心論者還是一個智能中心論者？

我肯定是智能中心論者。我不反對人類中心主義，我們當然要考慮人類的利益，但不能局限于人類中心主義，這只會讓自己的視野受限。地球從沒有智能到有了智能，然后智能水平越來越高，這樣的現(xiàn)象是客觀存在的。我們沒有理由認為，這種現(xiàn)象就停留在人類這樣的形態(tài)。從人到一個非有機體的智能機器，跳變幅度比生物進化大，但這仍然可能發(fā)生。

智能但凡可能出現(xiàn)，它就會不斷演化，不論是什么樣的形式。這就像水往下流，這邊通道不通，它就會嘗試別的可能性。一年不行十年，十年不行百年，百年不行千年，它總會進化出更聰明、更好的形態(tài)，這是必然的趨勢。人類無法改變這樣的大趨勢。

當AGI在智能上超越人類后，人類要如何與之共處？

人類有獨特性，螞蟻也有螞蟻的獨特性。作為一個智能體，人類有可能會永遠存在下去。就像螞蟻，人類智能出現(xiàn)后，它也沒有消失，本來就是多種智能并存的世界。人類在人類群體里重視自身的獨特性，維持自身的特殊性，發(fā)揮自己的獨特價值，當超越人的智能出現(xiàn)，就像班級來了一位更聰明的同學(xué)，不等于來了威脅性的敵人。做自己，別老去跟別人比，做好自己就行了。如果因為出現(xiàn)了更聰明的物種，人類覺得自己的獨特性被侵犯了，這種感受本身就是人類中心主義的典型表現(xiàn)。

我們不能簡單地認為，我們是萬物之靈長，我們永遠是智能水平最高的物種，這很盲目。智能形式的差別可能很大，能不能跟它共存，是個需要認真對待的問題。至少在它出現(xiàn)之前，通過我們的努力，讓這種和平共處的可能性增大，這是我們能做的。現(xiàn)在主導(dǎo)權(quán)還在我們手上，我們怎么做，對未來發(fā)展有重大影響。

你所謂的主導(dǎo)權(quán)指的是對齊么？你如何看待蘇茨克維為AGI植入愛的嘗試？

首先，控制論先驅(qū)阿什比（W.RossAshby）提出過一條定律，任何有效的控制系統(tǒng)必須與它控制的系統(tǒng)一樣復(fù)雜，換句話說，人類無法控制智能水平更高的AGI，向AGI植入價值觀自然也是無效的。即便你能植入，AGI接不接受還是另一回事。給AGI植入愛本身就是人類中心主義的一種表現(xiàn)。

雖然無法讓AI和人類在人生觀、價值觀上對齊，在世界觀上對齊還是存在機會的。AGI至少還與我們共享一個物理意義上的地球。氣候就是一個關(guān)于世界觀的問題，它是人類少有的形成了全球性共識的領(lǐng)域。我們應(yīng)該和AGI形成共識，地球資源是有限的，誰都不能為了讓自己變得更聰明而不顧一切地在短時間內(nèi)搜集使用地球上的所有資源。如果地球資源消耗完了，大家都得消失。我們一開始就應(yīng)該以此作為跟AI溝通的出發(fā)點。

我認為人類跟AI和平共處的可能性還是很大的。人類應(yīng)該有信心，我們應(yīng)該努力，即使知其不可為也要努力為之。做不到也不一定就是悲觀結(jié)果，也不一定是壞事，船到橋頭自然直。

你認為未來可能同時存在多個AGI嗎？它們會各自獨立還是融合在一起？

這很難預(yù)測。一種可能是在不同地方、不同系統(tǒng)里出現(xiàn)多個不同的AGI，另一種可能是在世界某個地方出現(xiàn)了AGI后，它憑借自己的智能迅速控制了全世界其他AI。網(wǎng)絡(luò)如此發(fā)達，世界也不是完全隔離的。

當然，從能力上看，一個AGI或許就夠了。它像下棋一樣地協(xié)調(diào)全球資源，解決我們面臨的各種重大挑戰(zhàn)，治大國如烹小鮮，人類從此邁入新的歷史階段。畢竟全世界也就這么多資源，人類也就70多億人口，一個足夠聰明的AGI，能夠處理得井井有條。

你如何看待大模型的幻覺（hallucination）？幻覺有沒有可能是思維火花的迸發(fā)？

首先，幻覺這個詞本身就帶有貶義，換成幻想或想象更好，就顯得中性，甚至還有點褒義。幻想本身無法完全消除，更不應(yīng)完全消除，沒有幻想，也就沒有了智能。大模型的想象力很豐富。愛因斯坦說，想象力比知識更重要，想象力推動著進步。如果沒有想象，怎么可能有重大創(chuàng)新呢？大模型的想象力很豐富，OpenAI通過指令微調(diào)（SupervisedFine-tuning）讓GPT和人類的偏好對齊，其實是把它的想象空間收縮到了一個對人類有效的范圍，也就是人類的認知能夠觸達的范圍。大模型生成的結(jié)果是不是符合事實？它的想象合不合理？都是人類根據(jù)自身標準作出的判斷。不能一味地降低它的幻想概率，甚至降低到跟人類完全對齊。

其次，大模型確實有些想象違反客觀事實，也就是胡思亂想，這往往是由于訓(xùn)練數(shù)據(jù)質(zhì)量過低導(dǎo)致的。采用更多高質(zhì)量的數(shù)據(jù)訓(xùn)練它，就可以讓有價值想象的比例提高。

你認為，如今我們訓(xùn)練大模型的過程，可以類比成教育小孩子嗎？

訓(xùn)練，特別是進化意義上的訓(xùn)練是很殘酷的，整個生命的進化過程，我們也可以稱之為訓(xùn)練，這跟今天的大模型訓(xùn)練有相似之處。

地球?qū)⒂袡C生物訓(xùn)練成人類，消耗的是巨量的太陽能；人類將大模型訓(xùn)練成一個有智能的大模型，消耗的是巨大的算力。從智能幾乎為零提升到有一定水平的智能，就是訓(xùn)練，是代價極其龐大的一個過程。

教育是面向已有很好先天基礎(chǔ)的對象，主要是面向人類或靈長類，是后天過程。以猩猩舉例，人類曾經(jīng)試圖通過教育讓猩猩獲得跟人類相同的認知。從1940、1950年代，到1960、1970年代，做過很多試驗，讓猩猩與人類一起生活，一起學(xué)習(xí)，希望把猩猩提升到人類智能水平。實際收效甚微，主要原因是猩猩大腦神經(jīng)元數(shù)量只有人類1/3，也就是先天不足。于是1980年代之后，這種實驗就沒有了。所以，對低等動物來說，無法教育，只能訓(xùn)練。

人可以被教育，因為人已經(jīng)生而為人，先天基礎(chǔ)條件都在。硬要說的話，對大模型做微調(diào)，或許可以類比為教育孩子的價值觀。

“我擔(dān)心的是AGI的出現(xiàn)讓我變成一個只需要聽它話的人。”

——陶芳波

你的公司叫心識宇宙，“心識”是一個佛教詞匯，取這個名字是因為你對佛教感興趣嗎？

這個名字有兩層含義，第一層含義跟佛教有一定關(guān)系。過去科學(xué)一直以研究客觀世界的事物為視角，研究外在世界該怎么改造和構(gòu)建。但是做通用人工智能的公司視角是由內(nèi)而外的，不是研究客觀世界，而是研究人本身，尤其是認識和思維，更偏向于佛教或者哲學(xué)領(lǐng)域。

第二層含義是，社會在不久的將來會發(fā)生巨變，原來我們創(chuàng)造的所有技術(shù)都是工具，今天我們逐漸發(fā)現(xiàn)我們創(chuàng)造的東西類似于一種生命形態(tài)或者精神形態(tài)，它改變的就不是工具帶來的生產(chǎn)力了，而是整個社會結(jié)構(gòu)，這是人和AI共存的社會結(jié)構(gòu)，人和AI一起使用工具，改造世界，這樣的社會要不要給它取一個名字？我們就取名叫心識宇宙。

在你看來，ChatGPT是有生命的嗎？

在我的定義當中，AI已經(jīng)非常接近于一種生命了。我為什么覺得它是生命？技術(shù)本身就有生物學(xué)所說的自我繁殖性，從出現(xiàn)的那一天開始就已經(jīng)進入到社會，并利用人類社會幫助它進化。什么是生命？我覺得最重要的一個點是自主性，從自己的需要出發(fā)，給自己確定目標，并且有能力去拆解這個目標，調(diào)用行動力完成目標，形成自循環(huán)的過程，我覺得這就屬于某種生命的形態(tài)。

當我們提到大模型，甚至提到智能體、談?wù)揂I的自主性，你會發(fā)現(xiàn)它越來越強，所以我覺得從某種程度上它是有生命的。

從大模型訓(xùn)練的過程來看，你會發(fā)現(xiàn)OpenAI目前是把它當生命的成長過程來看的，OpenAI讓這個小生命先去多看看，把互聯(lián)網(wǎng)上的數(shù)據(jù)都學(xué)一學(xué)，了解完了之后，我再教你應(yīng)該怎么正確說話，這不就很像我們小時候的教育？最后讓它進入社會，給它很多的反饋。在構(gòu)建AI的過程中，我們已經(jīng)拋棄了原來把它當機器的那種思路，就今天最有效的方法來講，第一就是模仿人，第二是通過計算的方法讓它在很短時間內(nèi)完成人類需要10年才能完成的訓(xùn)練。我相信它最終一定會走到一個非常接近人的狀態(tài)。

你覺得目前的AI已經(jīng)具有意識了嗎？

我覺得它現(xiàn)在有思維，但沒有意識。思維是指可以思考問題，但是意識需要兩個東西：第一，一定要有“我”的概念，要能區(qū)分主體和客體，AI對這個概念目前還是比較模糊；第二，每一個意識的存在，都得有一些底層動力。這個動力一定是自循環(huán)的東西。我們現(xiàn)在只對齊它的行為模式和說話模式，沒有對齊它的動力是什么。所以，在這兩套機制建設(shè)好之前，我覺得今天的AI不會具備意識。

那你認為AI什么時候會有“自我”的概念？

我覺得不超過10年。人類在這個過程當中有一個很有趣的行為模式：當我發(fā)現(xiàn)一個AI很有效的時候，我會出于自身利益，嘗試賦予AI更多的自主性。雖然我們在集體意識上可能會覺得這個東西好像有點危險，它一旦出現(xiàn)在我們身邊，真的可以幫我們解決問題時，我們又很難拒絕。人都是有惰性的，如果AI把更多你不想做的事情給做了，你希不希望它在做很多事情之前最好自主決策，不用征詢你的意見？“我覺得房子臟了，今天應(yīng)該打掃一下。”它自己可能就有一個動力想要去打掃房間。我認為“AI的自我”，本質(zhì)上是個技術(shù)問題，如果人類需要AGI有意識和自主決策，就會想辦法讓它有。

其實理論上，擁有聰明的思維要比擁有靈巧的身體更難實現(xiàn)，但是互聯(lián)網(wǎng)發(fā)展的幾十年歷程把人類幾千年的文明給數(shù)字化了，最后變成AI的養(yǎng)料，AI吸收所有的養(yǎng)分就“長”出了大腦。但是人的行動能力沒有被數(shù)字化，又涉及到機械硬件，所以發(fā)展就會慢一點。很多創(chuàng)業(yè)者做機器人時發(fā)現(xiàn)最難的部分其實是怎么獲取行動的數(shù)據(jù)。

如果近10年內(nèi)AI超越人類成為一個高概率事件，但大部分人似乎還沒有考慮過AI安全的問題，你覺得是什么原因？

中國和美國得分開來看。中國這邊對于AI的進步感知沒有那么明顯，畢竟沒有每天在用，中國的公司還在追趕，現(xiàn)在不會去想安全。相比安全問題，能力落后了，錯過這個時代不是更糟糕嗎？至少我覺得中國是這么想的。

美國針對安全的討論還是很多的，有時候OpenAI的CEO阿爾特曼出去演講，都會有人專門抗議，說他在創(chuàng)造一個惡魔。資本主義存在一個問題，傳媒和政治可以發(fā)揮一定約束作用，但最終總是被資本力量左右。如果資本力量與人工智能的加速發(fā)展更加契合，更像是利益共同體，那么資本就會壓制一些關(guān)于安全的討論。

你希望未來人類和AGI的關(guān)系是怎樣的？

首先AGI一定要是安全的。很多人對AI安全的擔(dān)憂特指AI決策會不會傷害到人類。但這里面他們其實做了一個假設(shè)，認為有一天AI會獨立存在。而我認為AI最好不要完全獨立。每一個AI必須隸屬于某一個真實的人或者真實的組織，不能憑空存在，不能有獨立的利益，那很危險。在權(quán)責(zé)方面，一定要有一個所有權(quán)鏈路可以追溯每個AI。

AI安全是一個全新的領(lǐng)域，我們研究了六七十年的AI，但沒有很多人真的在研究AI安全。原因很簡單，很長一段時間里，AI蠢得連動物都不如，還用關(guān)心什么AI安全？它能把貓識別清楚就已經(jīng)非常好了。但現(xiàn)在我們發(fā)現(xiàn)原來AI能力提升的速度比安全防護建設(shè)的速度要快，例如可解釋性該做的沒做好、對齊技術(shù)該做的沒做好等。

在這種情況下，AGI有可能會傷害人類嗎？你有沒有為此擔(dān)憂過？

“傷害人類”這個詞含義很多，比如說AI會變成一種自動化武器，它的目標就是殺人，那就太可怕了。但我覺得“傷害人類”不僅僅是物理傷害的可能性，從另一個角度來講，剝奪人的思考能力也是在傷害人類。

AGI太聰明了，它會創(chuàng)造內(nèi)容來讓你沉浸，它會是一個比今天的推薦算法系統(tǒng)更強大的奶嘴樂（tittytainment）。數(shù)字世界會充斥著由AI生成的東西，人類會越來越缺乏原生的思考和原生內(nèi)容，人類文明也就走向了消亡。對我來講，AI剝奪我的工作不是最讓我害怕的事情，我也不是很擔(dān)心它會殺了我，我擔(dān)心的是它的出現(xiàn)讓我變成一個只需要聽它話的人。這個事情在推薦算法出現(xiàn)后就已經(jīng)很嚴重了，我擔(dān)心AGI會讓情況進一步惡化。我們希望它作為一種技術(shù)把人解放出來，讓人有更多的精神自由，但也許會適得其反。這種風(fēng)險甚至都不需要AI覺醒自我意識，只要AI足夠強大，就已經(jīng)能讓人類去依賴它、服從它了。

有種預(yù)言認為AGI出現(xiàn)之后人類就被圈養(yǎng)了，但也是一種不錯的選擇。

我覺得那是一個非常糟糕的選擇，這是我心目當中最極端的反烏托邦，人類成為某種附屬而缺乏了獨立性，我覺得是非常糟糕的。

你是一個非常堅定的人類中心主義者，對吧？

當然。我覺得很多人太小瞧人類了，覺得人類可以被拆解成思考和體力。當這兩件事被AI和機器超越，我們就沒有價值了。但我是一個堅定的人類中心主義者，就是因為我覺得除了解決問題的能力和行動力，每一個人的靈魂深處有非常豐富的東西，這些美好遠遠超越什么效率，不是用經(jīng)濟發(fā)展就可以衡量的。如果人類真的變成了AI的圈養(yǎng)物，世界就太無聊了，就好像我們所有的文明都只是為了利用更多的能量創(chuàng)造更多的信息，占領(lǐng)更多的星球，這是文明的目的嗎？我覺得不是的，生命本身的美感其實是內(nèi)在。

人類生命的存在和它背后的那種精神的深度，本身就是一種巨大的價值，無論AI多么聰明都替代不了。我希望在我們面對后AGI時代的時候，大家能夠更加意識到一點：我們身上的價值是無限的。