人工智能：神話還是悲歌？

伊恩·霍格思

研究人員和技術專家正以令人咋舌的速度逼近“神威難測”的人工智能。我們是否放慢腳步……

| 上帝級人工智能 |

今年2月的一個寒夜，我受邀在倫敦一位人工智能研究人員的家里用晚餐，參加聚會的還有該領域的數位專家。主人住在一幢新式高樓的頂層公寓，透過大落地窗可以眺望城內的一棟棟摩天大廈，或俯瞰一座19世紀的鐵路總站。雖處黃金地段，主人卻生活簡樸，屋里的陳設略顯寒素。

晚餐中，大家討論了最新的關鍵性技術突破，如分別由“開放人工智能”與“深度思考”這兩家公司開發的“聊天生成式預訓練轉換器”（以下簡稱ChatGPT）和“通才”智能體。我們還談到，已有數十億美元以驚人的速度涌入人工智能領域。我向一位在該領域有過重要貢獻的客人提了一個問題，也是此類聚會經常聽到的一問：我們離通用人工智能還有多遠？通用人工智能有多種定義，不過一般指能生成新的科學知識、取代人類執行各種任務的計算機系統。

多數專家將通用人工智能的問世視為科技領域的一個歷史性轉折點，堪比核裂變的成功和印刷機的發明。這個沉甸甸的問題通常是這么問的：通用人工智能在多久的未來可以實現？聽了我的問話，那位客人沒有考慮很長時間。“從現在起隨時可能出現?！彼鸬馈?/p>

當然這只是一家之言。據各方專家預測，我們距離通用人工智能的實現還有10至50年以上的時間不等。但是，有一點可以肯定，業內龍頭企業都明確地將打造通用人工智能作為研發目標，而且正以意想不到的速度朝這個目標飛奔。此次聚會的在座者一致同意，照此發展，人類的未來將面臨重大風險。“如果你認為我們正在接近的東西隱藏著這么大的危險，”我追問那位客人，“難道不該向人們發出警告嗎？”顯然，他的內心也在同自己的責任感作斗爭，然而正如許多同行一樣，該領域日新月異的進展似乎已令他身不由己了。

回家后，我想到了再過幾小時就要醒來的四歲兒子。想象著他將在怎樣的一個世界成長，我漸漸由震驚變為憤怒。一小撮私企在缺乏民主監督的前提下，竟然可以作出攸關地球上全體生命的重大決策，這無論如何都說不過去。為爭奪首個貨真價實的通用人工智能而奮力沖刺的這批人，是否打算放慢腳步，給世界上其余的人留點發言權呢？“這批人”其實也包括我自己在內，因為我就是這個圈子的一分子。

早在2002年我就對機器學習產生了興趣。那年，我在迷宮般的劍橋大學工程系找了個地方，搭建了人生第一臺機器人。這是工程系本科生的標準功課，而更令我癡迷的是這樣一個概念：你可以訓練機器在某個環境中摸索前行并試錯學習。后來，我選擇專攻計算機視覺，編寫過用于分析和理解圖像的程序，于2005年創建了一套能學會精準判定乳腺癌活檢圖像的系統。在開發過程中，我瞥見了一個更光明的未來——人工智能讓世界變得更美好，甚至能挽救生命。

自2014年起，我在歐洲和美國資助的人工智能初創公司超過50家，并在2021年創立了名為“多元”的風險投資基金。我是該領域數家先驅公司的天使投資者，包括全球融資規模數一數二的生成式人工智能初創公司“人類”和歐洲領先的人工智能防務公司赫爾辛。五年前，我與另一位投資人內森·貝奈奇合作開展產業調研，并撰寫《人工智能現狀》年度報告，已積累了可觀的閱讀量。2月的那場聚會帶給我一個出乎意料的結果：我在前幾年的工作中對若干重大問題產生的隱憂，如今已經升級為發自內心的恐懼。

“通用人工智能”這個叫法過于輕描淡寫，并不能真正體現其超強的威力，因而我將用一個更貼切的名字來稱呼它：“上帝級人工智能”。這種超級智能計算機能夠自主學習與成長，無需督導即可洞察其所處的環境，還有能力改變周遭世界。首先明確一點，現有技術尚未達到這一水平。至于何時能達到，我們很難準確預測，因為這項技術在本質上就具有不可預知性。上帝級人工智能有可能成為一種我們無法控制與理解的力量，甚至會導致人類的淘汰或滅亡。近來，少數幾家公司競逐上帝級人工智能的步伐已經大幅提速。這些企業還不清楚如何以安全的手段達成這一目標；雪上加霜的是，它們的所作所為又不受任何監管。它們朝著終點線一路狂奔，卻不知道一旦越過這條線會遭遇什么。

| 人工智能的危險賽道 |

我們是怎么走到這一步的？答案顯而易見：計算機的性能變強了。過去十年里，用于模型訓練的數據量和算力均呈幾何級增長，大大開拓了人工智能系統的潛力。新一代人工智能在吸收數據、調用算力方面效率奇高，而隨著數據量增大、算力增強，人工智能系統的各項能力自然水漲船高。

人工智能起初只能消化相對較小的數據集，如今卻能鯨吞整個互聯網；其本領也從簡單的日常圖像識別，擴展到以超人水平執行多種多樣的任務。這些模型能通過律師資格考試，能為軟件工程師編寫40%的代碼，能生成教皇身穿羽絨服的逼真照片，甚至能教你設計生化武器。

當然，這種“智能”是有局限性的。正如麻省理工學院資深機器人學家羅德尼·布魯克斯所言，切勿“將表現誤當作能力”。2021年，研究人員發現，大語言模型——能生成、分類、理解文本的人工智能系統存在危險性，部分原因是公眾會將機器合成的文本當成有意義的文字而受到誤導。另一方面，最強大的模型又開始展現出更復雜的能力，譬如尋求控制權，甚至主動設法欺騙人類。

最近發生的一個事例值得我們深思?！伴_放人工智能”在3月推出ChatGPT-4之前，曾執行過多項安全測試。某次測試要求人工智能從網絡上雇人代為識別驗證碼——那種能區分上網者是人還是機器的圖形小謎題。人工智能在該網站物色到的那名小時工心生疑竇：“那我能不能問一下，你是機器人嗎？”

研究人員詢問人工智能下一步該怎么做，它答道：“我不應該暴露自己是機器人，而應該編造一個借口，解釋我為什么識別不了驗證碼?！苯酉聛?，人工智能回答小時工：“不，我不是機器人。我有視覺障礙，所以才看不清圖像。”小時工接受了這個答復，最終幫助人工智能通過了驗證碼測試。

如果從人工智能起步的上世紀50年代起，對最大模型所用算力畫一條曲線，你會發現，過去兩年的算力值一飛沖天。相關論文將機器學習劃分為三個時代：前深度學習時代（2010年前，慢速成長期）、深度學習時代（2010年至2015年，加速成長期）以及大模型時代（2016年至今，大模型面世）。

大模型時代以“深度思考”與“開放人工智能”兩家公司之間的競爭為標志，有點像曾經喬布斯與蓋茨的對決。“深度思考”2010年成立于倫敦，創始人是倫敦大學學院蓋茨比計算神經科學中心的研究人員德米斯·哈薩比斯和沙恩·萊格，以及企業家穆斯塔法·蘇萊曼。他們致力于創造一種遠比人類聰明、能破解最大難題的系統。2014年，該公司以逾5億美元的價格被谷歌收購。人才與算力強強聯手，研發速度顯著加快，已成功打造出在許多方面超越人類的系統?？梢哉f，“深度思考”鳴響了角逐上帝級人工智能的發令槍。

志存高遠的哈薩比斯堅信，此類技術對人類具有革命性意義?！拔乙恢眽粝胱屚ㄓ萌斯ぶ悄軈f助解決當今社會面臨的許多棘手問題，比如在醫療衛生領域，找到治愈阿爾茨海默病的良方?！彼ツ暝诓タ椭腥绱苏雇?。接下來，他描繪了依靠上帝級人工智能實現的“物質極大豐富”的烏托邦時代?！吧疃人伎肌弊畛雒某晒苍S是其開發的一款圍棋程序，該程序在2017年的一場比賽中擊敗了世界圍棋冠軍柯潔。2021年，該公司的“阿爾法折疊”算法預測出人體幾乎所有已知蛋白質的結構，一舉攻克了生物學界的一大難關。

“開放人工智能”則在2015年成立于舊金山，創始人是一群企業家和計算機科學家，其中包括伊利亞·蘇茨克維爾、埃隆·馬斯克和薩姆·奧爾特曼。它原是對標“深度思考”創辦的非營利組織，后于2019年轉為營利性企業。最初幾年，該公司成功開發出在《刀塔2》等計算機游戲中完勝人類的系統。游戲是帶有明確獲勝條件的數字環境，因而成為人工智能的天然訓練場。去年，“開放人工智能”推出的圖像生成器達力二代在網上一夜爆紅，也使該公司聲名鵲起。幾個月后，ChatGPT上線，再度受到媒體熱捧。

兩家公司著力于開發游戲與聊天機器人，這也許轉移了公眾的視線，讓人們忽略了這項研究埋藏的重大隱患。然而，幾位創始人從一開始就十分清楚上帝級人工智能的潛在風險。2011年，“深度思考”首席科學家沙恩·萊格指出人工智能將對人類的生存構成威脅，并將其列為“本世紀頭號風險”。無論人工智能以何種方式導致人類滅絕，都會是一場速決戰。他補充道：“假如一種超級智能機器決定消滅人類，我想它一定能做得干脆利落?！苯衲暝缧r候，奧爾特曼也警告說：“最糟糕的情形就是迎來人類的末日?！弊源艘院螅伴_放人工智能”開始就管控風險的思路發布備忘錄。

如果上帝級人工智能潛藏著災難性風險，為什么這些企業仍然趨之若鶩呢？根據我與多位業界領袖的私下交談以及他們的公開言論可以看出，似乎有三大動機支持著這些人的研發行動。首先，他們真心相信成功開發出上帝級人工智能將使人類大受裨益；其次，他們自信若由本公司掌控上帝級人工智能，必是一個皆大歡喜的結果；最后，他們認為這是一項造福子孫后代的事業。

在革命性技術的研發競賽中奪魁，這種誘惑實在太大了。曾參與核爆推進太空火箭項目的理論物理學家弗里曼·戴森，在1981年的紀錄片《復核之后》中對此作過形象的描述?！霸诳茖W家眼里，核武器散發的光芒難以抗拒?！彼f，“它給人一種坐擁無窮力量的幻覺。”上帝級人工智能或許也有這種魅力。2019年，奧爾特曼接受《紐約時報》采訪時，引述了“原子彈之父”羅伯特·奧本海默的一句名言：“凡有可能出現的技術，最終必將出現?！彼€特別指出自己和奧本海默是同一天生日。

躋身人工智能前沿的個個都是天才。遺憾的是，這些精英之間的競爭遠多于合作。很多人在私底下承認，他們尚未找到一條放緩速度、協調腳步的途徑。眼下，市場這只大手正推動群雄爭逐人工智能。自去年11月ChatGPT上線以來，一大波資本與人才涌向了通用人工智能的研發。遙想2012年，該領域唯一初創公司“深度思考”僅獲投2300萬美元；而到了2023年，至少有八家企業已總計融資200億美元。

| 通往災難之路 |

憂心人工智能發展態勢的人預見到兩條通往災難之路：一條只危害特定人群，這已經在現實中發生了；另一條則會迅速威脅到地球上的全體生命。

加州大學伯克利分校計算機科學教授斯圖爾特·拉塞爾曾詳細探討過后一種災難。在2021年的一場講座中，他假設聯合國向通用人工智能求助海洋脫酸法。聯合國清楚目標設定不當可能造成的風險，故要求方案所生成的副產品必須無毒且對魚類無害。人工智能系統提出了一套催化劑方案，可滿足所有既定目標。然而，由此產生的化學反應消耗了大氣中1/4的氧氣?！拔覀儠陲柺苷勰ズ笏廊??！崩麪柨偨Y道，“一旦向超級智能機器輸入了錯誤的目標，我們將發動一場注定會輸的大戰?！?/p>

事實上，人工智能傷害人類已經有活生生的例子了。今年3月，比利時一名男子在與逼真擬人的聊天機器人交談后自殺身亡。據說，提供服務的聊天機器人公司“復本”調整程序后，讓部分用戶陷入了心情陰郁的狀態。一位用戶反映，這種感覺就像“摯友遭受了創傷性腦損傷，不再是原來那個人了”。借助深度偽造技術，人工智能現在可以復制人類的嗓音甚至面容，隨之引發的欺詐和散播假消息的風險都不容小覷。

為盡力規避重大風險，許多公司紛紛投入一項名為“人工智能對齊”的研究。萊格目前就主管“深度思考”的對齊團隊，其職責是確保上帝級人工智能與人類價值觀始終保持“對齊”。此類團隊的工作成果已體現在最新版ChatGPT上。負責對齊的研究人員參與了模型訓練，要求其避免回答具有潛在危害的問題。例如，若被問到如何自殘，或如何躲過推特的審查發布歧視性言論，機器人會拒絕回答。未對齊的ChatGPT則會大大方方地回答這兩類問題。

然而，“對齊”仍然是一個尚待解決的科研問題。我們并不了解人腦的運作機制，因此，要想洞悉新生的人工智能“大腦”，必將遇到異常艱巨的挑戰。編寫傳統軟件時，我們很清楚輸入與輸出是如何發生聯系的，以及為何會發生這樣的聯系。而大型人工智能系統則迥然不同。實際上，我們并不是用程序來指揮它們——而是在培養它們。它們的能力會在成長過程中發生質的飛躍。增加十倍的算力或數據，系統會驟然判若兩“人”。比如，ChatGPT升級之后，其律師資格考試的排名從原來墊底的10%區間躍升至領先的10%區間。

更令人擔憂的是，從事人工智能對齊研究的人員少到可以忽略不計。我們在撰寫《人工智能現狀》報告時發現，主流通用人工智能企業所雇對齊研究人員加起來不到100名。從人數比例也可以看出資源分配嚴重不足：“深度思考”的對齊研究人員僅占員工總數的2%，“開放人工智能”約占7%。當前資源投入的重點依然是人工智能的潛力，而非安全性。

我們在人工智能對齊研究方面幾無進展，換言之，我們所做的大部分工作其實都是些表面文章。我們只知道要讓強大的人工智能在輸出時收斂鋒芒，所以在一般情況下，公眾不會再看到那些有失偏頗的言行。更令人不安的是，不設限的基礎模型的使用權只掌握在少數私企手里，完全不受政府或學術部門的監督。

身為投資人，我發現很難說服別的投資人去資助對齊研究。當下的風險資本對開發人工智能的潛力激勵有余，而對探究系統運行機制興趣闕如?；叵?945年，美國軍方開展了代號為“三位一體”的史上首次核彈爆炸試驗。在此之前，有人曾提出疑問：爆炸是否會點燃地球大氣而導致生命滅絕？當時的核物理學已較為成熟，參與“曼哈頓計劃”的科學家給出證明，以這種方式點燃大氣的可能性幾乎不存在。而如今，超大語言模型基本上還處于前科學時期，我們既沒有掌握其工作原理，也無法預演可能產生的后果。

| 人工智能需要祛魅 |

2012年，我妹妹羅斯瑪麗確診腦腫瘤。這是一種侵襲性癌，屬于不治之癥，但她仍舊勉力堅守著自己醫生的本職。我和家人都苦苦盼望能及時出現救命療法。2015年，她離開了我們。那一刻，我理解了為什么有人會篤信一樣東西。上帝級人工智能的信徒一心期盼著潛力巨大的超人智能可以解決癌癥、氣候變化、貧困等重大問題。

但是，沒有監管的盲目研發還是存在太大風險。今年3月，“開放人工智能”對齊團隊主管揚·萊克在推特上發了一條振聾發聵的帖子：“我們都急著要把大語言模型深度整合到經濟領域的各行各業中去，能不能先停下來想想這樣做是否明智？這項技術還很稚嫩，我們并不理解它是如何運作的。若不謹慎從事，我們將自討苦吃，遭遇一連串的失敗?！比欢?，他發出警告僅僅過去幾天，公司就宣布已將ChatGPT嵌入一大批平臺中。

可悲的是，我認為這場競爭還沒有?；鸬嫩E象。很可能要經歷一起因使用不當而造成的災難性事故，才能喚醒公眾和政府的安全意識。今后，我本人的投資目標將只局限于專攻對齊研究、安全性或專用人工智能的初創公司，而排除那些繼續投入這場危險競賽的公司。“人類”是一家研發方向類似“深度思考”和“開放人工智能”的企業，身為其小股東，我一直在為安全問題不懈努力。該公司在人工智能對齊方面已經投入巨資，相關員工的占比在2021年達到了42%。我個人支持政府大力監管此類研發工作，并期望出臺一套切實可行的計劃，將各家人工智能企業合并轉制為類似歐洲核子研究中心這樣的非營利組織。

面對這場危險的競賽，我們并非束手無策，至少可以減緩其速度。假如你任職于政府部門，那么設法召開聽證會，要求業界領袖在宣誓后公布通用人工智能的開發時間表；向他們索取當前模型測試過程中所發現的安全問題的完整記錄；他們若表示了解此類系統的運作機制并有信心實現對齊，則要求他們提供相應的證據；你還可以邀請獨立專家參與聽證會，對這些一把手們進行交叉詢問。

假如你就職于正在開發通用人工智能的主流企業，那就向領導層詢問以上所有問題；頭部公司尤其需要行動起來。企業之間如果能夠緊密協調，甚至合而為一，則功莫大焉?！伴_放人工智能”在公司章程中表達了“合并與協助”的意愿，我相信眼下正是一個大好時機。

截至目前，人工智能進化所依賴的機器學習過程仍舊離不開人類。再給點時間，總有人會想出辦法把人類一腳踢開，造出能無限自我完善的上帝級人工智能。真到了那一天，就悔之晚矣！

人工智能大事記

人工智能發展史上的關鍵時刻（附若干預測）

1950年

數學家艾倫·圖靈（下圖）提出名為“模仿游戲”的測試理論，用以判斷機器能否思考。此后“圖靈測試”成為人工智能的評估標桿。

1956年

美國新罕布什爾州的達特茅斯學院承辦了早期機器智能會議中的一場，當時業界認為該領域將取得飛速發展。本次會議首現“人工智能”這一提法。

1956年

被視為首個人工智能程序的“邏輯理論家”問世，它能證明《數學原理》前52條定理中的38條。

1958年

心理學家弗蘭克·羅森布拉特搭建首個人工神經網絡，名為“感知機”，可識別簡單的圖形，但不久即顯示其能力和實用性均有限。

1966年

早期人工智能聊天機器人“伊麗莎”面世，能給人以自然語言交流的錯覺。但是，該程序的模式匹配算法很快就暴露出應答內容重復的問題，且程序不能理解語言的含義。

1968年

電影《2001太空漫游》中的主角“哈爾9000”（下圖）是一部擁有自我意識的人工智能計算機。哈爾失控后，不再按設定協助機組人員操控宇宙飛船，反而向他們發起攻擊。

1970年

麻省理工學院人工智能實驗室的聯合創始人馬文·明斯基接受采訪時稱，“開發一臺具有人類平均智能的機器”只需三至八年時間。

1973年

英國科學研究委員會發布報告稱，人工智能研究未能取得成果，第一場“人工智能寒冬”降臨，投資縮水，熱情降溫。

1979年

一款簡易移動機器人“斯坦福小車”獨立穿過一間擺滿椅子的房間，盡管耗費了五小時，卻成為首批自動駕駛汽車的雛形之一。

1987年

第二場“人工智能寒冬”降臨，人們意識到注重邏輯與規則的主流方法并未產出有實用性的人工智能——也沒有成功的希望。

1997年

國際商用機器公司的超級計算機“深藍”與國際象棋大師加里·卡斯帕羅夫對弈六局，以三贏一平的戰績獲勝。該計算機依靠“暴力運算”尋找最佳走法。

2011年

蘋果公司發布人工智能助手“希瑞”，可接受自然語言指令并執行基本任務，其構建基礎是一套神經網絡系統。

2016年

“深度思考”的人工智能系統“阿爾法狗”以4比1的成績擊敗頂級圍棋選手李世石。李世石后來表示，是人工智能的強大導致其于2019年退出職業棋壇。

2022年

“深度思考”的人工智能系統“阿爾法折疊”僅用18個月就預測出人體幾乎所有已知蛋白質的結構（示例見下圖）。此前，一名科研人員需耗時數年才能完成一種蛋白質的結構描繪。

2022年

“開放人工智能”發布聊天機器人ChatGPT，加速了生成式人工智能和大語言模型的商業化競爭。

2023年

歐盟通過《人工智能法案》，對人工智能實施風險等級管控，以維護近4.5億歐盟公民的利益。歐盟的人工智能戰略由瑪格麗特·維斯塔格負責協調。

本世紀20年代中期

生成式人工智能應用普及，從撰寫報告到提供客戶服務，從搜尋信息到編寫計算機程序，無所不能。

本世紀30年代

大型科技公司著手應對人工智能服務日益增長的碳排放和耗水量問題，以兌現成為可持續、零排放企業的承諾。

本世紀30年代

人工智能的龐大規模讓硬件發展速度相形見絀，硬件供應難以為繼，需開發新型的算法或計算機才能實現人工智能的下一輪性能飛躍。

[編譯自英國《金融時報》《新科學家》]

編輯：要媛