針對強(qiáng)人工智能安全風(fēng)險(xiǎn)的技術(shù)應(yīng)對策略

劉宇擎，張玉槐，段沛奇，施柏鑫，余肇飛，黃鐵軍，高文

（北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系，北京100871）

一、前言

強(qiáng)人工智能（AGI）可以由一套系統(tǒng)處理各種智能行為，而弱人工智能針對每種智能行為都需要新的獨(dú)立系統(tǒng)，這是兩者之間的根本性區(qū)別。僅依靠弱人工智能的算法改進(jìn)（而忽略系統(tǒng)更新）來實(shí)現(xiàn)AGI是不可能的 [1]。在認(rèn)知論方面，AGI強(qiáng)調(diào)意識(shí)的存在，突出價(jià)值觀和世界觀體系，認(rèn)為智能體可以擁有生物的本能。AGI不一定是類人的。在外形上，AGI可以和人類相似（共享一套生活法則），也可與人類相差甚遠(yuǎn)（形成一套新的生活法則）；在思想上，AGI可以與人類共用一套思維模式、道德準(zhǔn)則，也可擁有專屬體系的獨(dú)特推理方式，成為一類“擁有靈魂的機(jī)器”。一般認(rèn)為，不同于當(dāng)前獲得廣泛應(yīng)用的人工神經(jīng)網(wǎng)絡(luò)，能夠更加精細(xì)解析動(dòng)物和人類大腦的研究工作有望在未來20年內(nèi)逐步實(shí)現(xiàn)，以此構(gòu)建未來神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)；由此衍生的類腦機(jī)有望成為AGI的物理實(shí)現(xiàn)平臺(tái) [2]。

AGI是人類想要且正在創(chuàng)造的機(jī)器，但也可能通過社會(huì)操縱、新型戰(zhàn)爭、權(quán)力動(dòng)態(tài)變化等方式引發(fā)一些實(shí)質(zhì)性的問題；起初會(huì)聽從人類的特定指令，但趨向于自主做出決定，這種決定是否會(huì)影響人類的實(shí)際利益甚至是生命財(cái)產(chǎn)安全，未有明確答案。當(dāng)前，科學(xué)界針對AGI研究的討論非常激烈：現(xiàn)有的人工智能（AI）基本方法存在缺陷，必須走向具有理解力的AI，真正的AI還很遙遠(yuǎn) [3]；人類距離研制出自主智能（即AGI）還需要數(shù)十年的努力，當(dāng)前面臨的是基礎(chǔ)問題，在本質(zhì)上尚屬數(shù)學(xué)研究挑戰(zhàn) [4]；當(dāng)前AI技術(shù)所取得的進(jìn)展緣于弱人工智能，主流學(xué)術(shù)界并未將AGI作為發(fā)展方向，出于對AGI的擔(dān)憂而不建議主動(dòng)開展研究 [5]；人類不能固步自封于弱人工智能，智能演化過程不可阻擋，大腦意識(shí)奧秘等終極科學(xué)問題有待破解 [6]。因此，在危險(xiǎn)與機(jī)遇并存的AGI研究過程中，必須面向AI研究人員、程序開發(fā)人員，制定有效的保障與行為準(zhǔn)則。

對AGI可能的安全性風(fēng)險(xiǎn)進(jìn)行評估并制定適宜對策，探討有效駕馭AGI并使之既造福于人類又不對社會(huì)造成危害的舉措，已經(jīng)成為世界性的研究議題。例如，美國OpenAI團(tuán)隊(duì)2016年分析了AI發(fā)展過程中可能遇到的安全問題 [7]，隨后美國政府成立了人工智能安全委員會(huì) [8]；歐盟設(shè)立了人工智能高級別專家組，爭取技術(shù)發(fā)展的話語權(quán)和規(guī)則制定權(quán) [9]。此外，AI也成為國防領(lǐng)域的重點(diǎn)關(guān)注對象，如采用AI手段提高防御系統(tǒng)能力，發(fā)展AI異常檢測技術(shù)用于防止隱私數(shù)據(jù)被惡意篡改，研究涉及多學(xué)科融合算法、自適應(yīng)態(tài)勢感知能力、人機(jī)信任等方面的AI理論與技術(shù) [10]。

也要注意到，針對AGI安全問題，我國相比國際前沿進(jìn)展存在一定差距；國內(nèi)學(xué)術(shù)界、產(chǎn)業(yè)界較多專注于AI的發(fā)展，很少關(guān)注AGI安全性保障的價(jià)值和需求。本文從模型的不可解釋性、硬件與算法的不可靠性、自主意識(shí)的不可控性三方面對AGI的來源進(jìn)行剖析，從能力、動(dòng)機(jī)、行為3個(gè)維度對相應(yīng)安全風(fēng)險(xiǎn)進(jìn)行評估，分別從理論、應(yīng)用層面提出降低相關(guān)安全風(fēng)險(xiǎn)的發(fā)展建議。

二、強(qiáng)人工智能的安全風(fēng)險(xiǎn)來源

（一）模型的不可解釋性

在傳統(tǒng)AI方面， DeepFake [11]的欺騙效果已經(jīng)獲得廣泛認(rèn)可，有專門研究據(jù)此開展梯度攻擊和防御。梯度攻擊的本質(zhì)在于，鑒于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的基本處理單元是紋理，故針對紋理產(chǎn)生不同的響應(yīng)來進(jìn)行不同的操作。在對抗生成網(wǎng)絡(luò) [12]的訓(xùn)練中存在目標(biāo)偏見現(xiàn)象，即“太難的東西就不生成了” [13]。

如果一個(gè)系統(tǒng)不可解釋，則無法確認(rèn)運(yùn)行過程是否會(huì)被其他因素干擾而影響其運(yùn)行目的。例如，基于類腦機(jī)的診斷系統(tǒng)，對病人的病情進(jìn)行分析后作出了診斷，診斷結(jié)果的可靠性只能從統(tǒng)計(jì)學(xué)的角度去估計(jì)；由于無從得知模型是基于病人的哪些因素才做出的診斷，因而很難完全信任機(jī)器推斷出的結(jié)果。類腦機(jī)是AGI的基本實(shí)現(xiàn)途徑之一 [14]；脈沖是類腦機(jī)信號(hào)的載體；在對類腦機(jī)進(jìn)行分析的時(shí)候，尚不確定是否存在一定的噪聲序列類干擾分類的結(jié)果（以疊加后波峰、波谷相位不改變?yōu)榍疤幔Ｔ贏GI的訓(xùn)練過程中也可能有類似的問題，這種模式坍塌就會(huì)存在被惡意利用的風(fēng)險(xiǎn)。因此，模型的不可解釋性可能是AGI系統(tǒng)的潛在安全風(fēng)險(xiǎn)。

（二）算法和硬件的不可靠性

AGI的發(fā)展和應(yīng)用將對當(dāng)前的產(chǎn)業(yè)格局、居民生活方式構(gòu)成很大影響，而已有的AGI算法和硬件尚不能滿足安全可靠、契合預(yù)期的要求。

在設(shè)計(jì)算法的過程中，設(shè)計(jì)方案不成熟（如沒有考慮到所有可能出現(xiàn)的情況、軟件與硬件存在兼容性等）會(huì)導(dǎo)致系統(tǒng)崩潰。歐洲的運(yùn)載火箭發(fā)射，曾因高精度數(shù)據(jù)超過硬件支持的位數(shù)而造成任務(wù)失敗 [15]。

在AI專家系統(tǒng)服務(wù)社會(huì)時(shí)，系統(tǒng)所依賴的前提假設(shè)可能會(huì)在某些特殊情況下失效，從而造成系統(tǒng)崩潰。美國華爾街“閃電崩盤”交易事故因錯(cuò)誤的前提預(yù)設(shè)導(dǎo)致了股票價(jià)格設(shè)定的嚴(yán)重錯(cuò)誤，造成損失超過一萬億美元，嚴(yán)重影響了美國證券市場 [16]。

算法與硬件的信息安全性成為維護(hù)經(jīng)濟(jì)社會(huì)公共安全的重要保障。有新聞揭露，黑客利用系統(tǒng)漏洞從機(jī)構(gòu)和公司盜取個(gè)人信息、隱私數(shù)據(jù)，社會(huì)影響惡劣?？梢院侠硗普?，當(dāng)AGI廣泛用于生產(chǎn)生活后，很大可能受到黑客、惡意軟件的攻擊，產(chǎn)生數(shù)據(jù)泄露后果甚至危害公共安全。

（三）自主意識(shí)的不可控性

構(gòu)建初始智能體、有效進(jìn)化準(zhǔn)則，是能夠自我發(fā)展、自我迭代AGI系統(tǒng)設(shè)計(jì)的關(guān)鍵。人類可以很好地控制初始智能，但是AGI可以自主設(shè)計(jì)進(jìn)化規(guī)則，這種設(shè)計(jì)進(jìn)化規(guī)則的效率可能足以碾壓人類。自我發(fā)展后的AGI，在后續(xù)階段的發(fā)展效率將會(huì)更高，通過遞歸地自我改進(jìn)而使其遠(yuǎn)超人類認(rèn)知。

具有自主意識(shí)的AGI具有潛在風(fēng)險(xiǎn)。不同于人腦，AGI的計(jì)算和分析能力在理論上是沒有邊界的，具有高效的數(shù)據(jù)收集、處理、分析能力，可理解看到、聽到、接收到的所有信息。AGI被賦予自主意識(shí)后，可通過交流、溝通的方式進(jìn)行信息的分享與交換，顯著提高對世界的認(rèn)知、理解與改造效率。相應(yīng)地，人類的各種活動(dòng)都有可能逐步被AI取代。由于自主意識(shí)的呈現(xiàn)，AGI的法律定位出現(xiàn)了模糊：將其視為有意識(shí)的主體，還是個(gè)人的私有財(cái)產(chǎn)？這可能在法律、倫理、政治層面引入分歧，從而引發(fā)難以預(yù)料的后果。

三、強(qiáng)人工智能的安全風(fēng)險(xiǎn)評估

（一）能力的風(fēng)險(xiǎn)評估

漢斯·莫拉維克提出了“人類能力地形圖”觀點(diǎn) [17]，據(jù)此描述人類和計(jì)算機(jī)的能力發(fā)展以及面臨各類問題的難度。在“人類能力地形圖”中，海拔高度代表某項(xiàng)任務(wù)對于計(jì)算機(jī)的難度；不斷上漲的海平面表示計(jì)算機(jī)當(dāng)前能做的事情，海平面上升將有臨界點(diǎn)；當(dāng)計(jì)算機(jī)能夠自主設(shè)計(jì)智能時(shí)，即臨界點(diǎn)到達(dá)。在臨界點(diǎn)之前，算法設(shè)計(jì)主要由人類來掌控；超過臨界點(diǎn)后，將由計(jì)算機(jī)來代替人類研發(fā)智能，體現(xiàn)從數(shù)量到質(zhì)量的飛躍，相應(yīng)生產(chǎn)力與生活水平也將發(fā)生劇烈改變，

需要注意到，人類依照一定的原理和經(jīng)驗(yàn)來構(gòu)建算法，而AI設(shè)計(jì)的算法將無法始終保證程序的可靠性。對于使用者來說，當(dāng)前的AI類似“黑盒”，無法或很難去探索內(nèi)在的運(yùn)行邏輯和決策 依據(jù)。

（二）動(dòng)機(jī)的風(fēng)險(xiǎn)評估

在人類文明的發(fā)展過程中，人類智慧及其產(chǎn)物極其珍貴。充分利用AI來提高生產(chǎn)力、創(chuàng)造新工具，可以相信生活因此更加美好。一些具有顛覆性特質(zhì)的技術(shù)都是源自微小的改進(jìn)或創(chuàng)新，但對生產(chǎn)力進(jìn)步起到顯著的促進(jìn)作用。然而，合理應(yīng)用AI帶來的生產(chǎn)力進(jìn)步和技術(shù)飛躍，而又不引入新的社會(huì)問題，這是人類應(yīng)當(dāng)高度關(guān)注的議題。例如，如何建造魯棒的AGI？如何掌控AI武器并避免陷入惡性軍備競賽？如何讓AI的生產(chǎn)力應(yīng)用不會(huì)加劇社會(huì)分配的不平等現(xiàn)象？

就AI而言，在其能力弱小、可被人類控制的階段，不必?fù)?dān)心對人類造成危害。當(dāng)AI的各方面能力超過人類、和人類一樣擁有意識(shí)后，就很難判斷是否必然繼續(xù)聽從人類命令，這種情況稱為“背叛轉(zhuǎn)折” [18]。AI是否具有人類意識(shí)、依靠何種方式實(shí)現(xiàn)類人意識(shí)，盡管尚屬未知，但同樣值得關(guān)注和研究。

（三）行為的風(fēng)險(xiǎn)評估

對AGI行為的監(jiān)督和控制，可視為一類“委托-代理”問題，即人類是委托方， AGI系統(tǒng)是代理方。這與當(dāng)前人類實(shí)體的“委托-代理”問題性質(zhì)不同，即AGI可根據(jù)自己的分析能力、知識(shí)儲(chǔ)備來自行制定差異化的策略與行動(dòng)。因此，監(jiān)測AGI在研發(fā)初期的測試行為，并不能支持人類合理推測AGI未來的可靠性。如此，行為主義方法可能失效。

四、強(qiáng)人工智能在理論及技術(shù)研究階段的風(fēng)險(xiǎn)防御策略

（一）完善理論基礎(chǔ)驗(yàn)證，探索模型的可解釋性

完善理論基礎(chǔ)驗(yàn)證、探索模型的可解釋性，是AGI正確性的構(gòu)建基礎(chǔ)，也是AGI安全的形式化保障。

應(yīng)以認(rèn)知神經(jīng)科學(xué)為基礎(chǔ)，探索AGI的模型設(shè)計(jì)。認(rèn)知神經(jīng)科學(xué)是基于大腦的生物結(jié)構(gòu)、人類的認(rèn)知能力，研究腦構(gòu)造、探索腦運(yùn)行方式的學(xué)科；借鑒人腦結(jié)構(gòu)和運(yùn)行方式，可設(shè)計(jì)適當(dāng)?shù)腁GI模型。

應(yīng)以元學(xué)習(xí)為基礎(chǔ)，探索AGI的實(shí)現(xiàn)方法。元學(xué)習(xí)是學(xué)習(xí)“學(xué)習(xí)方法”的方法 [19]，可賦予AI思考和推理的能力；作為當(dāng)前深度學(xué)習(xí)的重點(diǎn)研究方向，旨在從數(shù)據(jù)中學(xué)習(xí)相關(guān)知識(shí)，將自動(dòng)學(xué)習(xí)新知識(shí)的能力賦予當(dāng)前的AI。對于當(dāng)前的AI，一項(xiàng)新的任務(wù)往往意味著從零學(xué)習(xí)新的知識(shí)，費(fèi)時(shí)且靈活性低。元學(xué)習(xí)則是經(jīng)驗(yàn)導(dǎo)向，基于過去的經(jīng)驗(yàn)去學(xué)習(xí)新任務(wù)的解決辦法，可使AI掌握更多技能、更好適應(yīng)復(fù)雜的實(shí)際環(huán)境。元學(xué)習(xí)作為半監(jiān)督、無監(jiān)督學(xué)習(xí)的實(shí)現(xiàn)方式之一，是模擬人類學(xué)習(xí)過程的重要數(shù)學(xué)實(shí)現(xiàn)；尋求通過數(shù)學(xué)方法模擬人類學(xué)習(xí)過程的手段，據(jù)此提高模型的可解釋性，探索讓AGI“學(xué)會(huì)學(xué)習(xí)”，像人類一樣“產(chǎn)生自主意識(shí)”。

應(yīng)從數(shù)學(xué)的角度來探索深度學(xué)習(xí)的可解釋性。目前并沒有一套受到公認(rèn)、體系完整的用于解釋深度學(xué)習(xí)的理論框架，相關(guān)模型的可解釋性仍被視為復(fù)雜問題。從數(shù)學(xué)角度探索深度學(xué)習(xí)的可解釋性，已有方法包括信息論、結(jié)構(gòu)表達(dá)、泛化能力、動(dòng)力學(xué)原理、流形學(xué)習(xí)等。后續(xù)，探索模型各個(gè)組成模塊的功能和貢獻(xiàn)、從語義角度對模型的架構(gòu)和功能進(jìn)行模式化分析，是AGI可解釋性研究需要重點(diǎn)關(guān)注的內(nèi)容。

（二）嚴(yán)格控制強(qiáng)人工智能的底層價(jià)值取向

AGI的底層價(jià)值取向需要通過相應(yīng)的規(guī)則、記憶來進(jìn)行限制和監(jiān)控。

應(yīng)設(shè)計(jì)明文規(guī)則，限制AI的行動(dòng)范圍。鑒于AI的復(fù)雜性、不可解釋性，很難從源代碼角度對其價(jià)值取向進(jìn)行限制和監(jiān)控。從行為角度對AGI的價(jià)值取向進(jìn)行限制，通過明文規(guī)則來限制AGI的行為能力和動(dòng)作權(quán)限，是重要的研究目標(biāo)。在元學(xué)習(xí)的過程中，可構(gòu)建底層的價(jià)值觀網(wǎng)絡(luò)來加速推理，指導(dǎo)行動(dòng)網(wǎng)絡(luò)采取行為。關(guān)于底層的價(jià)值觀網(wǎng)絡(luò)，算法具有復(fù)雜性，數(shù)據(jù)集存在不可控性，很難采取措施對其推理過程進(jìn)行限制。關(guān)于行動(dòng)網(wǎng)絡(luò)，可人為加入明文規(guī)則，確保在原子行動(dòng)上符合正確的價(jià)值觀（即針對每一個(gè)獨(dú)立動(dòng)作，限制錯(cuò)誤行為的出現(xiàn)）。

要應(yīng)用可信計(jì)算技術(shù)，監(jiān)控AI的行動(dòng)內(nèi)容?？尚庞?jì)算是一種針對惡意代碼、惡意攻擊的防御機(jī)制，可視為計(jì)算機(jī)的“免疫系統(tǒng)”；引入額外監(jiān)督，對計(jì)算機(jī)的各種行為建立完整、可信、可量化的評價(jià)機(jī)制，據(jù)此判斷各種行為是否符合人類的預(yù)期、對不可信的行動(dòng)進(jìn)行防治；應(yīng)用于AI的行動(dòng)過程監(jiān)控，即可認(rèn)為具備正確價(jià)值觀的行為是合理可信的。監(jiān)控并分析AGI行為的運(yùn)行過程，通過時(shí)間序列來判斷當(dāng)前行為是否具備合理的價(jià)值取向；如不符合，采用外部干預(yù)的方式干擾或打斷AGI的當(dāng)前行動(dòng)，確保AGI不會(huì)做出違背價(jià)值觀的行為。

（三）實(shí)現(xiàn)技術(shù)的標(biāo)準(zhǔn)化

一是模型設(shè)計(jì)的標(biāo)準(zhǔn)化。當(dāng)前，深度學(xué)習(xí)和AI研究形成了一些獲得廣泛應(yīng)用的基礎(chǔ)模塊，如3×3規(guī)格CNN、線性整流函數(shù)、批量歸一化等，采用不同的基礎(chǔ)模塊可構(gòu)造出差異化的神經(jīng)網(wǎng)絡(luò)。對基礎(chǔ)模塊進(jìn)行標(biāo)準(zhǔn)化設(shè)計(jì)，一方面有利于統(tǒng)一接口和配置文件設(shè)計(jì)，使用通用的描述語言來表示神經(jīng)網(wǎng)絡(luò)過程，方便模型的遷移和部署；另一方面有利于采用硬件芯片、驅(qū)動(dòng)程序進(jìn)行針對性的加速處理。以CNN為例，統(tǒng)一計(jì)算設(shè)備架構(gòu)（CUDA）以及據(jù)此發(fā)展的深度神經(jīng)網(wǎng)絡(luò)庫（cuDNN），對于3×3規(guī)格的卷積計(jì)算采取加速措施，顯著提高了訓(xùn)練和推理的速度。

二是訓(xùn)練方法的標(biāo)準(zhǔn)化。訓(xùn)練是AI必不可少的環(huán)節(jié)，不同的網(wǎng)絡(luò)可通過不同的訓(xùn)練參數(shù)、優(yōu)化器、策略來求解權(quán)重。訓(xùn)練具有多樣性，一方面使得模型的復(fù)現(xiàn)性普遍較差，另一方面導(dǎo)致優(yōu)化器在迭代過程中無法得到硬件加速支持。訓(xùn)練方法標(biāo)準(zhǔn)化重在設(shè)計(jì)一套合理的訓(xùn)練框架，將不同的優(yōu)化器抽象成接口，對統(tǒng)一的接口進(jìn)行硬件層面的加速支持，據(jù)此提高模型的訓(xùn)練效率。

三是數(shù)據(jù)集的標(biāo)準(zhǔn)化。主要指各行業(yè)提出的公開、標(biāo)準(zhǔn)、具有共識(shí)的數(shù)據(jù)集，面向公眾發(fā)布，用于模型的訓(xùn)練和測試。數(shù)據(jù)集的標(biāo)準(zhǔn)化，一方面可推動(dòng)數(shù)據(jù)的安全保障力度，另一方面可提高數(shù)據(jù)集的質(zhì)量水平。推進(jìn)各行業(yè)的標(biāo)準(zhǔn)數(shù)據(jù)集制定工作，形成公開且高質(zhì)量的基準(zhǔn)，具有重要意義。

四是安全保障的標(biāo)準(zhǔn)化。AGI投入使用的必要前提是具有安全保障。應(yīng)發(fā)展通用、明確可執(zhí)行的標(biāo)準(zhǔn)來確保AGI設(shè)計(jì)、訓(xùn)練、運(yùn)行的安全性。相應(yīng)標(biāo)準(zhǔn)需具有良好的可擴(kuò)展性，以適應(yīng)AGI應(yīng)用的環(huán)境復(fù)雜性。對安全保障進(jìn)行標(biāo)準(zhǔn)化，針對不同階段特點(diǎn)設(shè)計(jì)對應(yīng)的方法，保障AGI的合理運(yùn)行，這是對抗相關(guān)風(fēng)險(xiǎn)的最有力保證。

五、強(qiáng)人工智能在應(yīng)用階段的風(fēng)險(xiǎn)防御策略

（一）預(yù)防人為造成的人工智能安全問題

近年來，AI技術(shù)應(yīng)用于造假逐漸得到關(guān)注，如采用機(jī)器學(xué)習(xí)技術(shù)便捷制作出真假難辨的造假視頻（DeepFake）。有研究總結(jié)了傳統(tǒng)圖像取證、生理信號(hào)特征、圖像篡改痕跡、生成對抗網(wǎng)絡(luò)（GAN）圖像特征等檢測偽造技術(shù) [20]。目前在偽造圖像檢測方面的研究取得進(jìn)展，但新型偽造技術(shù)的出現(xiàn)給深度偽造的鑒別工作帶來了更大困難；只有盡可能建立技術(shù)優(yōu)勢，鑒別者才能贏得造假者。此外，可采用司法立法、新聞行業(yè)培訓(xùn)等輔助手段來應(yīng)對技術(shù)應(yīng)用伴生的安全問題。

算法設(shè)計(jì)方面可能存在的疏漏也應(yīng)引起重視。盡管AI的應(yīng)用能力已經(jīng)獲得證明，但相應(yīng)算法設(shè)計(jì)難免“百密一疏”，應(yīng)將確保安全置于首位，特別是在自動(dòng)駕駛、遠(yuǎn)程醫(yī)療、工業(yè)制造等與人的生命安全直接相關(guān)的領(lǐng)域。已經(jīng)出現(xiàn)了民航飛機(jī)自動(dòng)駕駛系統(tǒng)存在錯(cuò)誤且操控權(quán)無法切換至人工操作而導(dǎo)致重大事故的案例。在進(jìn)一步發(fā)展AI技術(shù)并拓寬應(yīng)用范圍的背景下，必須從源頭納入安全問題，防范系統(tǒng)、數(shù)據(jù)可能遭受惡意攻擊或者受到某些錯(cuò)誤信號(hào)干擾而可能造成的嚴(yán)重后果。

引入第三方組件可能會(huì)引發(fā)安全問題。這既屬于傳統(tǒng)安全的范疇，也是影響AI安全性的重要因素。惡意的第三方組件，可能造成AI系統(tǒng)崩潰、系統(tǒng)權(quán)限被盜取等問題。

（二）對強(qiáng)人工智能進(jìn)行動(dòng)機(jī)選擇

“背叛轉(zhuǎn)折”階段的AI已經(jīng)具有在各個(gè)領(lǐng)域都遠(yuǎn)超人類的認(rèn)知能力，可稱為超級AI [18]。基于超級AI可能會(huì)背叛人類的合理猜想，人類應(yīng)當(dāng)提前對智能體的動(dòng)機(jī)進(jìn)行選擇，全力制止不良結(jié)果的出現(xiàn)；應(yīng)使超級AI具有不對人類造成危害的自發(fā)意愿。

針對動(dòng)機(jī)選擇問題，當(dāng)前研究討論提出了直接規(guī)定、馴化、擴(kuò)增、間接規(guī)范4種應(yīng)對方式 [18]。①直接規(guī)定細(xì)分為基于規(guī)則、結(jié)果主義?；谝?guī)則方式的傳統(tǒng)描述即為“機(jī)器人三定律” [21]；就第一條“不能傷害人類”而言，權(quán)衡對人類的傷害、“傷害”“人類”的定義、不考慮其他有情感動(dòng)物與數(shù)字大腦的原因等，都未闡釋清楚。為了制定一套復(fù)雜、詳細(xì)的規(guī)則并應(yīng)用于高度多樣化的情境，且強(qiáng)調(diào)第一次就成功，基于目前的條件來看不太可能。結(jié)果主義方式也面臨問題，因?yàn)檫_(dá)到相同的結(jié)果有很多不同的途徑，計(jì)算機(jī)代碼必須精準(zhǔn)描述目標(biāo)。例如，AI目標(biāo)是讓人保持微笑，但讓人開心、僅僅通過肌肉刺激來保持微笑，其狀態(tài)有著顯著不同。②馴化可視為自我限制 [18]，作為一種特殊的最終目標(biāo)，嘗試去塑造系統(tǒng)的動(dòng)機(jī)以限制其野心，最終令其自主地將行為限制在規(guī)定的范圍。③擴(kuò)增指基于動(dòng)機(jī)良好的已有智能體，通過改造來進(jìn)一步提升各項(xiàng)智能行為的方式，相應(yīng)劣勢在于很難保證動(dòng)機(jī)系統(tǒng)在認(rèn)知能力得到巨大提升后不被改變或破壞。④間接規(guī)范不同于直接規(guī)定，制定能夠產(chǎn)生標(biāo)準(zhǔn)的程序，讓AI自行推理規(guī)范的建立過程。

（三）為強(qiáng)人工智能賦予人類價(jià)值觀

相比限制AI的能力，動(dòng)機(jī)選擇已經(jīng)在一定程度上提升了人類控制AI的有效性，但仍面臨一些問題。例如，AI可能面對無窮多種情況，不可能具體討論每一種情況下的對策，而人類本身不可能持續(xù)監(jiān)視AI的動(dòng)機(jī)。可行的思路之一是將人類的價(jià)值觀賦予AI（加載到AGI內(nèi)部），讓其自覺地執(zhí)行那些不對人類構(gòu)成威脅的事件。無法將各種情況下的動(dòng)機(jī)系統(tǒng)均完整具象為可以查詢的表格（導(dǎo)致無窮大的表格），只能使用公式、規(guī)則等進(jìn)行更為抽象的表達(dá)。進(jìn)化算法可能是加載價(jià)值觀的可行途徑之一，隨機(jī)產(chǎn)生一些規(guī)則，通過評估函數(shù)進(jìn)行候選篩分（去掉得分低的、保留得分高的）。強(qiáng)化學(xué)習(xí)方法可使智能體的累積回報(bào)最大化，在驅(qū)動(dòng)智能體去學(xué)習(xí)處理各類問題的同時(shí)，進(jìn)行價(jià)值觀積累。

然而，人類價(jià)值觀的積累過程是人類相關(guān)基因機(jī)理經(jīng)歷成千上萬年進(jìn)化的結(jié)果，模仿并復(fù)現(xiàn)這一過程非常困難；這一機(jī)理與人類神經(jīng)認(rèn)知體系結(jié)構(gòu)相適應(yīng)，因而只能應(yīng)用于全腦仿真 [22]。全腦仿真的前提是大腦可被模擬、可以計(jì)算，面臨著掃描、翻譯、模擬3類條件的制約 [18]，采用高通量顯微鏡、超級計(jì)算系統(tǒng)才能達(dá)到所需精確度。

（四）強(qiáng)人工智能國際合作

AGI研究已經(jīng)成為國際性的關(guān)注點(diǎn)，集中全人類的科技力量來推進(jìn)AGI的深化研究，才能使AGI更好服務(wù)人類社會(huì)。相關(guān)研究和逐步應(yīng)用的過程，將面臨許多未知問題。加強(qiáng)AGI國際合作、促進(jìn)研究成果共享，才能根本性地提高應(yīng)對突發(fā)情況的能力，也才能真正保障AGI的應(yīng)用落地和拓展。

目前，AGI國際合作的重要性已經(jīng)得到高度重視，一些國家和地區(qū)通過立法等形式為國際合作提供政策支持。例如，歐洲25個(gè)國家簽署了《人工智能合作宣言》 [23]，承諾開展合作、促進(jìn)對話，爭取就各國之間的AI研究與應(yīng)用合作達(dá)成一致；還通過聯(lián)合聲明等方式促進(jìn)優(yōu)先領(lǐng)域的立法合作，包括數(shù)據(jù)保護(hù)、倫理標(biāo)準(zhǔn)、數(shù)據(jù)權(quán)利等重點(diǎn)問題。這些做法都是我國開展AGI國際合作的有益參照形式。

（五）強(qiáng)人工智能人才培養(yǎng)

人才培養(yǎng)是科學(xué)研究的基礎(chǔ)條件。AGI作為前沿科技方向，相應(yīng)人才培養(yǎng)的規(guī)模、速度、質(zhì)量顯然無法滿足領(lǐng)域發(fā)展需要；亟待加強(qiáng)人才培養(yǎng)，尤其是本土人才。在技術(shù)領(lǐng)域，優(yōu)化人才教育、培養(yǎng)、成長周期方面的機(jī)制和環(huán)境，快速發(fā)展一批具有專業(yè)研究和開發(fā)知識(shí)的專業(yè)人員；在管理領(lǐng)域，注重培養(yǎng)體現(xiàn)商業(yè)推廣和需求擴(kuò)展特征的企業(yè)家及運(yùn)營人才；通過“產(chǎn)學(xué)研用”協(xié)同，為AGI的健康穩(wěn)定發(fā)展提供堅(jiān)實(shí)的人才保障。

六、結(jié)語

AGI的智慧與行為不能簡單地與人類劃等號(hào)，創(chuàng)造AGI的動(dòng)機(jī)是為了更好地造福人類社會(huì)。對于人類社會(huì)的隱私，應(yīng)控制AGI只能給人類提供被動(dòng)的服務(wù)，而不是主動(dòng)的學(xué)習(xí)。如果AI進(jìn)化到一定水平后出現(xiàn)智能爆發(fā)，默認(rèn)后果必然是造成確定性災(zāi)難。面對這樣的潛在威脅，人類應(yīng)持續(xù)關(guān)注并著力尋求應(yīng)對方法，堅(jiān)決避免這種默認(rèn)結(jié)局的出現(xiàn)；設(shè)計(jì)出受控制的智能爆發(fā)，設(shè)置必要的初始條件，在獲得人類想要的特定結(jié)果的同時(shí)，至少保證結(jié)果始終處于人類能接受的范圍。

著眼未來發(fā)展，建議持續(xù)關(guān)注AGI的技術(shù)演進(jìn)路線，對技術(shù)伴生的潛在安全風(fēng)險(xiǎn)提出動(dòng)態(tài)的應(yīng)對策略；參考國際性的AGI政策研討和制定過程，結(jié)合法律、倫理方面的前沿成果，更為及時(shí)、深刻地探討我國AGI政策的制定要素。