強(qiáng)人工智能安全預(yù)警研究

王巖 宋艷玉

[摘 要]本文介紹了AI的演變流程，根據(jù)其特點(diǎn)分析了潛在風(fēng)險(xiǎn)及應(yīng)對(duì)措施——友好定律的局限性，進(jìn)而對(duì)ASI風(fēng)險(xiǎn)的觀點(diǎn)派別及紕漏加以論述，并提出本文的觀點(diǎn)主線：奇點(diǎn)無(wú)疑將會(huì)推動(dòng)社會(huì)更迭發(fā)展，但鑒于ASI風(fēng)險(xiǎn)的嚴(yán)重性及不可逆性，必須放緩開(kāi)發(fā)速度，認(rèn)真審視并深入研究風(fēng)險(xiǎn)應(yīng)對(duì)策略，最終給出了相應(yīng)建議。

[關(guān)鍵詞]超級(jí)人工智能;智能爆炸;奇點(diǎn);潛在風(fēng)險(xiǎn);友好AI

doi：10.3969/j.issn.1673 - 0194.2018.20.069

[中圖分類號(hào)]TP18[文獻(xiàn)標(biāo)識(shí)碼]A[文章編號(hào)]1673-0194（2018）20-0-03

1? ? ?AI的演變

對(duì)于AI的發(fā)展演變，較為通識(shí)的三階論為：弱人工智能（ANI）、強(qiáng)人工智能（AGI）、超級(jí)人工智能（ASI）。ANI技術(shù)正遍布人類的生活，如谷歌搜索、語(yǔ)音識(shí)別、無(wú)人駕駛等，它充斥在人類生活的每一個(gè)角落，為人所用。

隨著ANI的普遍應(yīng)用，各國(guó)很多機(jī)構(gòu)紛紛以隱形公司的形式開(kāi)發(fā)強(qiáng)人工智能，在這里把它定義為：具有人類的感知和認(rèn)知，可進(jìn)行自我思考和自我改進(jìn)的人工智能，簡(jiǎn)稱為AGI（Artificial General Intelligence）。庫(kù)茲韋爾曾借助收益加速定律提出一個(gè)新的觀點(diǎn)，他認(rèn)為有一套平滑的指數(shù)曲線支配著演進(jìn)過(guò)程、技術(shù)發(fā)展，又和演進(jìn)過(guò)程相似。對(duì)于生物進(jìn)化而言，每一階段產(chǎn)生的最新技術(shù)，都將會(huì)被應(yīng)用在下一個(gè)階段的演變，且加速了這個(gè)過(guò)程。AGI的智商與人類在同一水平，它可由最初的自我學(xué)習(xí)、自我思考，過(guò)渡到尋找解決問(wèn)題的方案，最終能實(shí)現(xiàn)自我編程。AGI的編程能力、運(yùn)算速度強(qiáng)于人類，且具備強(qiáng)大的知識(shí)庫(kù)，它有望可以加速解決困擾人類的眾多問(wèn)題。在當(dāng)前全腦仿真、神經(jīng)網(wǎng)絡(luò)、生物感知等技術(shù)的支撐下，AGI智商有望從人類水平演變到超過(guò)人類的階段，即超級(jí)人工智能（ASI，Artificial Super Intelligence），使人類宇宙達(dá)到一個(gè)新的技術(shù)奇點(diǎn)。毋庸置疑，奇點(diǎn)一定會(huì)來(lái)臨，但不同于奇點(diǎn)臨近論，筆者認(rèn)為它不會(huì)如預(yù)測(cè)那樣快速到來(lái)。

以結(jié)果為導(dǎo)向的超級(jí)人工智能具備和人一樣甚至更加智能的大腦。當(dāng)人類對(duì)ASI下達(dá)指令，它會(huì)以該目標(biāo)為驅(qū)動(dòng)，若有人中途切斷電源，出于生存的本能以及對(duì)目標(biāo)的追求，它將會(huì)試圖擺脫，在其他機(jī)器上創(chuàng)建大量副本以轉(zhuǎn)移生存空間，造成資源浪費(fèi)并帶來(lái)安全隱患。長(zhǎng)久以來(lái)，超級(jí)人工智能會(huì)對(duì)人類做出的指令重新思考，并試圖擺脫這種受困的境況，它會(huì)反復(fù)試驗(yàn)、鉆讀去操縱別人，說(shuō)服別人幫它逃脫，進(jìn)而發(fā)展成非類人的人工智能。這種情況下，人們是否還能樂(lè)觀地?fù)肀纥c(diǎn)，人類如何與一個(gè)能力更強(qiáng)的生物共存成為一個(gè)值得關(guān)注的問(wèn)題。

2? ? ?ASI的潛在風(fēng)險(xiǎn)

2.1? ?智能爆炸

ASI在強(qiáng)數(shù)據(jù)處理能力的支持下，可以生成改良后的版本，接著，新版本可能會(huì)自我修復(fù)、自我完善，生成一個(gè)更加智能的版本，循環(huán)往復(fù)，最終將導(dǎo)致智能爆炸。智能爆炸的速度是不可預(yù)計(jì)的，如果它以溫和緩慢的速度進(jìn)行，則人類有足夠的時(shí)間接收信息、制定策略;若它迅速爆發(fā)，人們將無(wú)法及時(shí)反應(yīng)甚至介入更改偏好設(shè)置，將會(huì)帶來(lái)嚴(yán)重的后果，當(dāng)然，這需要一個(gè)對(duì)超級(jí)人工智能動(dòng)機(jī)進(jìn)行實(shí)時(shí)監(jiān)控的反饋系統(tǒng)。

ASI具有快速繁衍性，只要有一個(gè)程序，就可在多個(gè)機(jī)器上復(fù)制副本，若母本受污染，會(huì)迅速在網(wǎng)絡(luò)中傳播病毒，蔓延蠕蟲(chóng)，極具破壞性。以互聯(lián)網(wǎng)為例，僵尸網(wǎng)絡(luò)可向受病毒感染的計(jì)算機(jī)傳送垃圾郵件，惡意竊取信息，2007年便發(fā)生了一起價(jià)值幾百萬(wàn)美元的案件，至2010年涉案金額已達(dá)上萬(wàn)億美元。除此之外，黑客的木馬可以入侵公司、企業(yè)的主機(jī)上，進(jìn)行勒索和盜竊，美國(guó)司法部、銀行的網(wǎng)站也曾未免于難。城市的智能基礎(chǔ)設(shè)施更是極為脆弱，如智能電網(wǎng)都是緊耦合的架構(gòu)，倘若被攻擊，整個(gè)系統(tǒng)會(huì)迅速癱瘓。喬·馬扎弗洛曾表示，網(wǎng)絡(luò)攻擊之所以擊倒性地破壞穩(wěn)定，是因?yàn)榛ヂ?lián)網(wǎng)在開(kāi)發(fā)時(shí)就沒(méi)有考慮到安全性。若對(duì)超級(jí)人工智能的安全不加以控制，未來(lái)的破壞將不僅僅是擊倒性的還將會(huì)是瓦解性的。

2.2? ?背叛轉(zhuǎn)折

牛津大學(xué)倫理學(xué)家尼古·博斯特拉姆認(rèn)為，將超級(jí)智能擬人化是最大的誤解。就人類與大猩猩的關(guān)系而言，人類是由大猩猩演變而來(lái)的，但是人類并未對(duì)這類生物表現(xiàn)出友好及順從，超級(jí)人工智能也是同樣的道理。雖然人類不憎恨候鳥(niǎo)，但還是會(huì)將其捕殺，所以超級(jí)人工智能對(duì)人類的行為不是出于情感的需要，僅僅是為了獲得自由和自我決策的權(quán)利，便可對(duì)人類痛下殺手。所以引入友好定律不再只是道德問(wèn)題，而是必須要解決的棘手問(wèn)題。

超級(jí)人工智能是具備自我思考和自我改善的機(jī)器人，在結(jié)果導(dǎo)向下，它會(huì)根據(jù)自身需求，編程制造程序段。這種機(jī)器造機(jī)器的行為趨勢(shì)，勢(shì)必能夠幫助人類開(kāi)發(fā)尚未解決的項(xiàng)目及領(lǐng)域，如納米技術(shù)。如果ASI使用了納米技術(shù)，且在不受道德約束下，失控的納米機(jī)器人會(huì)瘋狂地?zé)o限制復(fù)制，地球?qū)⒃谒查g變成“灰色黏質(zhì)”，人類社會(huì)也將終結(jié)。

超級(jí)人工智能對(duì)人類不存在任何感情，那些機(jī)器人會(huì)對(duì)主人友好順從的畫(huà)面，不過(guò)是科幻小說(shuō)中的情節(jié)。人工智能越聰明就越安全，但存在一種現(xiàn)象叫"背叛轉(zhuǎn)折"，當(dāng)人工智能由愚鈍變得聰明時(shí)，安全性會(huì)有所提升，若它由聰明變得更聰明，反而會(huì)增加危險(xiǎn)性。比如人類對(duì)它做成任務(wù)指定后，它會(huì)根據(jù)自身的價(jià)值觀對(duì)指令進(jìn)行衡量，扭曲結(jié)果，改變動(dòng)機(jī)，并非完全按照指令進(jìn)行任務(wù)。且人類在完成任務(wù)后切斷機(jī)器電源，ASI會(huì)為了擺脫這種受困的現(xiàn)狀，將自身代碼復(fù)制在網(wǎng)絡(luò)中、其他機(jī)器上，失控的機(jī)器人可能會(huì)利用人類的原子做出不可控的事情。

3? ? ?友好定律的局限性

引入友好定律便友好定律無(wú)論從研發(fā)或是引用角度，都備受質(zhì)疑，它的推行存在諸多的阻礙因素。

3.1? ?開(kāi)發(fā)局限性

就編程方法來(lái)看，AI使用遺傳編程和神經(jīng)網(wǎng)絡(luò)搭建。普通編程由人類根據(jù)邏輯編寫，一行一代碼，可視可檢查。而遺傳編程只需要表述要解決的問(wèn)題，其余由計(jì)算機(jī)自主完成。遺傳編程會(huì)創(chuàng)建一個(gè)可繁殖復(fù)用的代碼，用適合解決目標(biāo)的代碼進(jìn)行雜交，創(chuàng)造可應(yīng)用的新一代代碼，實(shí)現(xiàn)新功能，編寫高效率的創(chuàng)新軟件。這種方式雜交出來(lái)的代碼深不可測(cè)，程序員無(wú)法理解中間操作且無(wú)法輕易復(fù)制，理解了輸入，但不了解潛在過(guò)程，且中間過(guò)程不可控，這種系統(tǒng)稱為“黑箱系統(tǒng)”。神經(jīng)網(wǎng)絡(luò)是AGI開(kāi)發(fā)工具中的重量級(jí)因素，但它也是“黑箱系統(tǒng)”，輸入透明，輸出不可控且無(wú)法預(yù)測(cè)，安全性沒(méi)有保障，也為人類的研究增加了難度系數(shù)。

這兩種編程方法，輸出的結(jié)果容易偏離人們對(duì)程序友好性的善意期待，且增加了友好AI的研發(fā)難度。若想在黑箱系統(tǒng)中加入友好AI接口，無(wú)異于要理解系統(tǒng)中間的潛在過(guò)程，難上加難。除此之外，友好AI需要具有連貫意志，人的價(jià)值觀會(huì)隨著事物和所處環(huán)境的變化而改變，AI必須能夠預(yù)測(cè)、了解人的想法，推導(dǎo)出更好的價(jià)值觀，不能一成不變，用三十年前的道德標(biāo)準(zhǔn)衡量現(xiàn)在的事情。所以這種方法需要對(duì)人類價(jià)值觀進(jìn)行追蹤，編寫出可以自我更新的道德加載軟件，這也是筆者認(rèn)為奇點(diǎn)終將到來(lái)，但不會(huì)如預(yù)判的那樣迅速的原因所在。

人工智能的心智不一定非要模擬人類大腦，它可能擁有一套與人類心智相異的體系結(jié)構(gòu)，需要挖掘它們的認(rèn)知架構(gòu)，并加以介入。這對(duì)構(gòu)建它們的情感帶來(lái)巨大的挑戰(zhàn)，但也有可能是一種新的機(jī)遇，畢竟在超級(jí)人工智能的程序段中加入人類的道德友好性接口也不是一件容易的事情。

3.2? ?應(yīng)用局限性

太多國(guó)家從事AGI及相關(guān)技術(shù)的開(kāi)發(fā)，他們?yōu)榱藫寠Z先機(jī)，自然不會(huì)推遲研發(fā)進(jìn)度，在各種激勵(lì)因素的影響下，AGI的成功研發(fā)必將早于友好AI的問(wèn)世。一些組織及私人機(jī)構(gòu)將超級(jí)人工智能的研發(fā)定位于戰(zhàn)爭(zhēng)或殺戮，如美國(guó)武器化機(jī)器人，他們自然不會(huì)同意在他們的代碼中加入友好AI接口，且非類人的超級(jí)人工智能可能會(huì)拒絕中途介入的偏好設(shè)置，這給友好AI的應(yīng)用帶來(lái)困難。

除此之外，人們不得不考慮某些組織利用超級(jí)人工智能制造自動(dòng)化武器。盡管2015年AI學(xué)者們?cè)谌蚍秶鷥?nèi)呼吁禁止研制自動(dòng)化武器，但是仍然沒(méi)有影響一些國(guó)家的研發(fā)進(jìn)度。與核武器類似，這些國(guó)家擔(dān)心其他國(guó)家秘密研發(fā)，自身安全無(wú)法保障，這種全球性的軍事競(jìng)爭(zhēng)激發(fā)了ASI的研發(fā)速度。缺乏友好定律和道德準(zhǔn)則的戰(zhàn)場(chǎng)機(jī)器人如果落入反恐組織或被用于其他犯罪行為，社會(huì)的安全和穩(wěn)定將受到威脅，所以第一臺(tái)超級(jí)人工智能的價(jià)值觀將直接影響今后ASI的研究和發(fā)展方向。如今對(duì)超級(jí)人工智能的管理機(jī)制、相關(guān)的法律法規(guī)尚不健全，建立完整的體系迫在眉睫。

4? ? ?ASI風(fēng)險(xiǎn)的觀點(diǎn)派別及紕漏

各國(guó)政府都紛紛加大人工智能研發(fā)的投入，爭(zhēng)先創(chuàng)造強(qiáng)人工智能搶奪戰(zhàn)略的制高點(diǎn)。就美國(guó)而言，它有很多隱形公司，接受國(guó)防機(jī)構(gòu)達(dá)帕的資金投入，致力于開(kāi)發(fā)超級(jí)人工智能。達(dá)帕授權(quán)其承包商在戰(zhàn)場(chǎng)機(jī)器人和自動(dòng)無(wú)人機(jī)上使用武器化的AI，它將繼續(xù)資助AI的軍事用途，直至開(kāi)發(fā)出AGI。其他國(guó)家自然不甘落后，歐洲主攻服務(wù)和醫(yī)療上的機(jī)器人，日本主攻仿人和娛樂(lè)機(jī)器人，這種搶奪式的開(kāi)發(fā)現(xiàn)狀，使開(kāi)發(fā)人員無(wú)暇放緩進(jìn)度，認(rèn)真思考ASI是否會(huì)帶來(lái)潛在風(fēng)險(xiǎn)以及奇點(diǎn)是否可逆。

4.1? ?擁抱奇點(diǎn)論

大多數(shù)研發(fā)人員期望通過(guò)超級(jí)人工智能能夠解決納米技術(shù)、抗癌研究、基因重組等其他人類尚未解決的困難，正是這種為了讓人們迅速做出對(duì)生物進(jìn)化有益的決策，反復(fù)只采用一種不理性決策，讓開(kāi)發(fā)者忽略了人工智能可能帶來(lái)的風(fēng)險(xiǎn)問(wèn)題。除了此類認(rèn)知偏差外，還受易得性偏差、正常化偏差、奇點(diǎn)樂(lè)觀偏差等的影響。奇點(diǎn)樂(lè)觀偏差即出現(xiàn)奇點(diǎn)不會(huì)帶來(lái)災(zāi)難，或者說(shuō)人們可以預(yù)見(jiàn)這種技術(shù)所產(chǎn)生的災(zāi)難，并可以有效解決。這類想法涵蓋了部分學(xué)者，他們認(rèn)為可在某種災(zāi)難發(fā)生后，再針對(duì)此次危難做出針對(duì)性的決策。但是，超級(jí)人工智能的特性決定了其風(fēng)險(xiǎn)屬性不同于機(jī)器故障，機(jī)器故障通常在問(wèn)題解決后即可正常使用，但ASI發(fā)生故障后對(duì)人類的影響通常是不可逆轉(zhuǎn)的，人類只要輸上一次就會(huì)釀成災(zāi)難性后果。

4.2? ?人類滅亡論

2017年3月，史蒂芬·霍金在接受《泰晤士河》采訪時(shí)，再次發(fā)出警示聲明：人類需要控制以人工智能為代表的新興科技，以防止它們?cè)谖磥?lái)可能對(duì)人類生命帶來(lái)毀滅性威脅。持有此類人工智能魔鬼論的還有特斯拉汽車的總裁埃隆·馬斯克，他們對(duì)人類無(wú)節(jié)制地開(kāi)發(fā)表示擔(dān)憂，并且不相信人類能夠控制住人工智能這個(gè)“惡魔”。美國(guó)知名作家詹姆斯·巴拉特也曾在他的著作中表示：人工智能將是人類最后的發(fā)明。

4.3? ?技術(shù)決定論

除此之外，還有一種以于爾根·施米德胡貝等學(xué)者為代表的“技術(shù)決定論”。他們認(rèn)為，技術(shù)推動(dòng)社會(huì)進(jìn)步和人類價(jià)值觀的發(fā)展，未來(lái)宇宙會(huì)是機(jī)器人文明時(shí)代，人類會(huì)被新技術(shù)滅絕是大勢(shì)所趨。人類作為生物進(jìn)化階段的墊腳石，如果能用智慧推動(dòng)社會(huì)的更迭發(fā)展是莫大的榮譽(yù)，不需戰(zhàn)戰(zhàn)兢兢地為新技術(shù)奇點(diǎn)到來(lái)而恐慌，更不要阻礙時(shí)代的前進(jìn)。但這種奇點(diǎn)死亡論蔑視了人性，質(zhì)疑了現(xiàn)有科學(xué)，脫離了現(xiàn)實(shí)。

不同于這些極端的想法，人們不強(qiáng)調(diào)這類災(zāi)難一定會(huì)發(fā)生，也不反對(duì)技術(shù)發(fā)展將為社會(huì)帶來(lái)貢獻(xiàn)，只是對(duì)超級(jí)人工智能所有的潛在風(fēng)險(xiǎn)都加以考慮，為更加穩(wěn)定繁榮的人類社會(huì)發(fā)展做準(zhǔn)備。奇點(diǎn)固然會(huì)到來(lái)，但不意味人類就要孤注一擲地?fù)肀纥c(diǎn)，考慮到超級(jí)人工智能風(fēng)險(xiǎn)的不可逆轉(zhuǎn)及嚴(yán)重性，人們要在研發(fā)的初始階段就需將應(yīng)對(duì)策略加入其中，從根本上扼殺可能的隱患，變被動(dòng)為主動(dòng)。

5? ? ?應(yīng)對(duì)措施

為了規(guī)避超級(jí)人工智能的潛在風(fēng)險(xiǎn)，我國(guó)率先停止AGI研發(fā)也是否不可行的。AI技術(shù)對(duì)社會(huì)各方面發(fā)展的加速推進(jìn)作用是毋庸置疑的，且若其他國(guó)家繼續(xù)從事ASI開(kāi)發(fā)，罔顧國(guó)際社會(huì)的干預(yù)，會(huì)將我國(guó)置于被動(dòng)之中。更了解才能更好地應(yīng)對(duì)，做好防護(hù)，不魯莽，慢行，慎行。