福祉亦或災難：智能武器的未來

福祉亦或災難：智能武器的未來

袁 藝

當前，信息化戰(zhàn)爭形態(tài)正由“數(shù)字化+網(wǎng)絡化”的初級階段，向“智能化+類人化”的高級階段加速演進，以戰(zhàn)斗機器人為典型代表的智能武器將主宰未來戰(zhàn)場。我國著名人工智能專家李德毅院士，把智能機器人比作是集汽車、新能源、移動通信、衛(wèi)星定位導航、移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、自動化、人工智能、認知科學，乃至人文藝術等多個學科、多種技術于一身的人造精靈，是人類走向智慧生活的重要伴侶。依此類推，未來的戰(zhàn)斗機器人則可視為將軍們麾下無懼死亡、勇往直前的人造忠誠戰(zhàn)士。

正如聰明的孩子往往更加調(diào)皮和不聽話一樣，武器智能化一旦超過一定程度，“聰明過了頭”，就會存在自作主張、失去控制，甚至危及人類自身安全的危險。人類面臨著既要利用武器高度智能化帶來的可以替人打仗的無比好處，又要回避武器高度智能化帶來的巨大失控風險，軍事技術和武器發(fā)展由此陷入一個兩難困境。

恰佩克是基于捷克語意為“強制勞動力”的詞語創(chuàng)造出“Robot”這個詞匯

智能武器的失控風險

據(jù)稱“Robot”（機器人）一詞，是由捷克作家卡雷爾·恰佩克在1921年的科幻作品《羅薩姆的機器人萬能公司》中首創(chuàng)，原意是“農(nóng)奴式被強迫的勞動者”，用來稱呼那些造反的機器仆人。可以說，從一開始，機器人失控對人類的威脅，就成為人類心中揮之不去的心理陰影。

人類對機器人失控的擔心，不僅反映在科幻小說和影視作品中，還反映在很多學者嚴肅認真的學術探討中。《機器人戰(zhàn)爭——機器人技術革命與21世紀的戰(zhàn)爭》的作者彼得·W·辛格就認為，機器人控制世界需要四個基本條件：第一，機器人必須獨立，能夠不依賴人類而自我補充能量、修復和再造；第二，機器人必須在智力上勝過人類，但不具有人類好的品質（如同情心或道德觀念）；第三，機器人必須具有生存本能，以及控制其周圍環(huán)境的某種興趣和意志；第四，人類必須不能有介入機器人決策的有效控制界面，人類必須沒有能力決定、干涉，甚至影響機器人的決策與行動。從發(fā)展趨勢來看，這四個基本條件在技術上都沒有不可逾越的紅線。因此，從理論上講，如果不采取有效措施，智能武器失控是完全有可能的。

與民用機器人相比，軍用機器人失控的危害性更大，有人甚至擔心，軍用機器人會不會成為“人類終結者”。早在1991年，美國學者史蒂文·謝克和艾倫·懷斯合著的《無人戰(zhàn)爭——未來戰(zhàn)場上的機器人》，是一本較早系統(tǒng)介紹和論述軍用機器人及其影響的專著，書中最后嚴肅地提出了這個問題。未來戰(zhàn)爭中，武器高度智能化后，戰(zhàn)場上大多數(shù)的戰(zhàn)術行動將交由戰(zhàn)斗機器人來完成，人退出戰(zhàn)術級“觀察-判斷-決策-行動”循環(huán)，人授予智能武器開火權，智能武器按照預編程序自行作戰(zhàn)，“人不在回路”了。讓一群冷酷無情、不知疲倦的“殺人機器”沖上戰(zhàn)場，對方的人類士兵自然會心驚膽戰(zhàn)，一旦這些智能武器出現(xiàn)問題失去控制，會不會濫殺無辜，甚至會不會突然掉轉槍口對準自己人呢？!這一擔心，不是杞人憂天，更不是天方夜譚。人是萬物之靈，靈就靈在“有腦子”。人之所以能控制老虎，不是人比老虎強壯，而是人比老虎聰明。機器人的體能、技能超過人類并不可怕，但如果機器人的智能超過人類，人類還能不能控制這種比人類還“聰明”的機器人，那就不好說了。

軍用機器人失控的危險非常大

武器的智能化程度越高，出現(xiàn)故障的概率也就越大

智能武器失控的可能形式

不同自主程度的智能武器失控的可能形式是不一樣的，造成的危害也不盡相同。大致分析，智能武器失控的情況可能主要有以下幾種。

智能武器因發(fā)生故障而失控。在民用機器人方面，因機器人故障而出人命的事早有發(fā)生。1985年，蘇聯(lián)發(fā)生了一起家喻戶曉的智能機器人棋手殺人事件。全蘇國際象棋冠軍古德柯夫同機器人棋手下棋連勝3局，機器人棋手突然向金屬棋盤釋放強大的電流，在眾目睽睽之下將這位國際大師擊倒，這應該是智能機器人發(fā)生故障導致的。

隨著機械制造水平和智能化程度的提高，未來智能武器出現(xiàn)機械故障的可能性減小，但出現(xiàn)軟件故障的可能性大增。

武器系統(tǒng)因軟件故障而導致的事故并不鮮見。20O5年，美國空軍幾架戰(zhàn)斗機在一次編隊飛行時，一架戰(zhàn)斗機突然自動向地面重要設施發(fā)射了一枚導彈，并造成嚴重事故。經(jīng)查明，事故原因是飛機的火控系統(tǒng)電腦出了故障。2011年，在美軍幾次軍演和值勤過程中，三軍通用戰(zhàn)場態(tài)勢分析系統(tǒng)多次發(fā)生軟件故障不能正常工作，出現(xiàn)黑屏、無法顯示友軍信息、無法完成態(tài)勢合成，甚至出現(xiàn)運行中斷、死機等故障，導致戰(zhàn)場態(tài)勢無法及時更新、融合，作戰(zhàn)打擊方案無法按時生成。

根據(jù)墨菲定律，凡是可能出錯的事必定會出錯。武器的智能化程度越高，其內(nèi)部電腦控制軟件的規(guī)模就越大、越復雜，出現(xiàn)故障的概率也就越大。在成千上萬條命令代碼中，即使搞錯一個符號，在特定條件下一旦觸發(fā)這個錯誤，整個系統(tǒng)就可能要么停止運行，要么出現(xiàn)意外舉動。試想一下，智能武器一旦“腦子”出了問題，就像人發(fā)了瘋一樣，拿著武器不分青紅皂白地一頓狂掃，那會是一幅多么可怕的場景！

智能武器受到復雜電磁環(huán)境干擾而失控。據(jù)一名剛從伊拉克歸來的美軍軍士描述，他的“魔爪”機器人如果受到無線電干擾，就會出現(xiàn)“行為異常”。另一名軍士講述，如果他的機器人沒有信號，就會“變得古怪”。按理說，如果由于某種原因使得信號受到干擾或被中斷，機器人應該停止行動才對。當追問軍士“古怪”究竟是什么意思，他回答說：“它會偏離道路，沖你而來，四面旋轉等等。”未來戰(zhàn)爭中，戰(zhàn)場電磁環(huán)境只會變得越來越復雜，智能武器能不能適應復雜電磁環(huán)境，能不能在強烈電子干擾條件下，實時接收人類指令并精準執(zhí)行作戰(zhàn)任務，這都需要經(jīng)過大量的試驗和實戰(zhàn)檢驗后才能得出結論。

智能武器也可能因為判斷失誤而出現(xiàn)失控。戰(zhàn)場上的敵我識別不僅對于人類士兵來說是件難事，對于智能武器來說同樣也不好解決。美國軍方一位機器人項目負責人說：“機器人戰(zhàn)士可以發(fā)現(xiàn)一個人并確定他的位置，然后殺死他。但問題是，怎樣才能不誤傷自己人。對于人類來說，區(qū)分敵人和自己都很難，更何況機器人。”

事實上，人工智能控制的武器由于判斷失誤，已經(jīng)造成巨大慘案。1988年7月3日的波斯灣，美國海軍“文森尼斯”號巡洋艦正在海上游弋執(zhí)行巡邏任務。該艦因裝備了自動化程度極高的新型“宙斯盾”防空系統(tǒng)，綽號為“機器人巡洋艦”。這時，該艦突然發(fā)現(xiàn)一架伊朗民航的A300客機將飛過上空。雖然艦上防空系統(tǒng)處于半自動模式，但電腦系統(tǒng)將客機識別為伊朗空軍的F-14戰(zhàn)斗機，結果艦長授權開火，發(fā)射“標準”防空導彈擊落了客機，造成機上290人全部遇難，包括60多名12歲以下的兒童。無獨有偶，發(fā)生在伊朗客機身上的悲劇，在近20年后的2003年伊拉克戰(zhàn)爭中又再次復現(xiàn)。當時，美軍“愛國者”導彈把兩架盟軍飛機，當成伊拉克的“飛毛腿”導彈擊落。

智能武器因無限自我繁殖而失控。自我繁殖可能是未來納米級智能武器的一種高級功能。納米機器人借助陽光、塵土、海水等物質和能量，可像細菌一樣自我繁殖。殺不絕的納米機器人軍團自然是威力無窮，但一旦失去控制，后果也是不堪設想的。據(jù)專家估計，一個失去控制的正在自我復制的納米機器人，完成130個復制周期只需要3個半小時，考慮到納米機器人向外移動擴張等因素，最多只需數(shù)周時間就可以摧毀地球上的一切生物。

智能武器因具備獨立意識反叛人類而失控。從目前來看，普通電腦的運算結果仍然是明確和可以預見的，因而是可控的，但未來隨著人工智能水平的持續(xù)提高，特別是具備自學習和自進化能力后，電腦的“智商”不斷提高，極可能出現(xiàn)類似人類“思想”的高級思維活動，以及只有人類才具備的喜怒哀樂、自我認同、妒忌羨慕、征服欲望等復雜情感。那么，運算結果就可能是不確定和不可預測的，正是這種隨機的不確定性思維，潛伏著機器人威脅人類安全的危險因素。這就是未來高級智能武器可能失控的內(nèi)在技術原理。目前，科學家正在制造可以產(chǎn)生類似人類無意識反應的機器人，機器人在緊張時會出汗，聽到恐怖故事時甚至會起雞皮疙瘩，這或許是機器人邁向具備人類思想意識的第一步。

智能武器可能具備獨立意識反叛人類而失控

科幻電影《終結者》中的“天網(wǎng)”，原本是軍方的作戰(zhàn)網(wǎng)絡，后來由于具備自我意識，演變?yōu)槲磥硎澜鐧C器人的首領，指揮著機器人到處消滅人類。據(jù)媒體報道，美國科學家公布了一項“機器人大腦”計劃，擬制造巨型中央知識處理器以支持世界各地的無數(shù)機器人。研究人員稱，“機器人大腦”是一套大型計算系統(tǒng)，可以將互聯(lián)網(wǎng)資源、計算機模擬以及機器人試驗中得到的機器人知識，積累成一套全面互聯(lián)的知識庫。世界各地的機器人可以與之聯(lián)網(wǎng)，學習如何倒飲料、如何收拾餐具等一些機器人基本技能。設想一下，一旦這臺“機器人大腦”通過不斷進化，功能越來越強大，具備了獨立的自我意識，以及戰(zhàn)術設計和戰(zhàn)略決策能力，完全有可能將與之相聯(lián)的其他機器人控制并組織起來，形成強大的機器人軍事力量，一起反叛人類。

需要指出的是，智能武器的全面失控，首先應該是由局部失控開始的，有一個漸變過程，這就為人類覺察和控制失控局面提供了機會。如果人類及時采取各種措施，如啟用機器人自毀程序，或用其他機器人“鎮(zhèn)壓”反叛機器人，就可以避免全面失控的出現(xiàn)。科幻作品描述的人類在城市廢墟中到處被機器人追殺的世界末日場景，成為現(xiàn)實的可能性不大。

若能科學掌控，機器人可以為人類所用

應對智能武器失控的措施

未來高度智能化的機器，可能為人類帶來巨大福祉，也可能為人類帶來滅頂之災，人類即將進入歷史上可能最好也可能最壞的時代。對于高度智能化的武器會不會成為“人類終結者”，人們或許還存在分歧，但對于必須采取各種措施限制和避免智能武器濫用武力這一點，各方意見高度一致。

著名科幻小說家艾薩克·阿西莫夫1940年在其經(jīng)典小說《我，機器人》中，首先提出了“機器人三原則”，即：機器人不應傷害人類；機器人必須聽從人類的命令，除非該命令與第一定律相悖；機器人必須保護自己，除非這種保護與以上兩條相矛盾。“機器人三原則”雖然有預見性地制定了機器人與人類相處的基本準則，但主要適應于民用的服務型機器人，如果應用到戰(zhàn)斗機器人身上，還需要做很大的修改才能適應。例如，戰(zhàn)斗機器人應該在達成作戰(zhàn)目的的前提下，以最小傷害程度殺傷敵人，能不奪人性命解決問題就不要使用致命性武器；戰(zhàn)斗機器人必須堅決聽從己方指令去消滅敵人，不能聽從敵方指令，或受外部環(huán)境干擾而改變己方指令；戰(zhàn)斗機器人必須保護自己，但接到己方要求其自毀指令時除外。為努力做到上述幾點，始終把智能武器關在人類“控制圈”內(nèi)，研究人員還真想出了不少點子。

首要和保底的手段，就是在智能武器中嵌入獨立于其自身控制系統(tǒng)的自毀模塊。在智能武器走出生產(chǎn)線即將正式啟動之前，就要設置好這種“后門”式的自毀模塊。一旦智能武器失去控制，人類可以不受外部環(huán)境或智能武器自身干擾，實時啟動自毀程序，實現(xiàn)智能武器不可逆轉的徹底死機或主機殉爆。這一辦法，對于“低智商”的智能武器是可行的。將來一旦出現(xiàn)更加“聰明”的智能武器，能夠“意識”到這一自毀模塊的存在，它可能就會想方設法地去除或干擾自毀模塊，因此必須確保自毀模塊的隱蔽性和可靠性。

在智能武器控制軟件中加入倫理控制程序。智能武器的指揮控制中樞是電腦，而電腦的“智商”全靠預編軟件來實現(xiàn)，在智能武器控制軟件中加入倫理控制程序來限制智能武器的行為，從理論上講，可以避免其“胡來”。美國佐治亞理工學院移動機器人實驗室的羅納德·阿金，設計了名為“潛在行動的多維數(shù)學決策空間”的控制程序，作為戰(zhàn)斗機器人的“道德適配器”。這套融合了人類悔恨、同情、內(nèi)疚等情緒的控制程序，將機器人攜帶的武器系統(tǒng)根據(jù)殺傷力分組，每組武器都有特定的愧疚臨界值。“道德適配器”可根據(jù)傳感器接收到的數(shù)據(jù)和情報，把機器人所有可能的行動分為“道德的”和“不道德的”兩種，并根據(jù)需要選擇適當?shù)奈淦飨到y(tǒng)。機器人在使用大威力武器前，必須經(jīng)過“道德適配器”的審核，只有當使用武器的愧疚臨界值低于標準值才可使用。這一設計思路很好，但問題的難點不是以何種愧疚臨界值來控制何種殺傷力的武器，而是如何精確判斷當前事態(tài)的愧疚臨界值，既不能因臨界值設置過小造成毀傷不夠而達不成作戰(zhàn)目的，又不能因臨界值設置過大而造成不必要的過度殺傷。在瞬息萬變的交戰(zhàn)態(tài)勢中，要做到這一點，人類士兵都很難，戰(zhàn)斗機器人恐怕更難。

2014年9月2日，在英國召開的“邁向自主機器人系統(tǒng)”會議上，英國布里斯托爾機器人實驗室的機器人專家溫菲爾德，演示了一個關于機器人倫理道德的試驗，他為機器人設定了一個阻止其他擬人機器人掉進洞里的程序。當一個擬人機器人向洞口移動時，救人機器人可沖上前去將其推開，但當兩個擬人機器人同時向洞口移動時，救人機器人就因為“選擇”先救誰而陷入困境，有時他救起了一個，另一個掉進洞里；有時他兩個都想救。在33次測試中有14次因為不知道救哪一個而浪費了時間，以至于兩個“人”都掉進了洞里。溫菲爾德認為，雖然根據(jù)設定的行為程序，它可以對他人施救，但它根本不理解這種行為背后的原因，因此他的機器人是“道德僵尸”。溫菲爾德的試驗證明，要給機器人賦予“道德感”是比較困難的。

精確選擇智能武器的目標打擊部位。2006年，美國國防部長辦公室下屬機構——國防安全工作小組，研究討論了如何通過允許“武裝自主系統(tǒng)”“開火摧毀敵方武器系統(tǒng)而非疑似作戰(zhàn)人員”的做法，以減輕人們對潛在“機器人殺手”的種種擔憂。換言之，機器人應該朝坦克或吉普車開火，而不是朝里面的人開火。約翰·S·坎寧是美國海軍水面作戰(zhàn)中心的首席工程師，也是該小組成員之一。他說：“我們的武裝無人系統(tǒng)的設計，要能自動識別、瞄準我們的敵人所用的武器，并能使武器而不是使用這些武器的敵人失效或者遭到摧毀。這樣，我們就有可能解除對我們構成威脅的部隊的武裝，卻不必殺死相關人員。”隨著人工智能的發(fā)展，電腦的模式識別能力將有極大提高，智能武器完全可以把單獨的武器和作戰(zhàn)人員區(qū)分開來。

“打武器不打人”這一做法，對于作戰(zhàn)目標是無人武器的情況確實可行，但作戰(zhàn)目標是載人武器平臺時，實際操作起來會大大增加作戰(zhàn)難度。例如，要想把坦克打癱，又要保證里面的乘員毫發(fā)無損，打履帶是最好的辦法，但打履帶對打擊時機、打擊角度、打擊手段等方面的要求都比較苛刻，在“發(fā)現(xiàn)即摧毀”的未來戰(zhàn)爭中，一味強調(diào)打履帶可能會導致延誤戰(zhàn)機。根據(jù)以往的實際作戰(zhàn)經(jīng)驗，對于“人裝合一”的敵方目標，即使智能武器能夠精心選擇目標打擊部位，附帶損傷也是在所難免的。

只給智能武器配備非致命性武器。把殺人武器交到機器人手中始終讓人不放心，因此有人認為，如果要給機器人配備武器，那也應該配備非致命性武器。這些武器不是用來摧毀或者殺戮，而是用來讓目標失去戰(zhàn)斗力但并不對其造成永久性傷害。正如美國陸軍戰(zhàn)爭學院教授史蒂文·梅茨所講的那樣，“機器人技術和非殺傷性手段，這兩者的結合極其重要。這樣，你可以命令系統(tǒng)只是制服目標，剩下的事情交給警察，而不是‘將目標全部殺死，后事交由上帝處理’。”這一辦法應該說是完全可行的，未來戰(zhàn)爭中失能性武器的可選擇范圍很大，對人員可使用“控腦武器”“嘔吐射線”武器、次生波武器、被稱為“痛苦射線”的定向能“主動拒止系統(tǒng)”、網(wǎng)罩武器，甚至發(fā)射橡皮子彈的警用武器等非致命性武器，對裝備可使用電磁脈沖武器、網(wǎng)絡攻擊武器、高功率微波武器、致發(fā)動機熄火的阻燃泡沫彈等非爆炸性武器。從某種意義上說，新機理、新概念武器為智能武器的失控問題提供了很好的解決方案。

汽車工廠流水裝配線上的機器人

責任編輯：葛 妍