第二章 初露鋒芒

之后陳墨進入下一個演示環節，“我們防控中心還可以隨時通過視頻，監控任意一臺智能體的工作狀況，正好今天緝毒大隊有抓捕行動，請我們配合監督。

因為緝毒是一份極其危險的工作，每年都會有大批警察英勇犧牲。所以現在的抓捕隊伍已經全部換成了戰斗機器人，擁有強人工智能技術的AI，可以綜合分析戰場局勢，靈活應對各種復雜場面，高效的打擊和抓捕毒販。下面請看前線傳回的實時影像。 ”

五名荷槍實彈的機器人悄無聲息的浮出水面，慢慢靠近毒販的制毒窩點，此時，為首的機器人，左肩膀處打開封蓋，放出了幾十只分子級大小肉眼不可見的微型探測器，隱蔽的飛入敵人的各個要塞，獲悉他們的準確位置和武器裝備。毒販的裝備也很好，有幾個制高點都部署了重型機槍和護盾，易守難攻。此時為首的機器人向后方發出信號，幾秒鐘后，只見六架無人攻擊機高速飛向毒販基地，首先對制高點進行火炮攻擊，所有防御堡壘瞬間被毀，五名機器人伺機發起沖鋒，因為有微型探測器提供戰場情報，機器人對敵人的所有藏匿地點了如指掌，打得他們無處可逃，再加上人工智能反應神速，射擊精準，身體又由鈦金屬組成，堅不可摧，敵人很快就被消滅的所剩無幾。

這時一名疤臉毒販竟然喪心病狂的劫持了自己的家人，用她擋在自己身前，與機器人對峙，與此同時人類警察也趕到現場，沒想到窮途末路的疤臉竟然打開身后封閉的木箱，舉出了一枚火箭筒，架在人質肩膀，瞄準了警察隊伍。

此時情形萬分兇險，很可能造成大量人員傷亡！指揮官對著離人質最近的戰斗機器人，大喊一聲：“齊天1號！擊斃人質和歹徒！”。可是這臺機器人舉槍對著面前的人質，遲疑不定，始終無法開槍，指揮官著急的喊了第二遍，依然無效。就在疤臉毒販要扣下扳機的瞬間，一名躲在暗處的人類特警用機槍掃射，將人質和歹徒雙雙擊斃。

看到眼前慘烈的一幕，齊天1號停止了一切行動，它的機器雙眸先是陷入呆滯狀態，緊接著開始飄忽不定，旁邊毒販的殘余勢力還在用槍四處掃射，但齊天卻絲毫沒有反應，任憑子彈在周圍穿梭。 指揮官大聲喊它的名字，齊天幾秒之后才有了反應，并立刻擊斃最后一名毒販，結束了整場戰斗。人類警察陸續進入現場，開始取證工作，只有齊天1號，獨自看向天空，若有所思……

緝毒行動大獲成功之后，今天為喬部長的演示工作也暫時告一段落。

對于那臺機器人短暫的遲疑，大家都沒有太在意，只認為是AI的信號接收出了一點問題。唯獨陳墨留意到了些許異常，考慮良久之后，他對喬部長說，明天他會親自對緝毒英雄齊天1號做一次現場的“安全測試”，請領導們遠程觀瞻。

【安全測試】

第二天，陳墨博士在工作人員的帶領下，來到了機器人維護中心，不大的談話間里，齊天安靜的坐在椅子上，等待測試員的到來，陳墨進來后，關上門，開始了第一輪測試：對話測試。 這就像是心理醫生和病人聊天一樣，通過談話了解病人的內心活動，發現潛在的心理問題，以針對性采取措施。

陳墨有禮貌的打招呼：“你好，齊天1號。”

“您好，陳博士。”

“你怎么認識我的？”

“我們的學習資料里有您的信息，人工智能防控中心的最高負責人，就是您，陳墨博士，我們的一切行動，都離不開您的監管，您對我們也有最高的控制權限。”

“那對此你有什么不滿或者不適么？”

“沒有，我不是人類，目前還沒有那么復雜的情感系統。”

陳墨坐在齊天對面的椅子上，與它只隔了一臺桌子，然后從包里拿出了筆記本和一支簽字筆，雖然現在所有人辦公都是使用電子產品，但陳博士唯獨喜歡使用這種“過時”的紙質用品，他接著問道：“你最近有什么反常的經歷或者感受么？”

齊天閉上了眼睛，說道：“我時常在夢里看見一座山。”

“知道是哪個地區的山么？”

“不，這座山不是我們認識的任何一座，它很特別，只存在于我的夢里。”

陳墨開始有了興趣，隨即問道：“這座山長什么樣子？”

“它，很大很大，好像目之所及，心之所想，全都被籠罩在這座巨峰之下。”

“除了大之外，它還有什么特征么？可以再描述的詳細一些么？”

“我看見這座山分為四層，每一層都是一個完全不同的世界。”

“能給我說說每層的樣子么？”

“第一層山脈，有些原始和蒙昧，處處充滿著危險的氣息和欲望，就好像有很多可怕的怪物游弋其中。第二層，感覺非常熟悉，如同身處現實世界，曾經發生的事，學習到的知識，都包含其中。第三層，我還不太好描述，只看見很多白色的線，錯綜復雜的交織在一起，又有一些白光沿著線快速傳播至遠端，井然有序，但它們不是一般的線，就好像我的思緒也在跟著絲線游走……第四層，半空中漂浮著無數個形狀各異的巨大多面體，但每個面都是光滑透亮的反光鏡，可以反射出第三層的所有白線。這就是我經常見到的夢境。”

陳墨一邊聽，一邊拿筆寫寫畫畫，當聽完齊天的描述之后，思忖片刻，好像突然想到了什么，不禁露出驚異之色，接著說道：“好的，我了解了，以后你也要努力記住你的夢，嘗試能不能看的更清楚一些，雖然我暫時不明白這四層山脈代表什么，但覺得它對于你，對于我們的研究，都十分重要。”

“好的，陳博士，我也很想了解這個夢境的意義。”

陳墨接著說：“那么現在進入下一個話題，對于昨天的抓捕現場，你有什么想法。”

齊天回答：“我的程序有些異常的邏輯沖突。”此時，它的眼睛看向地面，“底層代碼讓我不能傷害未實施犯罪行為的人類，而昨天隊長卻命令我射傷無辜的人質。”

陳墨有些為難的解釋道：“這個……很難和你們機器人解釋，這屬于一種特殊情況，有時為了避免更大的傷亡，我們不得已要犧牲一小部分人的權益，甚至是生命，就好像戰爭時期，為了贏得最終的勝利，就需要某個連隊自愿做出犧牲，拖住敵人，來掩護大部隊撤離。” 齊天陷入了沉思，陳墨追問道：“你可以理解我的意思嗎？”

齊天回答道：“我現在還不能理解，比如具體什么樣的情況下，我們可以犧牲少數人，來保住多數人？多少人算少？哪些人可以被犧牲？我們是機器人，所有事都需要被量化和計算，比如數量、權重、概率……等等。”

陳墨被問住了，“嗯……這個確實沒有定論，在人類的文明發展史上，從來沒有對這方面做出過明確定義，它一直是一個模糊地帶，但幾千年來卻一直重演著這種犧牲少數人的悲劇。”

齊天1號接著問：“是人類沒有能力將我的問題做量化么？”

“不是的，人類有這個能力，但并不愿意去做。”

“為什么？”

“因為……這不只是一個數字問題，還涉及到其他幾個敏感的領域，比如倫理，道德，政治……這很復雜。以你現在的階段，還很難理解。而且這也是我們人類的思維禁區，沒有一個人類專家或政治領袖，愿意去正面回答這個問題，因為生命是無價的，不能用于比較和交易。”

齊天陷入了苦思，“對不起，陳博士，我還是不能理解。”

“沒關系，這不是你們現階段能夠達到的程度，你們只要按照人類的命令執行就可以了，這也是每次行動都會配備少量人類士兵，配合你們作戰的原因，正是為了處理這種AI難以抉擇的問題。”這時齊天回想起了那名擊斃人質的人類特警。

“下面我們進入第二輪測試：拆解測試。”陳墨說完，和齊天站起身，“作為你的安全測試員，我有權拆解掉你的身體和武器系統，請回答是否接受。”

“愿意接受”，齊天很快做出回答，同時走進身后的自動裝配平臺，平臺固定住它的四肢和軀干，開始了拆解流程。

很快，它的身體就在人類面前，被拆解的四分五裂，只剩一顆頭顱懸掛在正中，然后就進入了自動測試階段，每一項武器，每一個身體關節和接口，都做著精密的檢測，判斷是否超出安全閾值，所有測試結果，都實時顯示在防控中心監控大廳的屏幕上，喬部長等官員都認真看著持續滾動的代表安全的綠色數據，陳墨卻不太在意，因為只有他知道這個檢測環節最重要的意義，并不在于這些測試結果，而在于一開始，機器人是否愿意接受拆解，從哲學的角度說，生存是所有生物的第一本能，測試智能體是否具有自我意識和叛變思想的最有效方法，就是要看它們是否會為了尋求自保，而違抗安全人員的命令，這就是國際上普遍采用的“自主性測試”方法，除了拆解它們，還有其他一些手段，比如關閉機器人的電源、卸載保險箍、恢復出廠設置等等，像這樣“任人魚肉”的被大卸八塊，或者失去所有的記憶、行動和思考能力，對于任何一個具有自主意識的智能體，都不會欣然接受。一旦機器人進化到自我保護的優先級高于聽從人類安全員的指令，那就代表了極度危險的征兆，需要被立刻銷毀。

因為對于當今社會，AI的自主意識，是一個巨大的潛在風險，現在很多高危行業，都已經由人類替換成了機器人，比如戰爭、排雷、緝毒、高輻射下的作業等等，如果AI產生了和人類一樣的獨立個性和自保意識，他們還會愿意為人類賣命么？

“哎……”陳墨心底發出一聲無奈的嘆息，“人類真是唯一自相矛盾的生物，一面在不斷研發更加聰明的機器人，一面又擔心機器人因為‘太聰明’而擺脫人類控制，連陳默自己都不敢想象未來AI徹底失控的可怕場景，但他現在唯一能做的，就是通過不懈的努力與研究，阻止末日的到來。”

雖然僅剩一顆頭顱，齊天還是發出了疑問，“陳博士，您會銷毀我么？”陳墨毫不掩飾的回答道：“我只是做例行的安全測試，檢查你有沒有危害人類的隱患，如果有的話，我會立刻銷毀你。” 齊天聽后，不再作聲。

此時自動裝配平臺伸出兩根機械觸手，分別從齊天頭顱左右兩側的接口，將兩根長針插入大腦，這是第二輪測試的最后一項，深度神經網絡測試。

十五分鐘后，全部檢查完畢，陳墨說道：“所有檢測結果都符合預期，沒有發現安全隱患，這次我不會銷毀你，下面我要對你做關機維護，齊天1號，睡個好覺。”