人工智能安全標準現狀與思考

摘 要：人工智能在全球性范圍內投入使用之前，需要以可控的方式確保其系統的安全性。受應用環境的復雜性和不確定性、執行目標的不明確性、人機交互等因素的影響，人工智能可能面臨著巨大的安全挑戰。本文從人工智能技術的本質和其安全治理現狀出發，分析了人工智能可能存在的風險并提出了些許建議以供參考。

關鍵詞：人工智能；風險；安全治理

中圖分類號：TP18 文獻標識碼：A 文章編號：2096-4706（2018）06-0184-03

Abstract：Before artificial intelligence is put into use on a global scale，the security of its system needs to be ensured in a controllable way. Artificial intelligence may face huge security challenges due to the complexity and uncertainty of the applied environment，the uncertainty of the execution target，and the interaction of human-computer interaction. Starting from the essence of AI technology and the current situation of its safety management，this paper analyzes the possible risks of AI and puts forward some suggestions for reference.

Keywords：artificial intelligence；risk；safety governance

1 人工智能技術簡介

最近，人工智能話題很火，無論是硅谷的創業公司、大學及科研機構還是世界科技巨頭谷歌、微軟及百度等都紛紛在人工智能領域投入大量人力、物力做前瞻性的研究，而科技媒體也不斷將人工智能的話題放在頭條位置。很顯然，當前一股席卷全球的人工智能熱潮正撲面而來。

人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。人工智能從誕生以來，理論和技術日益成熟，其應用也在不斷擴大。可以設想，未來人工智能帶來的科技產品將會是人類智慧的“容器”。

人工智能是對人的意識、思維的信息過程的模擬。人工智能并不是人的智能，但能像人那樣思考，也可以超過人的智能。人工智能在20世紀70年代被稱為世界三大尖端技術（空間技術、能源技術和人工智能）之一，也被認為是21世紀三大尖端技術（基因工程、納米科技和人工智能）之一。目前，幾乎每個人都在說人工智能，但很多人并不清楚人工智能的定義究竟是什么。人工智能之所以難以定義，其主要原因是人類還沒有弄清楚究竟什么是智能，自然也就無法從它所覆蓋的內容來下定義。

人工智能是一項前瞻性的科學研究，自信息技術產生以來，人們在這一領域進行了長期的科學探索和技術攻堅，新思想、新觀念、新理論、新技術不斷涌現，人工智能已成為未來科學技術革命的重要發源地。人工智能被稱為人類歷史上的第四次工業革命，前兩次工業革命將人類從體力勞動中解放出來，第三次工業革命通過信息技術將全世界緊密地聯系在一起，而人工智能則是要將人類從繁重的腦力勞動中解放出來。人工智能可能是最后一個需要運用人類自身智慧去攻克的領域。

如果從學科界定的角度來定義的話，人工智能（學科）是計算機科學中涉及研究、設計和應用智能機器的一個分支。它的近期目標是研究用機器來模仿和執行人腦的某些智能功能，并開發相關的理論和技術。

2 人工智能的可能風險分析

人類文明正處于人工智能的威脅之下。如果對人工智能控制不當，人類可能面臨災難性的后果。開發一個不友好的人工智能要比開發友好的人工智能容易得多。前者可能很不友好、不穩定甚至會傷害人類。

2.1 人工智能對人身安全可能造成的危害

用機器來執行人腦的功能是件好事，它能讓人從一些重復性的勞動中解放出來，然而并不是所有機器在所有情況下都能按照最初設定好的功能完美運行。

歷史上已發生數次“機器人暴走事件”，最早的一次可能發生在1972年一間離波士頓不遠的實驗室里，當時這個實驗室在研制PUMA（可編程通用裝配機器手），并成功研制出了一個原型手臂，這個原型手臂沉重且難以控制，必須固定于桌子上才能穩定。可能是由于編程錯誤，一天這個手臂開始前后振動。隨著沖量的加大，桌子也開始劇烈振動，并開始隨著手臂的擺動在房間中顛簸前進，差點重傷了一名當時在實驗室專心工作的研究生。

隨著京東送貨無人機的亮相，可以預見的是，未來將會有更多的智能產品（無人駕駛汽車、智能醫療產品等）融入社會當中，若這些產品被別有用心之人通過網絡攻陷，那么其對于使用者的人身安全的危害是不可估量的。

2.2 人工智能對社會安全可能造成的危害

人工智能促進了計算機工業網絡的發展，同時也帶來了勞動就業問題。由于未來的人工智可能能夠代替人類進行各種技術工作和腦力勞動，將會使一部分人不得不改變工種甚至失業。人類一方面希望人工智能能夠代替人類從事各種工作，另一方面又擔心人工智能的發展會引起新的社會問題。近十多年來，社會結構正在發生一些變化，即人與機器的社會結構將會被人與機器人的社會結構所取代，很多本來由人承擔的工作將由機器人來承擔，因此，人們將不得不學習怎樣與機器人相處，以適應這種社會結構的變化。

人工智能技術的崛起將導致失業潮的出現已基本成為行業的共識。在“世界經濟論壇”2016年年會上，基于對全球企業戰略高管和個人的調查發布的報告稱，未來五年機器人和人工智能等技術的崛起，將導致全球15個主要國家的就業崗位減少710萬個，其中2/3將屬于辦公和行政人員。萊斯大學計算機工程教授摩西·瓦迪曾表示，今后30年計算機可以從事人類的所有工作，他預計，2045年的失業率將超過50%。

2.3 人工智能對隱私可能造成的危害

隨著越來越多的廠商介入智能家居產業，并紛紛推出自己的智能家居生態系統，智能家居產品在高速發展中隱藏著的巨大安全挑戰也逐漸暴露出來。伴隨著智能家居產品的互聯互通的發展趨勢，任何一臺設備受到攻擊感染，其他設備也會被波及。根據2016年Vormetric公司對美國智能家居安全性的民意調查，超過半數的美國人擔心自己的智能家居的安保、攝像頭系統會遭受黑客攻擊，52%的受訪對象表示擔心類似于亞馬遜Echo智能家居系統處在黑客攻擊的危險之中。2016年我國“3·15”晚會上，智能設備遭“劫持”的問題已經被曝光。

2.4 人工智能對法律倫理的挑戰

隨著人工智能的不斷發展，未來的機器人將會具有自主性和認知特性，也即具有從經歷中學習并獨立自主地做出判斷的能力，而且可以實質性地調整其行為，由此，從機器人的侵害行動中產生的法律責任成為一個重大問題。機器人的自主性越強，就越難將其當成是其他主體（比如制造商、所有人、使用者等）手中的簡單工具，這反過來使得既有的責任規則開始變得不足，因而需要新的規則。

3 人工智能安全治理現狀

人工智能發展至今已逾60年，雖仍在初創期，但隨著人工智能研究逐漸升溫，各國政府與研究機構正為AI的未來勾畫越發清晰的發展圖景。AI的發展正從浪漫的憧憬中走出，走向真實的未來。在此過程中，各種治理力量也需要以或前或后的步伐緊跟其上。以目前最為成熟且應用前景最為明朗的無人駕駛為例，美國的無人駕駛技術之所以這樣發達，很大程度上來源于政策與制度的及時更新與支撐，截至2017年，美國內華達州、加利福尼亞州、密歇根州、紐約州、華盛頓州等決定開放自動駕駛公路測試。而我國在2017年7月才在上海開放國內首個“國家智能網聯汽車試點示范區”，這種封閉式的模擬環境測試，對于無人駕駛技術的提升并非最優選擇，但因為缺乏專門的法律法規賦予無人駕駛車以上路許可和相應的責任規則，公路測試智能在當下讓位于封閉式的基地測試。

當前的政府仍主要作為戰略布局者參與到人工智能的治理之中，如美國在2016年10月出臺《國家人工智能研究和發展戰略計劃》與《為人工智能的未來做好準備》，我國在2016年5月出臺《“互聯網+”人工智能三年行動實施方案》。但除了路線規劃與方針指引外，各國尚未有體系化的監管制度，僅在像無人駕駛與無人機等相對成熟的領域出臺過零星的規制措施。這首先來源于產業的不成熟，也同樣根源于技術的復雜性與高門欄，使得公共政策的制定者尚難以深入了解現有的人工智能技術及風險，而止于觀望狀態。然而，科技公司作為主導方雖然擁有最多的知識資源及風險的預見與處理能力，但當人工智能真正走出科幻電影來到現實生活中時，若沒有外部力量的監督，也很難為消費者接受而大規模投產。外部監管的延遲與無力，商業自治的非中立性與缺乏權威，是多元治理主體面對新興科技需要共同協力破解的困局。

4 人工智能安全治理建議

由于人類的設計不當和不安全操作引發了切爾諾貝利核電站災難，日本福島核電站災難也是因為人類的廉價設計和位于海嘯多發海岸附近等低成本地理位置而引發的。如果以上錯誤是人工智能造成的，那么就不是造成有限的災難，而是會成為終結我們文明的災難。

4.1 提高可解釋性和透明度

基于深度學習的許多算法對于使用者來說是不透明的。在很多領域例如健康護理，醫生需要對在治療過程中的特殊治療方法進行合理性解釋。AI技術為很多決策提供了合理性解釋，但是不夠準確。研究者需要研發更加透明的決策體系，從而為用戶提供決策推理的合理解釋。

4.2 建立互信

為了獲取信任，AI系統的設計者需要建立用戶友好型的交互式界面，同時確保AI系統的準確性和可信賴性。目前對于AI系統的一個重要挑戰是軟件制造技術品質的不一致性。隨著人類與AI系統的聯系越來越緊密，在該領域的互信挑戰也面臨越來越大的挑戰。

4.3 增強核實和驗證

在AI系統的核實和驗證方面需要建立新的方法。“核實”是確立一個滿足形式要求的系統；“驗證”是確立一個滿足用戶操作需求的系統。對于已經自動運行了一段時間的系統，系統設計者或許沒有考慮到在各種環境中可能遇到的情況，因此需要系統擁有自我檢測、自我診斷和自我修復的功能以確保其可信賴性。

4.4 布置對抗攻擊的安全戰略

AI體系為了應對各種事故，需要具備預防惡意網絡攻擊的措施。安全工程需要了解該體系的脆弱性以及有可能進行攻擊的人。AI在網絡安全體系中的運用需要高度的自治能力，這需要未來進行進一步的研究

4.5 實現長期的AI安全和價值一致

AI系統最終的目的是實現“循環的自我提高”。軟件的改進是通過軟件自身修復完成的，而非由人類完成的。為了達成這一目標，我們需要進一步研究可以用來檢測人類設計的目標與AI系統行為是否一致的自我監測技術及使用者的目標等。

參考文獻：

[1] [美]Kalman Toth.人工智能時代 [M].北京：人民郵電出版社，2017.

[2] Jerry Kaplan.人工智能時代 [M].杭州：浙江人民出版社，2016.

[3] 陳芳，余曉潔.人工智能簡明知識讀本 [M].北京：新華出版社，2017.

[4] 周志敏，紀愛華.人工智能——改變未來的顛覆性技術 [M].北京：人民郵電出版社，2017.

作者簡介：李政東（1997.08-），男，漢族，浙江杭州人，本科。研究方向：電子科學與技術。