淺析人工智能安全面臨的問題與挑戰

焦陽

摘要：近年來，人工智能技術快速發展和廣泛應用，推動了人類經濟社會的快速發展，也逐步轉變人們的生活方式。與此同時，人工智能安全問題逐步凸顯。本文從人工智能的內生安全、衍生安全和助力安全三個方面出發，分析人工智能安全面臨的問題與挑戰，最后提出人工智能安全未來發展的幾點思考。

關鍵詞：人工智能;安全;信息技術

人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用的科學技術。人工智能的快速發展對人類的經濟社會發展和生活方式產生了巨大影響。作為信息技術，人工智能自然存在本身的安全問題，而作為應用到其他領域的賦能技術，人工智能還存在著衍生的安全問題。本文從人工智能安全的不同方面分析其面臨的問題與挑戰，并提出幾點思考。

一、人工智能安全概述

人工智能可以模擬人類自主活動，實現對部分人類智慧的替代，因此其安全問題備受關注。國內專家學者對人工智能安全的體系架構從不同角度進行了研究和討論，有的研究從網絡空間安全和人類社會安全角度，提出覆蓋安全風險、安全應用、安全管理三個維度的人工智能安全體系架構。或者從人工智能內部和外部兩個視角，提出人工智能的內生安全、衍生安全和助力安全。本文即采用第二種角度對人工智能的安全問題進行討論。

（一）人工智能內生安全

人工智能作為以計算機科學為基礎的信息技術，本身存在著一般信息系統普遍存在的脆弱性。人工智能的算法、模型、數據、框架/組件等方面的脆弱性構成了人工智能內生安全問題。

算法安全的主要風險源于人工智能算法的不可解釋性。人工智能廣泛采用的神經網絡，其每個神經元的權重參數，以及多個隱藏層所代表的含義缺乏可解釋性，從而無法找到算法的缺陷，造成安全風險。模型安全的主要風險源于人工智能模型的可竊取和可篡改。數據的錯誤和質量低下會對人工智能系統形成嚴重的干擾，這是數據安全風險的主要來源。人工智能框架/組件的開源開放帶來了人工智能系統基礎環境的不可靠，在當前廣泛使用的大量開源框架中，大多數沒有經過安全評測，對其潛在漏洞和風險沒有安全底數。

（二）人工智能衍生安全

人工智能衍生安全問題指的是由于人工智能系統自身的脆弱性而危及其他領域安全的問題。人工智能廣泛應用于各個領域，其自身安全也同時會引發其他人工智能應用領域的安全問題，常見于因系統失效帶來的安全事故，包括自動駕駛汽車、智能機器人失導致人身安全受到危及，以及醫療領域人工智能應用中出現的危險醫療意見等等。

（三）人工智能助力安全

人工智能作為賦能技術，在助力安全方面主要表現為在網絡安全、信息安全和社會公共安全等領域的廣泛應用。人工智能在網絡安全威脅的快速識別、反應和自主學習方面具有巨大潛力，可以推動網絡安全向動態防御和主動防御演進，提升網絡防護的自動化與智能化水平。同時，基于人工智能技術進行文本、圖像和視頻識別的應用日益成熟，面向違法信息的信息內容安全審查成為了人工智能在安全領域落地應用的前沿領域。在社會安全領域，基于人工智能技術的智能安防，可依托對海量視頻數據的學習完成行為模式的推斷和預測，從被動防御向主動判斷、及時預警的智能化方向發展。

二、人工智能安全面臨的問題與挑戰

（一）人工智能內生安全面臨的問題與挑戰

對抗樣本攻擊。對抗樣本攻擊的概念早在2015年即提出，主要以圖像、文本、音視頻等形式，通過輸入有擾動的數據，導致算法失效。對抗樣本攻擊凸顯了人工智能輸入數據干擾和算法的不可解釋性導致的安全缺陷。

偏差的訓練數據影響算法模型準確性。當訓練數據發生偏差造成質量下降，產生較多噪聲數據和小樣本數據，某些依托海量數據訓練的人工智能系統結果準確性會大幅下降。美國麻省理工學院研究人員與微軟科學家研究發現，主流人臉識別系統大多用白種人和黃種人面部圖像作為訓練數據，在對黑種人進行識別時準確率會有很大下降。

開源框架/組件存在安全漏洞。目前國內人工智能廣泛使用了大量開源框架和組件，這些開源的框架和組件大多數沒有經過安全評測，可能存在漏洞和后門等風險。

（二）人工智能衍生安全面臨的問題與挑戰

人工智能自主系統危及人身安全。以自動駕駛汽車、機器人為代表的自主系統，在人們生產生活中逐步替代人類進行決策，施行自主操作。這些自主系統的非正常運行，直接危害人類自身安全。2018年3月，Uber測試運行的自動駕駛汽車就曾因自動駕駛系統的非正常運行造成一名女性行人的死亡。

算法歧視引發偏見與不公。算法歧視的主要表現在價格歧視、性別歧視和種族歧視等方面。例如，一些網購平臺利用大數據技術，同款產品對老用戶報價更高;某些篩選簡歷算法系統對求職者的評分結果，傾向于給男性求職者更高評分;某些國外網站的高薪工作的招聘啟事，向白種人顯示的機會多于其他人種。

（三）人工智能助力安全面臨的問題

人工智能技術在助力網絡安全防御的同時，也被廣泛應用于網絡攻擊，對現有網絡安全防護體系構成威脅與挑戰。

利用人工智能設計惡意軟件。2018年，IBM研究人員在美國黑帽大會（Black Hat Conference）上展示了人工智能惡意軟件DeepLocker的新式概念驗證攻擊程序，利用深度神經網絡模型隱藏在合法app中，通過影像、聲音、地理位置等特征辨識目標并釋放攻擊。DeepLocker還能利用人工智能能力躲避安全軟件的偵測。

人工智能模糊測試發現零日漏洞。美國飛塔公司（Fortinet）在其2019年發布的威脅態勢預測中指出，利用人工智能進行模糊測試，繼而發現并利用零日漏洞，成為網絡攻擊的新趨勢。人工智能機器學習模型的應用使零日漏洞的發現變得更為高效，這將對網絡設備與系統防護產生重大影響。

三、幾點思考

在人工智能快速發展的今天，我們既要充分肯定其在解放人類生產力、改善生活水平方面的巨大作用，也要高度重視其自身安全問題及廣泛應用在經濟社會發展中可能帶來的風險與挑戰，及早采取行動加以防范。

首先，要建立健全法規制度，保障人類自身安全。對于人工智能系統自主性活動較多的領域，應明確人工智能產品或系統的責任主體，充分考慮可能產生的故障事故和違法違規行為，從制度層面加以規范和約束，避免由此造成的財產損失、人身傷害和社會危害。

其次，應加強人工智能技術的安全評估檢測。人工智能發展到當前階段，其自身脆弱性所引發的安全問題已經凸顯，需要從算法、模型、數據、框架等方面，結合原有信息安全防護經驗，并適應人工智能技術新特點，設計出較為完備的安全評估檢測方法。

第三，應加強自主創新力度，打牢技術基礎。隨著人工智能逐步應用到金融、交通等核心關鍵領域，以往“重應用、輕基礎”，多采用開源框架進行二次開發的方式，為人工智能技術基礎安全帶來隱患。因此，需要從人工智能算法、框架等關鍵技術和基礎環境研究入手，加強自主原創開發力度，并在涉及國計民生的核心領域采用具有自主知識產權的人工智能系統或產品，消除基礎安全風險。

參考文獻

[1]方濱興主編，《人工智能安全》，中國工信出版集團、電子工業出版社，2020年6月第1版.

[2]中國信息通信研究院，《人工智能安全白皮書 （2018年）》.

[3]國發〔2017〕35號，《國務院關于印發新一代人工智能發展規劃的通知》.

[4]警惕算法潛藏歧視風險，http：//news.gmw.cn/2019-06/23/content_32939880.htm.