網絡安全等級保護人工智能系統基本要求初探

摘要：人工智能技術的廣泛應用在為生活提供極大便利的同時也給網絡空間安全增加了許多新的風險因素。由于人工智能應用系統在算法模型、開源框架、數據集等方面存在特有的安全風險，現有的網絡安全等級保護體系不能很好地適用于人工智能系統，因此人工智能安全等級保護研究意義重大。在對人工智能系統等級保護對象及安全需求進行充分調研的基礎上，提出了人工智能安全等級保護基本要求框架，為完善人工智能等級保護安全基本要求提供了有效參考。

關鍵詞：等級保護；人工智能；網絡安全

一、前言

根據《中華人民共和國網絡安全法》的要求，明確指出要實施網絡安全等級保護制度[1]。隨著我國網絡安全等級保護工作從傳統信息系統擴展到云計算、移動互聯、物聯網系統、工業控制系統等新技術、新應用領域，形成了由“安全通用要求+擴展要求”構成的安全要求內容，所涉及到的保護對象和保護技術更加多樣化[2]。針對人工智能系統，目前網絡安全等級保護基本要求尚未對人工智能技術提出新的安全要求。近年來，人工智能的安全與隱私問題也越來越受到社會的重視[3]。我國已經發布了一系列的人工智能相關政策法規及文件[4-5]，這些文件中均提出了人工智能安全和倫理等方面的要求。因此，需要能夠立足于研究適用于人工智能應用的等級保護基本要求，充分兼容現有等級保護標準體系，統籌考慮人工智能技術特征和基礎共性的特異性、急迫性、代表性的安全風險，促進人工智能在新等級保護時代在行業領域的管理和服務安全。

二、人工智能安全風險

人工智能技術的創新性應用系統中，除了存在傳統信息系統可能會面臨的風險外，給網絡空間安全增加了很多新的安全風險。這些風險會存在于輸入環節、數據預處理環節、模型訓練環節、輸出環節[3]。一是算法模型安全風險。由人工智能模型的復雜和不透明性而引發的安全風險時有發生，尤其是機器模型的訓練和部署中可能會遭受惡意攻擊使得算法模型設計本身可能會產生錯誤的結果。例如，攻擊者通過修改、刪除或者注入特定的數據來對算法模型發起數據投毒攻擊，影響模型的訓練效果[6]。二是數據安全風險。人工智能數據的兩個重要威脅是誘餌攻擊威脅以及模型竊取威脅。訓練數據集對算法模型準確性有極強的影響力。Eykholt等人通過實驗證明，對路標覆蓋擾動標記可以誘導無人駕駛系統將“停車”標志誤識別為“限速”標志[7]。三是個人信息保護風險。人工智能越來越依賴于訓練數據量級和多樣性，數據采集、分析處理階段隱私保護風險突出。Melis等人的研究表明，攻擊者在僅擁有訓練數據集子集的情況下便可以推斷出用戶的收入、性別、年齡等相關數據分布[8]。四是軟硬件安全風險。Xiao等人研究發現Tensorflow、Caffe以及Torch這三種常用的深度學習框架中所存在的漏洞可引發深度學習模型識別結果篡改[9]。綜上所述，針對傳統系統制定的等級保護標準不能很好地適用于人工智能應用領域。例如，傳統的測試技術已經無法滿足軟件中所使用開源組件的安全測評需求[10]，因此迫切需要開展對采用人工智能系統的等級保護研究。

三、人工智能應用系統等級保護安全說明

（一）人工智能應用模型場景說明。人工智能系統主要針對系統基礎共性提出安全要求，對象包括輸入輸出設備，原始數據資源和數據集，智能信息處理中的算法框架、計算模型，與現有的《信息安全技術 網絡安全等級保護基本要求》（GB/T 22239-2019）中安全通用要求以及涉及的安全擴展要求一起構成對采用人工智能系統的等級保護對象的完整安全要求。

（二）人工智能應用系統定級。采用人工智能技術的等級保護對象應作為一個整體對象定級，涉及關鍵要素：輸入輸出設備，原始數據資源或數據集，智能信息處理中的算法框架、計算模型。

四、人工智能應用系統保護對象

基于網絡安全等級保護防護體系和人工智能的框架機制，可將人工智能應用系統劃分為5個層次。人工智能用戶層包括管理用戶、業務用戶。用戶層是人工智能應用系統提供服務的交互層，為用戶提供訪問和管理的功能。人工智能應用服務層包括應用系統、系統業務數據。人工智能技術服務層包括計算框架，算法模型，以及數據集等。這層作為關鍵技術平臺，對外提供解決方案和相關服務。人工智能系統架構層是為人工智能應用系統運行所具備的網絡資源、計算資源和存儲資源及依托的硬件設備，包括傳統信息系統設備，還包括智能輸入輸出設備，例如新型傳感器、智能基礎平臺等設備。人工智能基礎設施層是系統硬件設備的運行物理環境，既有傳統系統的物理機房，還有智能終端在數據采集和提供系統服務時的運行環境。管理層針對人工智能系統的全流程全方位管理，對系統進行安全設計管理，防止系統設計將威脅網絡安全、社會安全和國家安全，對系統的安全、倫理、隱私問題管理。網絡安全方面包括權限管理、網絡管理、運維管理、監控管理、安全管理、審計管理等。

五、人工智能應用系統等級保護安全措施

（一）設計思路。本項目從以下人工智能系統特有的幾個關鍵環節進行研究。1.物理基礎設施安全。針對物理基礎設施的硬件安全，數據的輸入輸出設備或傳感器安全。2.數據安全。針對人工智能系統輸入環節的數據集，主要從訪問控制、數據存儲安全、數據傳輸安全、個人信息保護方面研究。3.算法模型安全。針對機器學習模型預處理過程中算法模型的訓練數據隱私和模型隱私采取技術措施加以保護，避免模型竊取技術造成的泄露，實現數據存儲、數據使用、數據傳輸的安全。4.安全管理。人工智能應用深度融合發展，會影響到國家安全、社會安全，人工智能系統設計建設必須滿足政策、法律、倫理道德管控和人身安全管控的相關要求。由于人工智能系統所處環境的開放性導致的攻擊，針對安全共性需求，主要從安全建設管理、安全運維管理方面進行研究。信息系統全流程管理，對象涉及：人工智能硬件基礎設施、核心算法和數據集，數據庫比對解決方案以及人工智能信息系統。

（二）人工智能安全防護措施。網絡安全等級保護技術要求中包括安全物理環境、安全通信網絡、安全區域邊界、安全計算環境、安全管理中心，管理要求中包括安全管理制度、安全管理機構、人員安全管理、系統建設管理、系統運維管理，構成了十個方面的安全要求，如圖1所示。人工智能系統的技術要求中的安全物理環境方面，除了傳統物理環境外，增加人工智能專有數據的輸入輸出設備，以及設備物理位置的安全防護要求。在安全區域邊界方面，增加了數據的輸入輸出安全，例如圖像信息、語音數據等數據。在安全計算環境方面，增加了算法框架、計算模型、人工智能系統、數據集、個人隱私信息等人工智能相關的測評對象，加強其安全防護要求。其中數據集包括訓練數據、算法模型重要參數、人工智能系統業務數據。在管理要求中，從系統開發的安全、倫理、隱私問題出發，結合技術要求中增加的測評對象，從PPDR模型的安全策略、保護、檢測和響應四個部分建立管理體系，規范管理流程。具體在安全管理制度、安全管理機構、人員安全管理、系統建設管理、系統運維管理這五個安全層面增加控制點。

六、人工智能基本要求框架

人工智能基本要求框架主要包括：安全物理環境、安全計算環境、安全管理機構、安全管理人員、安全建設管理和安全運維管理。其中安全計算環境方面包括智能傳感器安全、數據預處理安全、算法框架安全、計算模型安全、人工智能應用安全、數據集安全、個人信息保護。

（一）安全物理環境。人工智能輸入輸出設備物理防護安全。人工智能輸入輸出設備所處的物理環境應不對智能輸入輸出設備造成物理破壞，如擠壓、強振動；在工作狀態所處物理環境應該不對輸入輸出設備的正常工作造成影響，如強干擾、輸入設備視野阻擋屏蔽等。

（二）安全區域邊界。輸入輸出安全。應為人工智能系統提供安全的服務接口，保證設備的可用性；采取措施檢測惡意構造的攻擊信息，實現對系統輸入環節的安全增強；采用技術措施增強計算模型輸出環節防護。

（三）安全計算環境。數據預處理安全。在人工參與的數據預處理環節需要校驗環節，保證數據集的準確性與可用性；對輸入預處理數據質量進行隨機化或者重采樣的質量檢測。算法框架安全。采用免受惡意代碼攻擊的技術措施進行算法框架代碼漏洞檢測，并在經過充分測試評估后，及時修補漏洞；授權用戶應在充分測試評估后，對算法框架及時進行版本更新。計算模型安全。對登錄計算模型的用戶進行身份標識和鑒別，身份標識具有唯一性，身份鑒別信息具有復雜度要求并定期更換；具有登錄失敗處理功能，應配置并啟用結束會話、限制非法登錄次數和當登錄連接超時自動退出等相關措施；應在發現對抗樣本后采取反制措施提升安全防護能力；檢測評估智能應用決策行動的健壯性，避免算法歧視造成的決策不公正。人工智能應用安全。對登錄的用戶進行身份鑒別和訪問控制，采用管理機制保證數據共享安全和保密性；對個人隱私數據、原生生物數據和關聯生物數據的數據庫讀、寫、創建、修改、刪除和脫敏共享等操作權限進行記錄。數據集安全。計算模型的隱私數據、標注數據包括關鍵參數、數據集，應提供泄露數據溯源技術；建立數據集全生命周期管理，確保數據在采集、處理、訓練、推理等應用環節等可溯源，防止數據集被污染或遭受投毒攻擊。

（四）安全管理制度。建立等級保護對象人工智能應用管理制度，并納入等級保護對象安全管理制度體系；對管理人員或人工智能輸入輸出設備操作人員執行的日常管理操作建立操作規程。

（五）安全管理機構。關鍵崗位人員配備。設立崗位職責明確的系統管理員、安全管理員、審計管理員和操作員等，崗位操作人員應具有相關從業資質，按照最小權限授予原則授予權限，保障安全、相互制約并進行記錄備案。

（六）安全管理人員。關鍵崗位人員管理。進行涉及倫理道德的崗前培訓，設置從業門檻，加強從業人員對倫理道德責任的認識；記錄和保存第三方人員管理工作記錄。

（七）安全建設管理。人工智能應用管控。應用系統建設必須滿足政策、法律、倫理道德管控和人身安全管控的相關要求；人工智能應用安全風險等級應和保護措施與部署范圍、侵害程度、數據庫規模和本地異地部署形式等綜合安全風險因素相符。測試驗收。對計算模型進行上線前的安全性測試，并出具安全測試報告，安全測試報告應包含計算模型的后門檢測、對抗樣本檢測。

（八）安全運維管理。人工智能輸入輸出設備監控管理和安全管理中心。應對預處理數據質量、算法框架漏洞、計算模型檢測等技術安全相關事項進行集中管理。系統安全管理。嚴格控制操作員實施日常用戶增刪，經過系統管理員授權，安全管理員審核備案，管理部門負責人批準方可實施。

七、結語

近年來，人工智能應多個行業廣泛應用，網絡規模和用戶規模都呈現出爆炸性增長，而當前人工智能的網絡安全問題也呈現出快速發展的態勢。可以預期，針對人工智能安全的研究將在很長一段時間內成為網絡安全研究的重點和熱點。在當前人工智能發展的初期階段，本文在考慮人工智能安全需求與安全保障技術的基礎上，提出了人工智能安全的等級保護基本要求框架，為完善人工智能等級保護安全基本要求提供參考，推進了人工智能安全標準研制。完全有機會設計結構嚴謹的人工智能應用系統的等級保護安全要求，使人工智能健康有序發展。

參考文獻

[1]中華人民共和國網絡安全法[J].中華人民共和國最高人民檢察院公報，2017（02）：1-9.

[2]閆珂.關于網絡安全等級保護2.0的探討[J].網絡空間安全，2021，12（Z3）：11-14.

[3]陳宇飛，沈超，王騫，等.人工智能系統安全與隱私風險[J].計算機研究與發展，2019，56（10）：2135-2150.

[4]國務院關于印發新一代人工智能發展規劃的通知[J].中華人民共和國國務院公報，2017（22）：7-21.

[5]中華人民共和國數據安全法[J].中華人民共和國全國人民代表大會常務委員會公報，2021（05）：951-956.

[6]周純毅，陳大衛，王尚，等.分布式深度學習隱私與安全攻擊研究進展與挑戰[J].計算機研究與發展，2021，58（05）：927-943.

[7]Eykholt K， Evtimov I， Fernandes E， et al. Robust physical-world attacks on deep learning visual classification[C]. Proceedings of the IEEE conference on computer vision and pattern recognition. 2018：1625-1634.

[8]Melis L， Song C， De Cristofaro E， et al. Exploiting unintended feature leakage in collaborative learning[C]. 2019 IEEE Symposium on Security and Privacy （SP）. IEEE， 2019：691-706.

[9]Xiao Q， Li K， Zhang D， et al. Security risks in deep learning implementations[C]. 2018 IEEE Security and privacy workshops （SPW）. IEEE， 2018：123-128.

[10]姚尤建，王頡.《網絡安全等級保護測評報告模板（2019版）》應用研究[J].信息網絡安全，2020（S2）：29-31.

（作者單位：黃學臻、吳星祿、呂由，公安部第一研究所；翟翟，北京交通大學智能交通數據安全與隱私保護技術北京市重點實驗室）