人工智能技術的安全風險亟須重視

張于喆 李紅宇

技術發展無疑是人類文明進步的主要推動力，不僅再造了經濟社會發展的驅動優勢，同時重塑了經濟社會發展的邏輯軌跡。當前，人類社會正處在一個大發展大變革大調整的時代，人工智能技術是影響經濟社會發展的重要變量。如果我們不能正確理解技術條件帶來的顛覆性變化，就無法在這場全球經濟社會格局的大變革中重新定位自身角色、找到發展方向。

一、人工智能技術作為影響經濟社會發展的重要變量具有兩面性，既帶來新機遇，又帶來新挑戰

當今，我們正處在百年未有的大變局中，人工智能技術正在引領新一輪科技革命。人工智能技術由基礎技術和通用技術構成，其中基礎技術主要包括云計算和大數據平臺，通用技術主要包括機器學習、模式識別與人機交互。隨著云計算和大數據平臺的發展，以及超強算力、算法模型、海量數據和應用場景的共同作用，以計算智能、感知智能、認知智能和人機增強型智能為代表的人工智能技術呈現加速發展態勢，并不斷演進成為新一輪科技革命和產業變革的重要驅動力量。麥肯錫（MGI）報告指出，人工智能有可能顯著提高整體經濟生產力，其影響堪比19世紀的蒸汽動力、20世紀的工業制造和21世紀的信息技術對世界經濟的影響（或更大）。應該說，人工智能技術作為國際競爭的新焦點，為我國經濟社會發展帶來了新機遇，是事關我國能否抓住新一輪科技革命和產業變革機遇的戰略問題;其快速發展不僅對于新時代下我國轉變發展方式、優化經濟結構、轉換增長動力、提升社會治理能力具有重大意義，而且只有加快發展新一代人工智能，才能避免因缺少人工智能技術輔助而在戰略判斷、策略選擇與執行效率等方面而進一步拉大與技術先進者的能力鴻溝，才能贏得全球競爭主動權。

同時，人工智能技術發展的不確定性也會給一國帶來新挑戰，比如說，其會受限于算法不可解釋性、數據強依賴性等技術問題以及人為惡意應用，而對經濟社會與國家政治領域帶來全新挑戰;特別是在與實體經濟深度融合發展的過程中，也可能會對經濟安全、意識形態安全、國家安全、政權安全等方面造成一系列挑戰。例如，根據不完美、不可預測的現實世界數據做出預測、決定的人工智能系統，很有可能會因缺乏常識和推理能力而以不恰當的方式被使用;特別是如果用來做出決定的數據存在偏見，那么算法會繼承、吸收、再現和強化現有的不平等數據模式，這種反饋效應模式使得最后的結果會加劇不平等并引發各類安全隱患。

總體而言，人工智能技術不僅僅關乎技術，更將關乎治理，必將在廣度和深度等方面對一國經濟社會產生深刻影響，甚至是“顛覆性”變化，其結果也將直接影響世界發展格局和國家前途命運。因而，面對百年未有之大變局，必須強化風險防范意識，早識別、早預判，通過提前識別風險、精準管控風險，才能妥善防范化解重點領域風險，確保人工智能技術的發展行穩致遠。

二、人工智能技術對經濟安全、意識形態安全、國家安全、政權安全的潛在負面影響不可小覷

隨著人工智能技術的不斷發展和應用不斷突破瓶頸，人工智能技術不僅已經有能力做出可以改變普通人日常生活的決定，而且對經濟安全、國家安全、意識形態安全、政權安全的潛在負面影響之快、之大、之深遠遠超出人們預期。因而，在人工智能領域的技術探索已處于世界前列的同時，如何確保“我們用技術打造的世界，是一個我們想要居于其中的世界”，成為當前我們面臨的關鍵問題。

從經濟安全的角度看，盡管人工智能的整體發展仍處于初級階段，仍然只能解決特定問題，但作為新一輪國際競爭的焦點，人工智能技術可能會引發新的安全風險，最常見的安全問題主要包括對國外信息技術產品的高依賴性、鎖定在產業鏈中低端、數字鴻溝的不斷加劇等方面。例如，在人工智能產業鏈的基礎層、技術層和應用層，我國更多集中于將技術應用于商業場景，具有很強的背景依賴性，很難將一些領域的技術進步轉化到其他領域;而人工智能技術的核心在于算法、算力和數據，我國在算法、算力以及致力于解決不同類別問題等方面，與先發國家相比差距還相對較大。其中，在CPU、內存、硬盤和操作系統等核心基礎軟硬件產品方面，我國的CPU主要依賴英特爾和AMD，內存主要依賴三星、鎂光，硬盤主要依賴東芝、日立和希捷，操作系統主要依賴微軟，特別是，中興事件更是給我們敲響了發展警鐘。又如，從《專利合作條約》（Patent Cooperation Treaty，PCT）申請的數量來看，美國仍然是技術輸出的領頭羊，并且其申請量占到總量的41%，中國申請數量相對較少，仍然沒有形成較大規模性的技術輸出。再如，人工智能技術發展的最大受益者是高技能勞動者和投資者以及積極采用技術的創新型前沿公司，潛在受損者將是從事中低技能工作的人群以及不愿意或無法快速實施技術的公司，由此產生的“人工智能技術分歧”將會加劇社會不平等、助長經濟不平等和破壞競爭，不利于經濟可持續發展并引發經濟風險與危機。

從國家安全的角度看，隨著人工智能技術的應用，使得攻擊能力在潛伏性、隱蔽性、定向性、自主性、融合性等方面愈發突出，也使得各種黑客組織、民族分裂和恐怖主義勢力可以更加便捷地融合利用人工智能技術;如此，加劇了非對稱性強的“攻防不對等”形勢，成為威脅政治安全和社會穩定的嚴峻風險，特別是在網絡空間等新興領域爆發沖突的風險不斷增加。由于“守方”技術實力的局限性以及“攻方”行動隱蔽性好、效費比高、攻擊智能化等特點，使得攻擊可以快速繞過多重防御，最常見的安全問題主要包括金融、能源、通信、工業系統、教育、交通、醫療衛生等領域關鍵基礎設施或政府機構和政府有關實體被攻擊，以及數據被篡改等方面，最終造成的潛在危害影響范圍廣、破壞性大。例如，印度黑客入侵巴基斯坦政府官網，將網站頁面設為純黑色，并播放印度國歌，以慶祝印度獨立日。又如，瑞典運輸管理局（Trafikverket）在2018年10月遭到黑客DDoS攻擊，導致官網服務掉線、列車運行延誤。再如，在“震網”（Stuxnet）事件中，美方使用了5個Windows零日漏洞和1個西門子的零日漏洞，實現了通過網絡空間作業對伊朗核設施造成物理破壞的效果，幾乎永久地遲滯了伊朗核計劃，達成了美方的戰略意圖。

從意識形態安全和政權安全的角度看，隨著世界多極化、經濟全球化、文化多樣化、社會信息化的深入發展，各類組織和個人越來越多地通過機器學習惡意使用信息來故意混淆、誤導或轉移公眾輿論，以實現其戰略目標，這已經成為一種新威脅，也對我們提出了新挑戰。由于大量匿名用戶的存在和網絡連接的開放性，最常見的安全問題主要包括在物理層（Physical）（網絡基礎設施）、邏輯層（Syntactic）（操作系統和應用服務）和社交層（Semantic）（應用服務的互動交流人群）等方面進行“懷有敵意”的攻擊行動，特別是通過謠言（Disinformation）、誤傳（Misinformation）以及數據的篡改，實現輿論導向、文化滲透，并引發非常嚴重的后果。例如，2018 年 3 月，劍橋分析（Cambridge Analytica）公司非法獲取臉書（Facebook）上超過5000 萬用戶數據，并通過定向推送影響大選事件曝光。又如，有了人工智能技術的推動，可以精確地識別那些最易受到虛假信息影響的人，而且含有“deepfake”技術偽造的視頻的“假新聞”，可以通過具有影響力的社交平臺進行非法傳播，以實現某種政治目的或改變某種政治進程與格局。再如，人工智能技術可以強化它們從現實數據中獲得的認知，然而在依靠規則和訓練數據的過程中，特別是在面對不熟悉的場景時，不透明的“黑箱”很可能做出錯誤判斷，甚至放大解決問題、做出預測和采取行動的風險。

總體而言，人工智能技術不是憑空存在的，創造技術的行為和使用技術的方式，都會體現特定的價值觀和邏輯假設，作為工具的技術，本身無法做到其實際上做不到的事情，即無法解決深層次的規范性問題。特別是，訓練數據中的認知偏見和系統復雜性，使得學習系統的行為并不總是可以預測，由此可能會讓人們付出代價，并放大惡意內容、虛假信息的負面影響。為此，必須要真正地從國家安全和發展全局的高度，以深沉的憂患意識和強烈的責任擔當，從長遠考慮，科學處理好人工智能技術作為推動經濟社會發展巨大引擎和對經濟安全、意識形態安全、政權安全帶來潛在風險的辯證關系。

三、“補短板、強監管、促融合”，最大限度降低人工智能技術的負面影響

人工智能技術發展的風險與機遇同在，無論國際風云如何變幻，中國維護國家主權和安全的信心和決心不會變。我們必須要順應人工智能的技術發展趨勢和當今國際環境的特點，深刻認識人工智能技術發展中安全性的極端重要性，按照“創新發展有底線”的要求，更好發揮政府作用，通過“補短板、強監管、促融合”，最終讓人工智能技術推動我國經濟社會發展的潛力發揮到極致。

（一）補短板

要緊緊抓住創新驅動的“牛鼻子”不放松，推動人工智能技術發展取得新突破新成效。

一是開展人工智能基礎技術研發。堅持創新驅動，積極搶占技術制高點，實現人工智能技術基礎層、技術層和應用層的全鏈條重大突破。借鑒美國DARPA的數據驅動模型發現研發計劃（Data Driven Discovery of Models，D3M），通過構建可選基元庫技術、開發復雜模型自動整合技術、創新人機混合交互技術和領域專家知識融合技術，重點開發可以自我更新、自我學習的新算法，推進數據驅動的重要線索發現或演化規律預測，提升信息的深度認知能力和對手行動態勢、發展變化的預測能力，極大地擴大人工智能的實用性。加強高時效的大數據計算模型、優化技術與系統以及特定場景智能感知與理解技術、數據可視化技術等人工智能基礎理論和技術方法的研發攻關，重點開發能夠像人類一樣推理的人工智能系統。推動政府監管部門對人工智能與機器學習技術的集成，充分利用人工智能技術協助收集、處理、分析海量可用數據，通過對數據的編目和標注以及算法訓練的加強，使得相關數據快速轉變為用于指導行動的情報，實現對數據最大程度地利用和工作效率的提升，從而有效破解甚至消除“數據迷霧”。

二是積極開發提升態勢感知體系能力、基于云的大數據平臺。借鑒美國防信息系統局（DISA）的賽博大數據平臺（BDP），通過融合大數據、云計算和其他交叉學科技術，提供包括通用數據基礎表征、分布式數據存儲與索引、數據分析、系統抗毀性防御組件等整套功能、基于云的解決方案，實現最廣泛、最全面的活動視圖，以支持決策并增強整體安全態勢。要深挖人工智能技術應用中的痛點，聚焦技術研發、創新應用等方面，注重實用化、國際化和長期價值的創造，通過基于云的大數據平臺，加速人工智能技術和具體應用場景、更多客戶的匹配，推動人工智能技術的迭代創新，以最快速度提供解決經濟社會發展過程中所遇各種實際問題的能力。

（二）強監管

要堅持“高站位、寬視野”的原則，采取法治化、市場化手段，確保防范化解重大風險取得新成效。

一是建立人工智能技術應用管理機制。要在對人工智能技術新應用、新嘗試給予足夠創新空間的同時，通過系列兵棋推演，不斷掌握確保安全可控的技術能力，加強安全監測、預警、控制和應急處置能力的建設，推動應對安全風險行動的優先次序和資源分配。要加強政府部門、市場主體等各方的溝通交流，在技術上加強跟蹤控制，在政策上加強統籌協調，明確溝通程序、沖突管理的解決方法和責任人，提升政府部門的應急管理效率和強化安全監管職能。要樹立正確的網絡安全觀、信息安全觀，不斷強化落實人工智能技術安全管理的主體責任，全面提升安全綜合治理意識和能力，實現對人工智能技術創新發展風險的有效控制和及時調整，以應對安全領域的挑戰。要加強對不可預見風險的預防性工作，通過風險規劃、風險識別、風險估計、風險評價等工作，推動國家安全能力成熟度的審查和評估，有效推動里程碑管理。

二是加強人工智能技術創新與應用發展的監測。要充分發揮企業、高校、科研院所、產業聯盟和行業協會的作用，加速構建適應人工智能技術風險管理的多方合作、利益共享、風險共擔的開源生態格局，為人工智能技術的健康發展提供保障。要依托產業聯盟、組織各方力量、加強工作協同，探索建立人工智能技術創新與應用發展情況的動態運行監測體系，定期發布人工智能技術創新與應用發展報告，形成對發展進度、潛在影響、發展趨勢的及時、連續、系統記錄和報告，有利于防范系統性風險。要充分發揮人民群眾的主體作用，積極踐行群眾路線，認真研究吸納群眾的意見建議;特別是，面對重大突發性安全事件，更要緊密聯系群眾、緊緊依靠群眾，讓人民群眾成為維護意識形態安全、國家安全和政權安全的第一道防線。

三是積極應對人工智能技術的挑戰和脆弱性。要積極推動安全可信網絡架構、智能傳感器和算法模型的建設，加強關鍵信息基礎設施的保護，提供安全的端到端服務，確保從網絡到用戶整個過程的數據安全，強化管理監督、提高工作效率。要加強對網絡內容、智能設備和關鍵點的智能化控制，通過提升安全規范自動化的規模，力爭做到讓人工智能技術進行系統識別、優先排序并以最快速度選擇任務需求，提升聯網設備的智能管理能力和快速執行處理能力，確保海量設備在整個生命周期中的安全性。要制訂重要數據的敏感度評估辦法，加強數據集的敏感度認定，設置基于用戶權限級別的數據掩碼。要創建人工智能的道德規范，著力增強規則制定能力、議程設置能力、輿論宣傳能力、統籌協調能力，提高相關部門在全球技術治理中的話語權。

（三）促融合

要構建促進融合發展的體制機制，形成高質量發展的強大合力。

一是提高數據的實時融合效率。充分利用領先的用戶規模、普及的智能終端和積累的數據資源等綜合優勢，推動傳統的“煙囪式”數據庫整合成統一的分析決策視圖，構建集中管理、快速準確分析海量數據的算法模型，并提供面向任務、可理解的高效分析方法和情報信息，大幅提升跨機構協作能力。依托互聯互通的共享數據信息，鼓勵相關企業合作創建、使用可重用工具、庫、標準以及人工智能云服務，擴大基于共用基礎數據的人工智能影響。鼓勵市場主體基于共享數據提供有助于情報分析人員和決策者實時、動態掌握、理解和管理態勢感知、智能決策的綜合性系統和解決方案，實現“從數據到決策”的閉環管理以及觀察（Observe）、調整（Orient）、決策（Decide）和行動（Act）決策循環周期的有效縮短。

二是加強軍民融合協同創新發展。要堅持開放與協同創新，著眼于提高人工智能技術領域軍民融合發展的整體質量效益，通過制定軍民融合發展的工作規則，形成軍民融合發展的鮮明導向和評價標準規范，促進軍民兩大領域的需求共融、資源共融、能力共融、技術共融，構建一個軍民互動、共同協作、效益放大的發展格局。要在資源有限、時間有限的條件下，科學理解和準確把握人工智能技術的發展態勢和未來趨勢，緊緊圍繞軍民融合發展戰略，充分利用軍民資源的各自優勢，進一步明確軍民融合發展的指導思想、發展目標、基本原則、組織方式、重點環節和基本程序等內容，逐步實現軍民領域資源的一體配置、一體統合、一體運用，打造一體化的戰略體系和能力。

（張于喆、李紅宇，中國宏觀經濟研究院產業所副研究員）