基于產業鏈視角的人工智能風險分析及其防范

李新瑜　張永慶

內容提要 伴隨技術的日益成熟以及與各行業融合的不斷深入，人工智能在給公眾、行業和社會帶來便利和機遇的同時也暴露出一系列潛在的社會風險。基于人工智能產業鏈的研究視角，人工智能風險分別表現為基礎層面的機器倫理風險、算法歧視風險和數據應用風險，技術層面的網絡安全風險和人機互動風險，應用層面的系統性風險、法律制度風險和社會福利風險。為全面有效地防范人工智能風險，一方面應從研發技術層以研發人員作為內部風險防范的起點，構建多層次的防范機制，并營造理性積極的社會輿論環境，另一方面應從行業應用層結合不同的行業應用實際構建“人工智能+”的風險防范體系。最后，在當前世界各國激烈的人工智能發展競賽中，作為人工智能發展的領先大國，中國也應在監管模式、立法進程及全球治理中樹立前瞻性思維，增強人工智能領域的影響力和話語權，為全球人工智能風險防范提供參考。

關鍵詞 人工智能 產業鏈 風險構成 風險防范

〔中圖分類號〕F49;TP18 〔文獻標識碼〕A 〔文章編號〕0447—662X（2020）04—0047—11

如今我們生活在一個智能化的時代，人工智能作為工業4.0、物聯網的應用基礎，被廣泛應用于資源與環境、零售與物流、工業制造、醫療保健、城市建設等各個領域，給行業和生活帶來革命性的改變。人工智能技術如智能語音、機器視覺等日漸成熟，人工智能與邊緣計算、5G技術的融合也進入加速發展期，社會公眾對人工智能的了解逐步深入并廣泛認同其廣闊的發展前景。但是，隨著人工智能技術和系統的融合被賦予更多的感知能力和自主水平，數字化和智能化等場景應用的不斷增多，也引發了大量與人工智能安全和風險有關的負面問題，如虛構語音詐騙、智能設備劫持、智能網絡攻擊、自動駕駛事故、個人信息泄露等。因此在人工智能技術普及應用的當前，關于人工智能的風險分析和風險防范值得社會關注和警惕。

一、文獻綜述

技術本身是中性的。從本質上看，人工智能對安全、經濟和社會的影響主要取決于其使用方式。從其正面影響看，人工智能在生活中應用的不斷深入，如圖像和語音識別、翻譯、會計、推薦系統和客戶支持等，使得公眾生活享受到極大便利。同時，人工智能在各行業不斷突破創新，如無人駕駛的研發、生產過程中的智能化改造、金融領域內的科技創新、智慧城市的布局和建設等。利用人工智能加強決策、重塑商業模式和生態系統、提升客戶體驗，給行業帶來了新的發展機遇。①研究可見，人工智能的應用能夠降低生產和經營成本，提升企業生產績效，推動產業結構升級，催生了新的經濟增長點。②從人工智能的負面影響看，相關研究主要聚焦于智能化與勞動力市場和收入分配的關系。③縱觀歷史，人們一直擔心機械化、計算機以及當前的人工智能和機器人等會扼殺就業機會，引發技術性失業。由于智能系統重組生產過程，從短期看中等技能的工作被自動化取代的可能性更高，低端和高端技能的勞動力留存下來，導致就業極化現象。④由于基礎設施和數據應用的分布差異，人工智能在不同國家、不同行業的推進并非同步，因此也會加劇行業和區域的不均衡發展，⑤進一步導致收益分配的失衡。

關于人工智能造成的安全隱患和社會風險，根據全球風險研究院的調查，全球人工智能項目研究主要分布于學術機構和企業，多數項目都沒有積極地解決人工智能的安全問題，學術項目在安全方面尤其缺乏。⑥根據自主學習程度，人工智能可以分為弱人工智能、強人工智能、超人工智能三個級別。目前人工智能的研究和開發主要限于單項任務、完成人類指令，都屬于弱人工智能。有學者指出，雖然目前的人工智能仍處于弱人工智能階段，但是一旦機器能與人類的一般智力相匹敵可能會迅速超越人類，對社會產生巨大威脅，出現所謂的“超級人工智能”。⑦來自科技界的許多杰出人士，如特斯拉首席執行官埃隆·馬斯克將人工智能稱為“召喚惡魔”，比爾·蓋茨認為人類應該擔心人工智能帶來的威脅，計算機科學家史蒂夫·奧莫亨德羅、默里·沙納漢和大衛·麥卡萊斯特警告稱人類應保持對超越人類智慧的智能系統的控制權，否則人工智能可能會帶來生存風險。⑧美國智庫“新美國安全中心”發布報告將人工智能風險分為脆弱性、不可預測性、弱可解釋性、違反規則法律、系統事故、人機交互失敗、機器學習漏洞被對手利用七個方面。2018年世界人工智能大會提出人工智能安全風險包括網絡安全風險、數據安全風險、算法安全風險、信息安全風險、社會安全風險和國家安全風險。麥肯錫2019年4月發布的《面對人工智能的風險》研究報告中提出數據應用、技術問題、安全障礙、模型偏差和人機互動等因素都會引發人工智能風險。雖然有眾多研究機構或專家對人工智能風險做出解釋或分類，但人工智能技術本身的特殊性及其應用場景的差異性決定了不同行業應用人工智能產生的風險具有明顯的異質性。比如在金融科技領域和無人駕駛領域，人工智能風險的預防、發生、引發的后果以及解決方案存在極大區別。如何在最優化利用人工智能技術的同時規避人工智能風險，成為每個行業亟待解決的問題。

針對人工智能的監管和治理，我國多數學者基于公共政策角度提出了相應的對策建議，⑨期望維護社會安全的同時填補人工智能制度方面的空白，確保人工智能發展和應用的規范化。區別于以往研究，本文結合人工智能產業鏈對其風險構成進行分類評述，在全面系統分析風險的基礎上提出風險防范的機制和措施，并進一步在國家層面從監管模式、立法和全球合作三方面對我國防范人工智能風險提出對策建議。

二、人工智能產業鏈及其風險構成分析

1.人工智能的發展、應用及產業鏈分析

（1）人工智能的發展和涵義

1956年，計算機科學、心理學和經濟學的研究人員如馬文·明斯基、西摩·派珀特、約翰·麥卡錫、赫伯特·西蒙和艾倫·紐維爾等人在達特茅斯會議上率先提出人工智能的概念。人工智能在20世紀90年代重新流行并迅速發展，目的在于復制并在模式識別和預測方面進行改進（前人工智能時代的計算機在計算和數據處理方面已經優于人類），包括人臉識別（來自視覺數據）、語音識別（來自聽覺數據）、識別日常數據中的抽象模式，以及依據過去的經驗和當前的信息做出決策。人工智能領域的突破主要得益于硬件和算法的進步，研究重心表現為人工智能的機器學習方法（使計算機和算法能夠從大量數據中學習、預測和執行任務）和深度學習（如神經網絡，提高機器學習效率、進行統計推斷和優化）。

（2）我國人工智能的應用及產業鏈分析

我國人工智能技術起步雖晚，但是發展迅速。2017年，人工智能首次寫入政府工作報告，中央明確提出“加快人工智能等技術研發和轉化”，隨后2018年的政府工作報告再次指出“加強新一代人工智能研發應用”，2019年的政府工作報告提出“深化大數據、人工智能等研發應用”的關鍵詞。在國務院印發的《新一代人工智能發展規劃》中，系統部署了我國人工智能領域的發展，提出到2020年人工智能總體技術和應用與世界先進水平同步，到2025年人工智能核心產業規模超過4000億元，到2030年人工智能理論、技術與應用總體達到世界領先水平。

根據世界知識產權組織（WIPO）統計，從2013年到2016年中國的人工智能專利申請數量以年均20%的速度增長。根據《中國新一代人工智能科技產業發展報告（2019）》，截至2019年2月我國人工智能企業數量達到745家，位列世界第二，主要集中于北京、上海和廣東。企業廣泛分布于18個應用領域（見圖1），融資規模也在逐年擴大，2018年融資規模達1311億元（見圖2）。當前，我國人工智能核心產業的規模已超過1000億元，帶動相關產業規模超1萬億元。其中，浙江、江蘇、廣東的人工智能相關產業規模預計2020年分別可達到5000億元、1000億元和3000億元。

基于人工智能的涵義及其在行業中的應用，人工智能產業鏈體現在三個層面（見圖3）：首先，基礎層是人工智能發展的基礎，涉及數據的收集與運算，包括芯片、傳感器、大數據與云計算;其次，技術層是人工智能發展的核心，依托基礎層的數據資源和運算平臺進行海量識別訓練和機器學習建模，以開發面向不同領域的應用技術，目前最熟知的包括感知智能和認知智能;最后，通過結合不同的行業背景，將人工智能應用于實踐，實現與行業的深度融合以及不同場景的應用。未來，隨著深度學習、計算機視覺、語音識別等人工智能技術的快速發展，人工智能與終端和垂直行業的融合將持續加速。我國人工智能企業布局側重于技術層和應用層，截至2019年2月，應用層人工智能企業占比為75.2%，技術層企業占比為22.0%，基礎層企業占比為2.8%。

圖1 中國人工智能企業的主要應用領域分布

圖2 2012-2018年中國人工智能領域融資額（單位：億元）

圖3 人工智能產業鏈

2.基于產業鏈的人工智能風險構成分析

人工智能是由軟硬件設備、大數據、算法及其呈現出的具體技術和場景應用構成的綜合體。區別于以往技術，人工智能最明顯的特征是具有自主性。人工智能的自主性所帶來的風險一方面表現為預見性問題，另一方面表現為控制問題。為全面系統分析人工智能風險，下面從基礎層、技術層和應用層三個維度對影響社會生產或者使公眾生活遭受損失的相關風險進行分類評述。

（1）基礎層面的風險構成分析

①機器倫理風險

人工智能的倫理問題一直是科技界和學術界討論的焦點。如美國佛羅里達州法庭使用的預測系統，調查發現黑人被系統預測再次犯罪的幾率比其他族裔高出45%，黑人被預測再次暴力犯罪的幾率比其他族裔高出77%，刑事審判中的風險評分系統在結果中對黑人存在偏見。當智能機器人陪伴和幫助老年人時，必須遵循相應的文化規范執行特定的任務，日本已經推出能識別人的情感并與人交流的機器人Pepper，但長期與機器人交流會產生過度依賴等問題。為解決人工智能應用中的社會關系和社會認同等問題，瓦拉赫提出，軟件代理和機器人應該被灌輸明確的道德原則來管理其行為。機器倫理主要通過融合規范倫理、人工智能和其他學科的見解，試圖在機器中將倫理推理模型編碼化，以確保符合倫理的機器行為以及探索人類倫理的本質和可計算性，旨在創建能夠做出適當道德選擇的人工智能系統。但是世界范圍內各國的道德規范并不存在統一的標準，并且難以量化。道德哲學沒有發現令人滿意的人類價值觀的形式化，人工智能實施中面臨道德困境的“電車難題”，由于倫理的本質、計算代理的局限性和世界的復雜性等因素存在，導致機器倫理在某些情況下增加道德行為的概率無法保證。

②算法歧視風險

人工智能技術上的盲點和偏見會導致特定人群成為系統“偏見”和“歧視”的受害者。在瀏覽網頁時，算法會根據用戶偏好推薦個性化、定制化信息，破壞了信息的多樣性，剝奪了個人自主決定權，產生信息繭房效應。一些互聯網公司運用大數據技術區分不同的目標客戶群體，由此產生價格歧視。谷歌的廣告定位算法存在性別歧視，當搜索20萬美元薪水的行政職位時，模擬男性用戶組收到1852個招聘廣告，而模擬女性用戶僅收到318個廣告。引起算法歧視主要源于兩個層面：一是算法的公平性。人類決策會受到有意或者無意的偏見以及信息不充分等主客觀因素的影響。二是算法的可解釋性。人工智能最大的問題為“黑盒風險”，即運算過程的不透明性和不可解釋性。算法的不透明性通常源于三方面：企業為維護商業秘密和競爭優勢或緣于國家機密而進行的自我保護，受到編寫（和讀取）代碼和算法設計等專業技能所限而產生的不透明性，以及實際操作中海量數據和復雜的多組件系統導致的不透明性。

③數據應用風險

數據是人工智能應用中最重要的運算和決策基礎。隨著來源于網絡、社交媒體、移動設備、傳感器和物聯網等方面的非結構化數據越來越多，個人數據常被過度采集，加劇了隱私泄露的風險。根據中國消費者協會2018年的調查報告，85.2%的人遇到過信息泄露的情況。在臉書的數據泄露事件中，劍橋分析公司通過關聯分析的方式獲得了海量的美國公民用戶信息，包括膚色、性取向、智力水平、性格特征、宗教信仰、政治觀點以及酒精、煙草和毒品的使用情況。如果對獲取的數據進行惡意篡改，通過污染訓練數據改變分類器分類邊界，或者采用反饋誤導方式，利用用戶反饋機制發起攻擊，直接向模型輸入偽裝的數據或信息，會誤導人工智能做出錯誤判斷。當人工智能訓練數據遭到污染時，在自動駕駛領域可導致車輛違反交通規則甚至造成交通事故，在軍事領域，通過信息偽裝的方式可誘導自主性武器啟動或攻擊，從而帶來毀滅性風險。

（2）技術層面的風險構成分析

①網絡安全風險

由于人工智能的自動化以及強大的數據分析能力，越來越多的個人、家庭、企業和政府利用網絡安全檢測體系對抗網絡安全威脅與網絡異常。但是美國電氣和電子工程師協會（IEEE）的《人工智能與機器學習在網絡安全領域的應用》報告指出，人們面臨著有組織的全球范圍內的大規模網絡攻擊。人工智能技術的開源框架和組件由于缺乏嚴格的測試管理和安全認證，可能存在漏洞和后門等安全風險，一旦被攻擊者惡意利用，會危及人工智能產品的完整性和可用性。如公眾生活中常常見到的黑客對網絡漏洞的“攻擊”、“僵尸”網絡的出現、屢禁不止的釣魚網站、個人隱私的泄露等，類似的網絡安全威脅在不斷發生。網絡犯罪利用比以往成本更低的人工智能技術執行各種惡意的任務，對開放的、易受攻擊的端口進行掃描，或是通過電子郵件的自動組合，竊取個人數據或企業機密，利用釣魚網絡的自動化提高攻擊的效率。當前，人工智能系統與眾多行業領域的深度融合，涌現出許多無人值守系統，若一些重要的人工智能系統被入侵或劫持，將會威脅到社會公共安全。

②人機互動風險

隨著智能語音、網聯汽車、視頻圖像身份識別等技術的發展及其所帶來的日趨豐富的應用場景，實際運用中會引發感知認知風險。2016年3月，微軟公司的人工智能聊天機器人TAY上線僅一天就被“教壞”，成為一個集反猶太人、性別歧視、種族歧視等于一身的“不良少女”。美國制片公司猴爪（Monkeypaw）利用名為“深度仿真”的人工智能技術，通過替換人臉制作了一段奧巴馬嚴厲批評現任美國總統特朗普的虛假視頻。④支付領域中的人臉識別功能方便了公眾的支付和消費，但被惡意盜取人臉信息后進行“隔空盜刷”問題也開始逐漸出現。2019年8月，一款名為“ZAO”的人工智能換臉軟件風靡社交媒體，只需提供一張人臉照片，就可以將選定視頻中的人物面部替換掉生成新的視頻片段，引發個人信息安全保護、肖像權、版權等安全隱患。

（3）應用層面的風險構成分析

①系統性風險

現代通訊技術及交易的高科技程度、全球經濟一體化和金融全球化的發展趨勢以及人工智能技術的普及，為系統性風險的溢出創造了條件。如今互聯網環境日益龐雜，越來越多的物聯網設備從各種渠道獲取信息，當由人工智能導致的風險發生時，由于網絡上信息的不對稱性和響應的不及時，會出現放大的倍數效應。人工智能帶來的系統性風險存在外部性，當某個節點突發問題，原本可能只屬于某個市場的動蕩會通過網絡體系迅速蔓延，發生級聯效應，進而會影響到世界其他地區的貿易和金融局勢。

②法律制度風險

隨著人工智能系統變得越來越強大、復雜和自治，控制和監督問題將會出現。謝勒指出，人工智能系統帶來的風險可能會被證明是法律體系難以應對的。例如當前的醫療人工智能技術已經成熟，但依然難以得到推廣，其主要原因就在于“AI+醫療”方面的法律處于缺失狀態，隱私泄露問題、數據丟失問題、違規使用問題等諸多因素制約了醫療人工智能的發展。如果沒有完善的法律保障和規范，人工智能與產業的深度融合只能是紙上談兵。一般來說，法律法規的監管分為事前和事后兩個階段。人工智能的研發具有與一般商品生產不同的特點，比如研發人員和地理位置上的分散性和不明確性、研發過程的不透明性等，使得傳統的監管方法并不適合處理與人工智能和自主機器相關的風險，導致事前監管會非常困難。而人工智能的自主性引發風險的預見性和可控性的難度，也使事后監管失效。并且人工智能技術應用的行業領域不同，采用統一的標準去判斷也有失公允。

③社會福利風險

人工智能的發展和應用導致的社會福利風險主要表現為加劇失業和社會分化。基于人工智能的自動化系統會逐步取代一些程序化的工作崗位，如文員、服務生等。但在就業人口被壓縮的情況下，人工智能應用所帶來的勞動生產率提高很難轉化為勞動力工資收入的普遍增長。與行業融合的過程中，一些擁有較好的數據信息積累且生產過程適宜人工智能技術介入的行業（如制造業的流水線加工組裝等），能夠在較短的時間內獲得較大的發展空間，由此導致行業分化趨勢也更加明顯。

三、構建防范人工智能風險的機制和措施

尤德科夫斯基提出了友好人工智能的概念，旨在促進人工智能系統做出對人類有益且無害的行為。如果人工智能是以犧牲社會利益為代價的話，那么它就不應由于設計者的私利而設計。從本質來說，人工智能研發設計的目標在于通過將智能化的技術應用于生產和生活中，造福于社會公眾，同時促進各行業領域的創新升級，最終實現全世界的科技進步和福利提升。具體表現在以下四個方面：第一，考慮長期性和可持續性;第二，考慮社會凝聚力，包括就業、資源共享、包容和社會認同;第三，兼顧公眾權力以及歷史、社會、文化和倫理價值觀念;第四，考慮環境影響或國際關系的全球性制約因素。

1.從研發技術層面構建防范人工智能風險的機制

（1）以研發人員作為內部風險防范的起點

從防范風險的角度來看，人工智能的挑戰在于其研發方式。人工智能系統的設計可在不同的地方和時間進行，而不需要任何有意識的協調，同時內部研發工作可能處于保密狀態。危險的人工智能的目的性設計會包括所有其他類型的安全問題，最危險和最難防范的就是故意制造的惡意人工智能。對研發人員實施相應的約束或激勵機制，或通過倫理道德培訓施加影響，可有效促進研發人員主動追求安全有益的人工智能。

第一，約束機制。在人工智能研發過程中，必須采用某些有益的設計，例如驗證、有效性、安全性和控制權等，同時考慮避免負面影響，強化可擴展的監督和安全開發。約束機制的設計需要注意：必須經過精心設計和反復驗證，設計有效的人工智能約束機制需要人工智能領域的專家和決策者之問的密切互動;由于技術本身的與時俱進，約束機制需要不斷更新。

第二，激勵機制是讓研發人員保留設計自由，通過制定特定設計的獎勵或懲罰，將開發者推向不同的設計方向。比如為有益的人工智能研究提供資金支持，或者為應對負面的人工智能后果，由人工智能公司承擔責任支付賠償等。激勵機制也可采取其他形式，如社會表揚或批評、行業促進或制裁。其優勢表現在，通過給人工智能研發人員或企業更多的自由，更容易實現其所追求的設計目標，易于在群體中產生良好的示范效應。

第三，倫理道德培訓。建立完善、系統的培訓機制，促進研發人員樹立良好的倫理道德價值觀念。首先，由人工智能專家、心理學與哲學等學科研究人員共同參與制訂符合人工智能倫理的培訓內容（權利、責任、人類福利、公平等），形成一套完善的培訓體系;其次，在高校中將倫理和安全的相關課程列入人工智能、數據科學或計算機相關專業必修課，加強對相關專業倫理道德的學習;最后，考慮對人工智能從業人員進行涉及倫理道德的崗前培訓，設置從業門檻，加強從業人員倫理道德責任的認識。

（2）構建多層次的人工智能風險防范機制體系

關于數據應用方面的風險防范，需要從國家層面出臺數據信息監管制度去規范數據信息的獲取行為和渠道。2018年5月歐盟正式執行《通用數據保護條例》（GDPR），該制度在獲得用戶許可、處理兒童數據和敏感數據方面對企業提出了嚴苛的要求，此外還明確規定了數據主體（消費者）的修改權、被遺忘權、限制處理權等權利。歐盟條例的實施為公眾的數據提供了安全保護，為企業規范使用數據信息提供了依據，為其他國家提供了借鑒和參考的范本。總之，人工智能中的數據安全治理是一個系統性工程，需要從法規、標準、技術、行業等各個層面尋求應對策略，并需要監管方、政策制定者，人工智能開發商、制造商、服務提供商，以及網絡安全企業的共同協作。

關于算法歧視方面的風險防范可以通過兩個途徑：第一，確保訓練數據集的時效性、全面性和廣泛性，避免輸入數據單一和片面;第二，確保算法的可解釋性和透明性，避免黑盒操作，必要時由行業主管部門對算法進行審查或備案。谷歌團隊發布了一項名為“概念激活向量測試（TCAV）”的新技術，能夠直觀顯示神經網絡模型運算所依據的概念和比重。技術目標是將支撐模型的變量以人類能夠理解的高級概念表現出來，并顯示各種概念的權重，當把技術運用于涉及現實的識別模型上時，能夠清晰地判定該模型是否涉及歧視。總之，該技術不僅在技術層面解決了算法的可解釋性問題，而且即便是沒有任何技術背景的普通人也可了解算法的運作標準，進而能夠及時解決算法偏見和歧視問題。由此可見，今后科技的發展方向一方面是智能技術的不斷創新以及與行業的深度融合，另一方面也向算法的公開性、透明性和可解釋性方向發展。

關于機器倫理方面的風險防范，阿西莫夫曾提出著名的“機器人三原則”，即不傷害人類、服從人類指揮和保護自己。但隨著人工智能技術的不斷創新發展，機器人三原則已經不適用當前復雜的社會環境。目前處理人工智能倫理問題的關鍵是首先由各國共同商討基準的倫理道德標準，然后再根據本國的倫理道德實際，在全球認可的機器倫理基準框架下制訂本國的機器倫理設計標準。目前各國提出的機器倫理設計原則大都停留在理論階段，在實際的人工智能倫理設計中可以考慮的方式是，基于不同的道德情境把倫理規范編程，應用時作為基準來衡量各種道德選擇的可接受性，或者給智能機器創造體驗和學習環境，讓機器逐漸學會可接受的道德規范和行為準則。

關于網絡安全方面的風險防范，需要從法律和政策、人為因素、軟硬件、算法和數據、可操作性等領域協同響應，共同推進。政府與行業間應緊密協作推出受到市場接受的、由監管部門認證的智能產品。監管機構對科研和運營要加以保護，建立行業間的合作組織，不斷提升人工智能技術的創新水平，利用人工智能技術保障網絡安全，以標準化的、嚴格監管的方式實現對技術的安全運用。同時要增強網絡安全人員的能力，以靈活、高速地應對未知威脅，進行網絡安全預警，落實應急處置工作。

（3）營造理性防范風險的社會輿論環境

社會輿論主要指企業有責任和義務警告用戶，智能系統可能會扭曲運行結果。營造良好的社會輿論環境，首先是企業應基于社會責任標注風險提示，如個人數據信息的收集、影響、危害，有必要要求系統保持中立和公平;其次公眾應具備風險意識，對人工智能相關技術和產品做出合理判斷和決策;最后，需要國家層面的引導，在法律層面規范企業行為，保護用戶權益。由此可見，構建積極理性的社會輿論環境需要消費者、生產者和國家三方的共同參與。

2.從應用層面構建人工智能與行業相結合的風險防范體系

隨著越來越多的行業與人工智能深度融合，在實現行業創新、提升行業效率和利益的同時，也對行業提出了全新的挑戰。構建行之有效的風險管理體系應該結合行業特征，在行業的風險觀念和偏好框架下重構適合人工智能操作的工作流程和處理方式。從應用層構建防范人工智能風險的控制體系，需要重點考慮兩點：第一，考慮人工智能的具體算法操作中所面臨的技術問題，涉及開發、測試和部署人工智能系統基礎模型和數據的實際應用;第二，結合人工智能技術嵌入的組織和制度環境，考慮行業環境的特殊性。綜上，“人工智能+”的風險防范體系可歸納為三個階段（見圖4）。

首先，事前階段涉及與具體行業應用相關聯的人工智能系統的開發、設計和部署。此階段需要人工智能研發人員與行業專家的密切合作，通過更具針對性和實操性的研發，最大限度地杜絕初期階段人工智能系統存在的風險和漏洞。其次，事中階段涉及人工智能技術的具體行業應用，根據人工智能技術介入行業應用的自動化程度進一步細分為短期、中期和長期。短期內，由于自動化程度較低，人工智能技術表現為反應式指導，根據問題系統會基于既定的規則運算然后給出結果或解決方案。短期風險主要來自于人工智能系統做出預測的可靠性和可解釋性，包括系統所訓練的數據與預測環境之間的匹配程度，以及理解和解釋機器學習系統如何進行預測。中期內，人工智能系統自動化程度較高，系統根據大量的訓練數據集進行周期性訓練，得出的測試結果相對準確。中期風險表現在人類對智能系統的過度依賴，或由大量歷史數據訓練完成的機器學習系統在操作中難以適應快速變化的現實環境。長期內，人工智能系統的自動化程度最高，系統能夠主動識別問題并采取最優方法進行積極干預。長期風險表現為系統的自主性帶來的風險，如自主發現實現預期目標的新方法，或通過不安全的方法去實現設定目標。最后，事后階段涉及相關風險發生后的法律制度規范和保障，包括風險評價、責任判定、懲罰補償等。為了保證行業風險控制體系的時效性和敏捷性，數據、算法的動態更新機制和風險、信息的循環反饋機制應時刻貫穿于整個過程。

伴隨人工智能技術的不斷更新以及外部政策環境的不斷變化，系統管理員與研發人員應保持密切溝通配合以防范系統性風險的產生，同時規范人工智能技術的應用，防止出現技術濫用風險。針對由于人工智能技術的應用而帶來的社會福利損失，可通過增加對中等技能勞動力的技能培訓的力度，降低失業風險，同時拓寬就業渠道，要求企業開展靈活多樣的再就業方式。

圖4 “人工智能+”的風險防范體系

四、我國人工智能風險防范的對策建議

1.采取多主體多層次的監管模式

人工智能的研發設計和應用涉及公民團體、社會組織、學術機構、產業界、科學界、政府部門等多個領域，因此對人工智能的監管應采取多主體多層次治理的模式。在研發技術層面由地方科技部門對關于人工智能技術研發的高校或者企業進行備案并實施監管，涉及重大研發項目應向國家科技部門備案。在行業應用層面，行業自律和監督是醫療、制造、礦業、交通、教育、金融等眾多行業的關鍵治理工具，應由相應的行業主管部門和所屬行業協會共同監管。

2.加快人工智能領域的立法進程

面對機遇與挑戰并存的人工智能技術，技術發展與法規制訂必須齊頭并進，才能為研發和產業應用實踐提供強有力的法制保障。當前我國的人工智能發展政策在網絡安全和數據使用方面，《中華人民共和國網絡安全法》規范了對個人信息保護的要求，《中華人民共和國電子商務法》約束了大數據的使用。2019年7月，我國新一代人工智能治理原則正式發布，旨在發展負責任的人工智能。雖然國家層面對人工智能產業發展足夠重視，也有多部法律法規和規章涉及個人信息保護，但總體分散，涉及細分行業的法律制度甚至是缺失的。目前國際層面對于人工智能相關領域的立法工作也都處于探討階段。國家監管的內容包括倫理、標準、研發和創新，以及作為指導機器人和人工智能倫理治理框架的行業、公眾參與等諸多要素。對法律問題的思考應當具備前瞻性思維，能夠率先在該領域搶占先機的國家可能會決定其未來的發展方向，并從中獲得最大的利益。作為人工智能發展的領先國家，我國應該力圖在人工智能立法領域有所突破，加快人工智能領域立法的進程，從人工智能技術研發再到行業推廣實踐，建立信息和數據開放標準、界定開放邊界，在應用推廣上采用循序漸進的開放原則，并且促進最佳實踐、指南、標準的形成，打造全球科技競爭新的優勢。

3.促進人工智能監管的全球合作

世界經濟論壇（WEF）白皮書指出，技術革新的快速步伐正在重塑產業，模糊地理界限，挑戰現有的監管框架。防范人工智能風險需要利益相關者的共同努力，采取更具包容性和敏捷性的治理形式共同解決創新所帶來的社會后果。全球層面對于人工智能的有效監管的難點在于，既需要落實在一個國家內部有效實施監管的問題，也需要促使全球層面不同國家關于監管的必要性達成一致意見。考慮到跨國治理的弱點主要表現在超越國家層面建立的監管機構沒有足夠的軍事和經濟脅迫機制去要求各國或機構配合調查甚至對危險行為進行懲罰，因此全球技術監管中應制訂跨國協議，成立國際層面的監測和核查機構，同時設置從經濟制裁到軍事力量等的強制執行機制。在人工智能監管的全球合作中，一些重大技術突破可能會涉及多個國家機構、人員和資源的合作，那些可能會對社會產生重大影響的人工智能技術尤其應該受到更嚴格的監管，以確保安全、公平地傳播和共享信息技術。除了對于人工智能研發領域風險的監管以外，國際合作還能進一步在人工智能的應用層面展開，如醫療保健、自動化、氣候變化、智能化武器裝備等。設計安全可控且符合全人類共同利益的人工智能技術需要各國的共同參與，以制定出有助于促進人工智能研發并且能夠應對風險挑戰的國際框架，在全球范圍內建立創新和高度自動化的系統，對危險和異常的技術跡象進行全球監測。我國應該在人工智能監管的全球合作中樹立大國責任，在高技術產業領域增強話語權和影響力，積極倡議風險防范和預警，并號召國內的研發企業提供中國方案為人工智能的全球治理提供參考。

責任編輯：牛澤東