基于社會穩定視角的人工智能應用風險防范

孫洪艷 謝政恩 袁郭萍

DOI：10.16660/j.cnki.1674-098X.2106-5640-3219

摘? 要：隨著人工智能在社會各行業的不斷發展融合，智能技術給社會生產生活帶來便利的同時又伴隨著一系列的社會風險。通過對人工智能技術應用現狀的分析，從個人層面和社會層面提出人工智能帶來的社會挑戰。在對人工智能風險挑戰分析的基礎上，提出風險防范機制和措施，并從技術研發、社會應用及風險治理三方面構建了人工智能風險防范路徑，形成了人工智能應用風險防范體系。

關鍵詞：社會穩定 人工智能? 風險分析 防范路徑

中圖分類號：TP18? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2021）06（b）-0082-05

Risk prevention of artificial intelligence application based on the perspective of social stability

SUN Hongyan XIE Zhengen YUAN Guoping

（Southwest Medical University， Luzhou， Sichuan? Province， 646000? China）

Abstract： With the continuous development and integration of artificial intelligence in various social industries， intelligent technology not only brings convenience to social production and life， but also accompanied by a series of social risks. Through the analysis of the application status of artificial intelligence technology， this paper puts forward the social challenges brought by artificial intelligence from the personal and social levels. Based on the analysis of the risk challenge of artificial intelligence， this paper puts forward the risk prevention mechanism and measures， constructs the risk prevention path of artificial intelligence from the three aspects of technology R & D， social application and risk governance， and forms the risk prevention system of artificial intelligence application.

Key Words： Social stability; Artificial intelligence; Risk analysis; Prevention path

信息技術的發展促使人工智能時代的到來，以物聯網為基礎的人工智能被廣泛的應用于工業制造、醫療健康、家庭助手、金融與商業等領域。人工智能技術日漸成熟，計算機深度學習與邊緣計算、5G技術等也進入快速融合發展時期，人工智能正逐步進入社會大眾的日常生活之中，其廣闊的發展前景也得到公眾和社會的認可。智能應用和社會生產生活不斷地融合使得工作生活便利的同時，也因智能產品自身感知能力等原因，引發了安全和風險的很多負面問題，如智能設備劫持、虛擬語音詐騙、智能網絡攻擊等[1]。同時，人工智能的自主性發展到一定程度機器會擁有自主意識，可能會致使人工智能失去控制，對人類社會造成威脅。這些問題和威脅促使對人工智能應用風險和防范進行研究，期望維護社會安全的同時填補人工智能應用規范化方面的空白，這對社會穩定和人工智能的健康發展具有重要的意義。

1? ?人工智能社會化發展

人工智能的起源是在20世紀50年代，由馬文·明斯基和鄧恩·埃德蒙所建造的世界上第一臺神經網絡計算機，因此馬文·明斯基也被后人稱為人工智能之父。1956年達特茅斯會議上，計算機專家約翰·麥卡錫首次提出“人工智能”一詞，標志著人工智能的正式誕生，此后十余年的時間人工智能得到了迅速發展。但自20世紀70年代以后，由于科研人員在人工智能研究中對項目難度預估不足，導致人工智能的發展受到限制[2]。直到20世界90年代，隨著神經網絡的逐步發展，人工智能在模式識別和智能預測方面得到突破。在此之后，得益于計算機硬件技術發展和算法的不斷改進，人工智能在社會生活中的應用也不斷深入，如人臉識別、智能搜索、自動駕駛等，使得公眾生活享受到極大便利。人工智能的發展應用給社會各行業帶來了新的發展機遇，也催生了新的經濟增長點。與此同時，人工智能的應用也造成了一定的社會安全隱患。某知名智能人臉識別系統曾遭攻擊者侵入管理端，通過程序修改致使人臉識別門禁失效，任何人臉都可以通過門禁。2018年在上海召開的世界人工智能大會，社會安全風險再次和網絡安全風險、信息安全風險和國家安全風險等被提出和強調。

根據自主學習程度，人工智能的應用可以分為弱人工智能（Weak AI）、強人工智能（Strong AI）、超人工智能（Super Intelligence）3個級別[3]。弱人工智能只能應用于解決某一特定領域問題，是具有限制性的人工智能。強人工智能指的是可以勝任人類所有工作的人工智能，也稱為完全人工智能。超人工智能是指通過計算機程序的不斷發展，所產生的比人類天賦更高的人工智能系統。目前，人工智能在社會中的應用處于完成簡單指令的弱人工智能階段。有學者指出，處于弱人工智能階段的智能應用一旦與人類的一般智力相匹配，可能會迅速超越人類智慧，產生所謂的“超級人工智能”，對社會生產及人類安全形成巨大威脅[3]。人工智能的發展給社會生產生活帶來了極大的便利和不可預知的潛在風險，在享受人工智能技術帶來的便利的同時規避智能應用的風險，已成為亟待當今眾多學者研究解決的熱點問題。

2? 人工智能對社會穩定的挑戰

面對人工智能技術的迅猛發展和失控風險，霍金曾警告世人，人類的貪婪和無知將不可避免的催生出“流氓人工智能系統”[4]。人工智能具有以往任何技術所不具備的自主性的特征，自主性為人工智能解決問題帶來可控制和可預見性，這也是人工智能所帶來社會風險主要原因所在。為系統全面的分析人工智能應用帶來的風險，下面從個人層面和社會層面2個維度對人工智能影響社會穩定的相關風險進行分類評述。

2.1 個人層面的挑戰

2.1.1 加速個人數據信息的泄露風險

伴隨著基于傳感器、物聯網等智能設備應用的增多，致使應用于人工智能問題處理以及決策的數據也越來越多。智能設備上的社交、行程、支付等方面非結構化數據的增多，個人數據經常被過度的采集應用，導致個人隱私數據被泄露。2019年國內某智能家居公司產品數據庫，在物聯網管理平臺無任何密碼的情況下運行，泄露包括用戶名、密碼、電子郵件等信息的20億條日志。如果這些信息被別有用心者獲取，通過數據訓練改變原有分類器邊界，或者利用反饋機制對數據庫發動攻擊，向數據模型輸入篡改后數據或信息，將導致人工智能無法做出正確的判斷。

2.1.2 智能算法存在社會歧視

人工智能技術上的盲點和偏見會導致特定人群成為系統“偏見”和“歧視”的受害者[5]。牛津大學一項研究顯示，個人在瀏覽網頁時，智能算法會基于瀏覽者的瀏覽行為，推斷個人敏感信息，并且根據偏好推送定制化信息為廣告商推送精準受眾。這樣不但破壞了個人自主選擇的權利，而且容易產生價格歧視。在智能信息時代算法歧視還會引發更為隱蔽的算法連帶歧視，即便算法在信息生產和分發中處于中立立場，也存在被濫用的風險。算法歧視存在的主要原因在于算法的局限性以及不透明性。一方面算法是計算進程對人類社會運作規則的重構，而世界文化空間的多元化使得算法無法完全量化，容易造成社會歧視的發生。另一方面，算法形成過程中因涉及商業或技術機密，運算過程具有不透明性。

2.2 社會層面的挑戰

2.2.1 具有加巨社會兩級分化風險

社會層面的智能應用風險主要表現為：加劇失業以及社會貧富分化。對于制造業等重復的生產過程，人工智能的應用能夠提高生產效率、降低生產成本。未來10～15年，智能技術與社會生產生活應用融合過程中，將帶來更加自動化的生產和智能化服務，將有越來越多的工作不需要或只需要很少的人來完成，這就意味著以此類行業為生的工人將面臨失業風險;智能化社會的發展，使得新興智能產業能夠在較短時間內獲得較大的發展空間，由此導致行業分化趨勢也更加明顯[6]。為超級富翁帶來驚人財富的同時，也給數百萬的失業者帶來極度的貧困。

2.2.2 網絡信息安全受到嚴重威脅

人工智能超強的自動化程度和強大的數據分析能力，成為許多家庭、企業以及政府檢測與對抗網絡安全的工具。智能時代的網絡安全威脅主要來源于以下2個方面：第一，人工智能本身可能存在的安全漏洞。智能產品及服務的架構極有可能存在系統安全漏洞。隨著人工智能在社會中的應用越來越廣泛，無人值守等智能一旦因系統漏洞發生網絡劫持，將造成嚴重的社會公共安全事件。第二，有組織的網絡攻擊。最著名的就是近年來智能語音所遭受的“海豚音攻擊”行為，該攻擊人耳無法聽見，黑客通過超聲波信號劫持智能設備的語音系統，再利用麥克風硬件漏洞開啟語音助手，就能把用戶的智能設備當做竊聽器來竊取私人信息。人工智能的分析處理能力可提升網絡攻擊性，對網絡安全防護體系造成威脅與挑戰。

2.2.3 人工智能法律制度缺失

人工智能與社會應用的不斷融合，使得智能系統功能不斷強大，人工智能的控制和監督問題也不斷出現。當前智能醫療技術已趨于成熟，但現實中推廣阻力重重。表面看來是隱私泄露以及使用不合法等原因制約了人工智能在醫學中的應用發展，但究其最主要原因還在于人工智能法律制度的空白。缺少了法律制度的規范和保障，人工智能與社會各行業的深度融合也只能浮在空中。有學者研究指出，人工智能系統應用帶來的風險可能會被證實法律體系難以應對的[6]。一般來說，法律法規監管分為事前監管和事后監管。智能產品的研發具有不透明性、不明確性，這使得傳統產品的監管方法，在處理人工智能應用的風險時產生嚴重不足，導致事前監管會困難重重。人工智能自主性引發風險的可預見性和可控性的難度較高，也經常使得事后監管起不到效果。

3? 社會穩定視角下的人工智能風險防范路徑

人工智能研發設計的目標在于將智能化的技術應用于社會生產和生活中，在造福社會公眾的同時，促進各行業、領域的創新升級。友好人工智能概念的提出者尤德科夫斯基指出：人工智能系統的設計開發應該是對人類有益且無害的，如果人工智能是以犧牲社會利益為代價的話，那么它就不應由于設計者的私利而在社會中應用[7]。面對人工智能對社會穩定造成的種種挑戰，需要構建風險防范體系來保障人工智能朝有利于人類社會的方向發展。

3.1 人工智能的風險防范

3.1.1 技術層面的風險風范

技術層面的風險挑戰主要是人工智能的研發方式。因為智能系統的設計不局限與特定時間地點，同時系統開發經常處于不對外公開的狀態。致使危險人工智能的設計處于無監督意識狀態，常出現產品安全、算法偏見、法律及倫理道德等的安全問題。其中危險程度和防范難度最高的當屬惡意人工智能，對于這種通過人為制造的惡意人工智能，可以通過研發過程中的約束機制和倫理道德防范培訓，來促使研發過程中的規范性，從而發展安全有益的人工智能。

一方面在智能應用的研發過程中，采取有力約束機制。必須對設計的有效性、安全性和可控性等進行反復驗證，避免技術帶來的負面影響，保證產品的可解釋性和安全投入使用。另一方面，建立完善、系統的倫理道德培訓機制，促進研發人員樹立良好的倫理道德價值觀念。人工智能倫理道德培訓體系主要包括：責任、權利、公平性等，由人工智能研發專家、心理學、社會哲學等多學科專家同參與制訂，經過不斷完善修改最終形成一套完善的培訓體系。高校相關專業（人工智能、計算科學等計算機相關專業）將倫理道德課程引入專業必修，從大學期間加強未來技術人員的倫理道德素養。

3.1.2 數據層面的風險防范

人工智能數據層面的風險防范主要靠國家層面的數據治理和監管，通過相關法律法規來規范智能應用產生數據的獲取范圍。數據層面的人工智能應用防范需要從數據安全和算法安全制定應對策略。

關于數據安全方面的風險防范主要通過立法來保證數據的安全使用，從法律政策上規范智能設備數據的安全運用。同時，加強數據安全監管和增強管理人員的安全意識。建立人工智能數據監管機構，協調人工智能數據研發、軟硬件設備、數據使用共同響應，在不斷推進人工智能技術創新發展的同時，保障智能數據的安全使用;增強智能系統管理人員安全意識，定時后臺巡查數據運行狀況，做到能夠快速靈活的應對未知威脅，從而降低數據安全風險發生事件。

算法安全風險防范主要從數據全面性和算法可解釋性加強防范。智能操作的前提是對數據的訓練，保證訓練數據集的全面、實時和廣泛性是消除算法偏見和歧視，確保算法安全的前提。其次，確保算法的可解釋性可消除人工智能決策的不可控性。人工智能監管部門對智能算法進行審查備案，利用最新測試技術審核算法的各種概念和權重，打破黑盒操作的不可解釋性，促使算法向透明性和可解釋性方向發展，及時發現和消除算法實施中的歧視和偏見。

3.1.3 社會關系層面的應用防范

人工智能發展在社會層面主要是面臨技術失控風險。短期內取決于可預見性風險的控制程度，長期風險存在于智能設備的自動化程度，超人工智能擁有等同甚至高于人類的自主能力，以現有認知能力還難以預測和判斷。基于此社會層面的應用風險防范主要從風險研究、法律規范、社會監管等方面為人工智能的可預期發展提供安全指導。

加大人工智能安全風險研究構筑安全防控體系。從國家層面組織人工智能科研機構，專門研究人工智能在社會應用中的風險及防范，研究成果為法律政策、技術監管提供有效指導。針對研究發現的安全風險，不斷建設和完善人工智能安全防控體系，做到在社會生產和公眾生活中利用好人工智能技術，推進智能技術安全可靠的發展。

加快人工智能應用立法。人工智能技術的不斷發展必然引發社會生產關系和社會結構行為的不斷變化，容易引發不可預知的安全風險，必須通過法律制度來規范智能主體的異常變化。人工智能發展的現階段，法律研究及問題主要聚焦于智能主體的法律地位、智能行為的法律責任等。技術更新迭代速度飛快，人工智能立法研究也應該具有前瞻性，這樣才能使不斷出現的新問題有法可依有章可循。

加強人工智能的社會監管。針對研究可能面臨的人工智能安全問題，組織與智能產品生產服務無直接關聯的社會機構，對智能產品和服務進行社會監管。一方面對智能產品或服務做市場應用前的測試和審查;另一方面對存在安全缺陷的產品和服務依法上報處理，積極運用人工智能技術提高安全監管能力，做到對智能產品和服務全方位、立體化監管。

3.2 基于社會穩定層面的人工智能風險防范體系構建

隨著社會發展與人工智能的不斷融合，智能技術在完成創新發展，提高社會效益的同時，也對社會穩定提出了新的挑戰。結合人工智能應用構建了人工智能風險防范體系，具體如圖1所示。

在技術研發階段，主要是人工智能工程技術人員對智能系統的設計、研發和實施。需要人工智能技術研發者和智能風險評估專家相互配合，在智能系統的開發前期杜絕人為安全隱患，將智能系統可能存在的安全問題降到最低。

社會應用階段，以具體的智能應用為基礎，將智能應用分為短期、中期和長期3個階段。在短期階段，人工智能的應用風險主要是智能系統的可靠性和可解釋性，主要表現為數據訓練集的全面性以及預測結果的準確度，同時智能系統運算過程必須具有可解釋性，避免黑盒操作帶來的不可預知風險。中期階段，智能系統可通過更有效的算法進行數據的訓練，在現實應用中可得到更精確的運算結果。此階段的風險防范主要是防范人類智能對人工智能的過度依賴，人類應通過技術、服務和管理的相互配合來掌握智能應用的主動權，同時預防因過度依賴智能系統導致的人類大腦進化中的退化。長期階段，人工智能應用的風險來自于智能系統的自主干預性。當智能應用擁有自主意識后，怎樣安全有效的完成既定目標，以及智能物和智能物之間的安全聯系，都是需要進一步研究的課題。

基于人工智能社會應用各階段的風險點，建議采用多主體多層次的風險防范監管模式。從人工智能技術的研發方面，實施多層次的備案監管制度。一般研發由地方監管部門備案登記，并實施監管，重大研發項目應在國家專門部門備案并監管。從人工智能的社會應用方面，實施由智能應用主管部門的自律與監督制度是人工智能在諸如金融、制造、醫療等重要領域的有效工具。同時，人工智能技術和社會應用迭代速度之快，在防范智能系統性風險的發生的同時，還要密切關注智能技術的社會應用風險，將自身風險和濫用風險都降到最低范圍。

風險治理階段主要包括：風險的評估、責任的判定、懲罰與補償等，以及風險發生過后的法律制度完善和實施保障。同時，風險循環反饋保障機制貫穿于研發、應用和治理三部分，為風險防控體系提供實時動態數據更新，有效保障人工智能技術的安全應用。

4? 結語

人工智能的迅速崛起對社會穩定發展提出了新的挑戰，有效解決發展與挑戰之間的關系除了加強技術和社會關系的防范外，還要加快人工智能領域的立法以及全球合作。當前我國人工智能除了技術與應用方面的發展，在網絡安全和數據應用方面也有涉及，而《中華人民共和國網絡安全法》的頒布，在法律層面對個人信息安全進行保護。2020年8月，國家新一代人工智能體系建設指南頒布，旨在發展負責任的人工智能。雖然人工智能的發展已備受國家層面的關注，但是人工智能的法律保障體系是缺失的，世界各國對人工智能的立法也都還處于探討時期，沒有成型的法律法規可供參考。

目前我國處在人工智能技術的領先國家行列，智能技術與社會應用在跨界融合推動社會發展的同時，也面臨史無前例的社會安全隱患，這也恰恰是最大的時機。在人工智能的社會應用中及時發現和解決存在的安全隱患，使智能技術朝著友好人工智能方向發展，應成為全球人工智能發展的共識。

參考文獻

[1] 王君，張于喆，張義博.人工智能等新技術進步影響就業的機理與對策[J].宏觀經濟研究，2017（10）：169-181.

[2] 張耘堂.基于“人工智能+”經濟模式創新的分析[J].自然辯證法研究，2019，35（9）：61-66.

[3] 劉濤雄，劉駿.人工智能、機器人與經濟發展研究進展綜述[J].經濟社會體制比較，2018（6）：172-178.

[4] G.Graetz and G.Michaels，Robots at Work.The Impact on Productivity and Jobs，CentrePiece-The Magazine for Economic Performance，vol.447，Centre for Economic Performance， LSE[Z].2015.

[5] 李新瑜，張永慶.基于產業鏈視角的人工智能風險分析及其防范[J].人文雜志，2020（4）：47-57.

[6] 陳洪兵，陳禹衡.刑法領域的新挑戰：人工智能的算法偏見[J].廣西大學學報：哲學社會科學版，2019（5）： 85-93.

[7] 李政濤.依托人工智能開展大學生就業觀教育改革的策略研究[J].科技資訊，2020，18（2）：142-144.

[8] 馬長山.人工智能的社會風險及其法律規制[J].法律科學，2018（6）：47-55.

[9] 陳偉光，袁靜.人工智能全球治理：基于治理主體、結構和機制的分析[J].國際觀察，2018（4）：23-27.