人工智能系統發展安全風險及防控

張 萌

（太極計算機股份有限公司，北京 100102）

自1956 年美國達特茅斯學院學術研討會召開之后，人工智能成為了一個獨立的學術領域，如今，人工智能已經發展了近70 年。 相關技術日臻成熟，未來還會有更多智能程序和機器人成為人們重要的工作助手，承擔危險的或具有重復性的工作。人工智能技術的發展給人類帶來了巨大的便利， 同時也給人類生活帶來了新的安全風險。

1 人工智能系統發展的主要風險

1.1 技術濫用引發的安全威脅

對于人類而言， 人工智能的價值主要取決于人工智能的應用和管理。 犯罪分子運用人工智能技術就有可能給人類帶來安全威脅。例如，黑客運用人工智能技術進行網絡攻擊，由于攻擊軟件實現智能化之后，能夠學習和模仿用戶行為，不斷對攻擊方法進行調整，就能夠在被攻擊對象的信息系統中留存很長時間。 黑客還有可能運用人工智能技術竊取他人的私密信息， 定制用戶的閱讀內容，左右民眾信息獲取，繼而影響他人的判斷和決策。

1.2 技術或管理缺陷導致的安全問題

人工智能技術還在不斷發展， 目前還并沒有完全成熟。 部分技術缺陷的存在，有可能引起異常現象，給人類帶來安全風險。例如，人工智能技術的自我學習是完全的黑箱模式，因此，構建的模型有可能并不具備較好的解釋能力，無人操作系統、機器人的設計或者制造出現漏洞，就有可能在使用的過程中發生安全風險。假如沒有完善的安全防護措施，機器人、無人駕駛車輛以及其他運用人工智能技術的設備裝置就有可能被犯罪分子控制，做出危害人類的行為。

1.3 未來的超級智能引發的安全風險

未來當人工智能技術發展到很高的水平， 具備自我演化能力之后， 有可能形成與人類高度相似的自我意識，就有可能威脅到人類的生存。 目前，已經有不少研究人員正在研發具有認知能力的新智能設備， 例如機器意識和機器情感。 雖然人們還并不明確超級智能未來是否真的能夠實現，但是在沒有考慮到安全風險、沒有采取充分措施應對之前，超級智能一旦實現，就有可能全面爆發安全風險。

1.4 數據化帶來的隱私安全風險

隱私問題是開發和利用數據資源面臨的最重要威脅。 首先，采集數據的過程中，可能出現侵犯他人隱私信息的情況。智能系統保存著大量人類的生理特征，還可以基于個體的行為偏好，對溫度、燈光、音樂等進行調節，根據鍛煉、睡眠、飲食和體征等對人體健康狀況進行分析和判斷。智能系統大量掌握個人的隱私信息，對個人的了解程度甚至超過本人。 如果這些信息被人出于商業目的非法利用， 就會引起隱私安全問題。 其次，云計算技術也有可能帶來安全風險。云存儲技術給人們提供了廣闊的存儲空間， 但是在云端存儲的隱私信息也很容易受到攻擊和威脅。 因為人工智能技術具有較強的計算能力，當前云存儲、云計算已經成為許多系統普遍應用的技術， 如何有效地保管好云端存儲的信息已經成為非常重要的問題。最后，知識抽取過程中也可能出現隱私安全風險。 當前人們有了越來越高效的知識抽取技術可以將看起來沒有任何關系的數據信息整合起來，總結出個體性格或行為特征，給隱私安全造成了較大風險。

2 人工智能安全風險防控的基本價值準則

加強對人工智能的治理和監管， 已經成為人類的共識，各個國家政府、研究人員、國際組織以及許多商業企業都提出了對人工智能進行治理和監管的基本原則。

治理和監管人工智能的基本價值準則是人本主義。 首先，應該確保所有人工智能系統都被人所控制。無論哪一項技術都是服務人類的， 人工智能技術的開發應用也應該不能脫離人類的控制， 應避免人類被超級人工智能技術脅迫或者控制。決策的結果以及過程，都不應該全部交給人工智能技術。所以，有必要進一步增強人們管理和控制人工智能系統的能力， 確保在系統運行期間以及系統運行之后都支持人類干預。其次，人工智能系統管理和治理的核心是確保人的自覺權。對人工智能技術的管理和治理必須確保人類充分了解人工智能技術， 人類能夠自主決定人工智能系統的設計以及應用，不應該將決策交給技術，應避免出現個人被迫接受人工智能系統的現象。總體而言，人工智能系統采集個人信息以及運用可能涉及隱私問題的信息都應該確保“ 知情同意”“ 正當合法”。 應該交給隱私信息的所有人決定是否運用人工智能系統提供的服務或產品，而且應該保證個人有撤回此服務和產品的決策權，以便更好地保障人們對于自身隱私信息的主權。最后，人工智能技術以及系統的應用都應該遵循人類倫理的基本準則，其核心目標應該是促進人類福祉。 所以，應該確保人工智能系統從設計到開發應用的全部過程都嚴格遵循人類倫理的基本準則， 不得設計和生產對人的尊嚴以及人格權有侵害的產品或系統， 應該保障個體的數據以及隱私安全，保障商業公平和消費者權益，保障社會公正平等，保障倫理價值，建立可靠、安全的人工智能管理和治理體系。

3 人工智能安全風險防控的基本原則

為了保障人本主義基本價值準則的實現， 本文認為，人工智能風險防控應該遵循下述原則。

3.1 安全性原則

人工智能系統的設計以及應用， 首先應該確保安全風險的最小化。 使用人工智能技術和系統者應采取措施，有效保障用戶數據、隱私以及網絡信息安全。 人工智能技術和系統風險防控的關鍵在于運用組織、技術以及管理制度等多種方法， 使得人工智能技術和系統應用的安全性。所以，有必要針對人工智能技術和系統建立全生命周期的治理以及風險防控體系， 及時發現人工智能技術和系統應用過程中的風險， 加以糾正和防控。在實際出現風險事件時，能夠及時有效地予以處理，確保人工智能技術應用和系統應用的動態安全。

3.2 透明度原則

人工智能系統的應用開發需要首先解決智能黑箱問題，因此，有必要設定透明度原則。設定透明度原則，不僅能夠更好地幫助監管機構和運行主體進一步了解人工智能系統運行的過程， 還能夠及時有效地發現其中的問題和風險， 因此也能夠進一步強化消費者對于人工智能系統應用和開發的信任。 透明度原則的設定首先應該確保用戶對于算法數據以及規則的知情權。在人工智能系統運行和應用過程中， 消費者應該明確知曉自身接觸的產品和服務來自人工智能系統， 確保受系統影響的各方面主體都能夠明確人工智能系統運行結果得出的過程。此外，應該確保對于人工智能系統算法的過程、所構建模型以及所得結論的充分解釋，要求向當事人充分解釋算法的運行以及決策形成的過程，消除對于結果的質疑。

3.3 公平性原則

人工智能系統的應用開發需要確保公平原則，盡可能消除不公平等現象。 人工智能系統的應用開發需要保證得出的決策不會對特定群體或者個人形成歧視或偏見， 導致此類群體或者特定個人不能公平地參與社會經濟活動，或者處在明顯不利地位。人工智能系統的開發應用應該保證所有人的公平， 不得引起對特定群體或個人的歧視， 不得損害社會正義和個體以及群體的尊嚴。

3.4 問責性原則

人工智能系統廣泛影響著不同的主體， 其中主要法律責任應該由使用算法程序的主體承擔。 問責性原則強調的是使用人工智能系統的主體必須要明確算法的邏輯、數據以及過程，對于程序使用結果所造成的影響負責。 因自身過錯損害社會經濟的行為都需承擔行政責任或法律責任。在此基礎上，需要進一步強化開發人工智能系統人員以及系統服務對象也就是消費者的治理責任，形成多方面合作的治理體系。

4 建立全生命周期人工智能安全風險防控體系

有必要對安全風險進行分級，實行差異化管理，為了保證人工智能系統風險的有效監管和防控， 需對人工智能進行全生命周期的風險防控。

4.1 以風險為基礎的分級監管

以風險分級為基礎， 對人工智能系統進行風險防控。首先，需要針對人工智能系統的風險建立科學合理的評估體系，對各類人工智能系統都進行風險評估。基于評估得出的結論， 將人工智能系統劃分為不同的風險等級，本文認為可以劃分為低風險、高風險以及不可接受風險級別。對于那些可能對人類倫理、生命安全以及社會經濟安全造成嚴重損害的人工智能系統， 均定義為不可接受風險級別系統， 政府理應通過立法予以禁止，設定對人工智能系統開發應用的紅線和禁區。對于那些高風險系統， 政府需要強化對此類系統的事前認證以及使用準入管理， 需要確認應用此類系統的主體達到國家要求， 嚴格遵循法律規定的基本原則和履行相關管理義務，加強對于違規違法的處罰以及監督。最后，對于那些風險較低的人工智能系統，政府可以在一定程度上放開管制， 強調使用者確保對系統的動態監管以及使用過程的高度透明， 鼓勵和引導使用者合規合法地使用人工智能系統， 鼓勵使用者和企業實施質量認證，因此得到消費者的認可和信賴。

4.2 建立一體化的人工智能系統政府監管體制

針對人工智能系統建立完善的政府監管體制，首先需要對人工智能系統的安全風險建立明確的評估標準、認證制度。 為了避免風險真正發生，盡可能降低風險發生后的損失， 有必要對人工智能系統的設計應用制定質量安全統一標準以及必要的認證和達標管理制度。對于高風險人工智能系統，需要確保嚴格的認證和審批， 需組建第三方團隊研究人工智能系統安全認證以及安全評估制度。 所有高風險人工智能系統均需由專業的第三方團隊對系統安全風險進行評估和認證，所有未達標或者未通過評估的人工智能系統均不得投入使用。

其次，需要加強對人工智能系統風險的過程管理。為此需要強化運用人工智能系統組織和企業機構的主體責任， 要求此類機構和組織內部針對人工智能系統安全風險的問題建立專門的組織機構以及制定有效的管理制度和措施， 重點加強監管機構的動態監測以及合規審計。 考慮到人工智能系統本身具有動態優化的特征， 一次審計或者檢查所得的結論經過一段時間之后就會失效。所以，有必要持續對人工智能系統進行全生命周期的監控以及動態審計。 算法審計和監測的關鍵在于對算法運行過程中的相關因素、權重數值分配、數據質量以及數據，結論和事實之間的關系，對使用算法的主體以及應用過程中的合規、 合法性進行監管和動態審計。為了便于監管機構的監管以及動態審計，使用人工智能系統的主體必須向監管機構開放算法運行機制、源代碼、運行結果以及相關數據界面。 考慮到算法審計對于工作人員的專業性要求很高， 監管機構可以委托、授權第三方專業機構來完成這項工作。 不過，為了保證人工智能系統使用者本身的合法權益以及算法知識產權， 被授權的第三方專業機構以及政府監管機構都需對此系統保密。

最后， 有必要加強對于違法違規行為的追責和懲處。 強化對于違反人工智能系統安全相關法規行為的懲處在于下列幾點。第一，明確使用人工智能系統以及設計人工智能系統主體的法律責任。 雖然人工智能系統和算法并行是計算機基于智能技術自主學習并且完成的，整個過程可能并沒有人干預。 然而，使用人工智能技術和系統的主體也不能因此免責， 原因在于此類主體理應承擔確保算法、技術可信而且安全的責任。第二， 對于那些違反安全治理規則甚至踩踏紅線者必須予以嚴厲處罰。提高犯罪者的違法成本，就能夠在很大程度上遏制經濟主體的違法違規現象。 如歐盟發布的《 人工智能法》（ Artificial Intelligence Act） 對于違規違法企業懲處最高額度為全球營業總額的6%或3 000萬歐元。根據我國發布的《 中華人民共和國網絡安全法（ 含草案說明）》《 中華人民共和國數據安全法（ 含草案說明）》等設計了整改、約談、限制營業資格、罰款以及刑事責任等不同的措施， 未來還需進一步明確適用條件。 尤其是應該去除罰款上限，罰款上不封頂，制定更加明確更能夠遏制企業違法違規行為的罰款制度。 例如，可以以企業營業額為基數，設定一定比例來計算罰款。 最后，有必要制定民事損害賠償制度，對那些違規違法運用人工智能技術或系統侵害公民個人權益行為給予民事損害賠償。

4.3 強化人工智能使用者風險治理第一責任人角色

人工智能系統使用者是管控其風險的第一責任人，人工智能系統風險可能與不同的主體有關。怎樣在不同主體間進行責任配置， 是監管人工智能系統的難題。為了實現最好的防范效果，在配置責任時應該始終保持最高效率實現最佳結果目標的原則。 使用高風險人工智能技術和系統的主體， 必須要以嚴格履行公開透明相關信息的責任， 有必要進一步強化對于使用人工智能技術和系統主體的數據治理義務。 使用人工智能技術和系統的主體有必要建立全生命周期風險的預防和控制制度以及工作體系。 考慮到人工智能技術和系統具有動態性，風險防控系統以及體制，也有必要不斷根據人工智能技術和系統全生命周期的動態變化予以更新。

5 結束語

人類對于新興事物的未知感可能引起人們的恐懼。 人工智能技術就是一項具有突出未知性的新興技術，而且人工智能技術和系統所具備的未知性，有可能超出人類思維和想象。未來不斷進步出現的新技術，有可能增強人們對于人工智能技術和信息系統學習的認識。 人工智能技術究其本質而言，是模式匹配器。 人工智能技術和系統也有自身的漏洞， 無論企業發展到哪一個階段，人工系統和技術都有可能被污染，或者遭到操縱。 人工智能的漏洞天然存在，無法消除，人工智能系統的攻擊不可能通過簡單的打補丁完全解決。 本文總結分析了人工智能技術和系統可能發生的安全風險， 指出了防控人工智能技術和系統風險的基本價值準則，并給出了具體的建議。