歐盟高風險人工智能監管的五個特點
——歐盟人工智能法案（草案）初步解讀

□ 文 程 瑩 崔 赫

0 引言

過去十年間，人工智能已成為世界各國的科技發展戰略重點，同時風險和人工智能技術相伴相生，體現了技術的不可控性和動態性，成為人工智能立法監管的指向標。自GDPR推行“基于風險的路徑（risk-based approach）”以來，風險成為各國規制人工智能立法的關鍵詞。為避免過度的法律責任為公私主體，尤其是中小企業帶來不合理、不必要的負擔，多國立法中強調優先規制“高風險”的人工智能應用。2021年4月21日，歐盟委員會公布了名為“Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts”的草案（以下簡稱《草案》），延續“基于風險”的監管理念，對人工智能技術應用進行風險劃分。根據《草案》，歐盟將全面禁止大規模監控和利用人工智能技術的社會信用體系，同時對特定領域的“高風險”應用進行嚴格限制，為實現可信賴的人工智能生態系統提供初步法律框架。該草案最早有望在2023年正式出臺。

1 出臺背景：進一步推進歐洲人工智能戰略實施落地

自2018年以來，歐盟先后出臺《歐洲人工智能戰略》、《人工智能協調計劃》兩個重要政策文件，初步勾勒出歐盟人工智能的發展戰略框架。2019年4月，歐盟發布《可信人工智能倫理指南》，進一步完善細化了相關戰略，明確了“可信人工智能”的兩個必要組成部分和七個關鍵條件。2020年2月19日，歐洲委員會發布了兩份有關“塑造歐洲數字未來戰略”的政策文件。一份是《人工智能白皮書》，關注交通、醫療等公共領域的人工智能發展及風險化解；一份是《歐洲數據戰略》，旨在推動歐盟成為世界上最具競爭力的數字敏捷型經濟體，建立歐盟數字單一市場。在此背景下，歐盟出臺《人工智能法案》，旨在法律層面強化落實歐盟戰略，以期實現引領全球人工智能治理的目標。

歐盟競爭事務負責人Margrethe Vestager在公布《草案》時表示：“通過這一具有標志性的法規，歐盟正在確立全球規范，以確保人工智能是一項值得信賴的技術。通過制定標準，我們可以為符合倫理的人工智能技術鋪平道路，并確保歐盟在此過程中保持競爭力?！盤olitico專門負責AI報道的Melissa Heikkil?則認為，《草案》有一定的先發優勢，它將在很大程度上影響由歐洲理事會、經合組織、北約、聯合國教科文組織和七國集團主導的全球人工智能伙伴關系的立場。

2 總體框架：延續“基于風險的規制”路徑

按照風險高低，《草案》將人工智能應用場景分為“最低風險、有限風險、高風險、不可接受的風險”四個風險等級，等級越高的應用場景受到的限制越嚴格。

值得注意的是，《草案》將所有遠程生物識別系統都劃入高風險等級，禁止執法部門在公共場合使用這一技術，但同時也為其應用留下了余地，如在司法部門或獨立機構的授權下，該系統可以用于尋找失蹤兒童或防止個別恐怖襲擊、甄別犯罪分子和可疑人員等。此外，在“不可接受”的風險等級所對應的三種情形中，首次以法律的形式禁止將人工智能系統用于獲知并影響個人的潛意識，以避免造成行為扭曲和身心受損。

風險等級應用場景規制思路或建議最低風險電子游戲、垃圾郵件識別軟件等多數的人工智能應用不做限制有限風險聊天機器人等建議確保用戶知曉自己在與機器互動，并有權決定是否繼續對話高風險可能對人們安全和生活造成嚴重影響的場景，包括交通基礎設施、教育或職業培訓、移民管理、醫療輔助等在啟用前履行嚴格義務，如充分的風險評估、高質量的數據交換、確?？勺匪莸倪\行記錄以及必要的人類監督等不可接受的風險某些明顯威脅人類安全和生活，侵犯個人權利的AI系統，包括影響人的潛意識進而操縱人類思想行為、公共機構的社會信用評分等須禁止

3 規制手段：高風險人工智能規制的五大特點

整體來看，高風險人工智能的判定一般考慮應用行業、應用場景、覆蓋范圍等要素。例如，歐盟委員會在《人工智能白皮書》中從三個層面界定了高風險人工智能，首先，結合行業的典型活動特點，人工智能在該行業的應用極有可能引發重大風險，如醫療、運輸、能源、移民、司法、救濟所等公共行業。其次，行業應用風險的判定應結合具體場景，如在醫院預約系統即不屬于高風險。第三，基于招聘、監控等特定目的，顯著影響個人勞工、隱私等重大利益的，認為屬于高風險情形。美國2019年4月《算法問責法案》同樣界定了“高風險自動化決策”的判定標準，同時僅規制年收入超過5000萬美元或擁有超過100萬用戶的企業。德國則呼吁建立基于風險的五級監管體系，從不受監管的最無害的人工智能系統，到完全禁止最危險的人工智能系統。

3.1 高風險人工智能的范圍

《草案》將高風險等級的人工智能系統應用列舉如下：（1）可能使公民的生命和健康處于危險狀態的關鍵基礎設施（例如運輸）；（2）教育或職業培訓，可能決定某人生活中接受教育和專業課程的機會（例如，考試成績）；（3）產品的安全組件（例如人工智能在機器人輔助手術中的應用）；（4）就業，工人管理和自營職業（例如用于招聘程序的簡歷分類軟件）；（5）基本的私人和公共服務（例如信用評分可能會剝奪公民獲得貸款的機會）；（6）可能會干擾人們基本權利的執法活動（例如，評估證據的可靠性）；（7）移民，庇護和邊境管制管理（例如，核實旅行證件的真實性）；（8）司法和民主程序。GDPR第22條

3.2 高風險人工智能規制的五大特點

3.2.1 建立歐盟獨立的高風險人工智能系統數據庫。該草案要求歐盟與各成員國合作，建立并共同維護面向高風險人工智能系統進行登記的數據庫，還提出“歐盟數據庫中的信息應向公眾開放”，歐盟委員會是該數據庫的控制者，向系統供應商提供充分的行政支持。

3.2.2 強制使用“高質量”訓練數據以避免偏見?！恫莅浮芬?，用于訓練、驗證和測試的數據應是具有相關性、代表性、沒有錯誤且具有完整性。應依據預期目的，考慮高風險人工智能系統所投放使用的地域、功能設置的特征或要素。為了確保對高風險人工智能系統的偏差監控、檢測和糾正，在嚴格必要的情況下，此類系統的提供商可以處理法定情形下特殊類別的個人數據，但需對自然人基本權利和自由予以適當保障。同時，歐盟將增加對人工智能領域投資，并在整個歐盟范圍內匯總公共數據，以幫助訓練機器學習算法。

3.2.3 強制性的風險管理。風險管理應嵌入高風險人工智能系統運行迭代的全生命周期，并需要定期更新，包括：（1）識別和分析高風險人工智能系統相關的已知或可預見的風險；（2）評估高風險人工智能系統在誤用（misuse）情況下可能出現的風險；（3）在上線后動態監測系統所收集的數據，對其他可能的風險進行評估；（4）其他適當的風險管理措施。

3.2.4 明確的透明度要求。《草案》要求人工智能系統的提供者要確保用戶知道他們正在與人工智能系統進行互動，并要求高風險人工智能系統告知以下信息：（1）提供者的身份和聯系方式；（2）系統的性能特征、功能和局限性，包括預期目的、準確性、魯棒性和網絡安全級別等信息；（3）初評合格后系統及其性能的更改情況；（4）人為監督措施，包括為便于解釋系統的輸出結果而采取的技術措施；（5）系統預期壽命以及確保該系統正常運行（包括軟件更新）的任何必要維護措施。

3.2.5 編寫和留存詳細的運行記錄?！恫莅浮芬螅唢L險人工智能系統的設計和開發應具有能夠在其運行時自動記錄日志的功能，這些記錄功能應符合公認的標準或通用規范，以確保全生命周期的可追溯性。

4 各方評價：可能存在的問題及創新

這部全球首例人工智能專門立法快速引發了業界的反彈聲浪。

4.1 批評該法案大幅提升企業成本，將遏制歐盟科技創新

歐洲數字行業協會表示，“將人工智能軟件納入歐盟的合規框架會給大量提供商帶來沉重負擔”，其董事西莉亞表示：“該法規之后，‘高風險’領域的企業是否會在歐洲繼續開展業務，是一個懸而未決的問題。”還有擔心認為，此監管框架的推行會阻滯歐盟的科技創新進程，為并未制定此類規則的國家或地區以發展“窗口期”。

4.2 條文內容流于寬泛，預留大量解釋空間，容易導致適用困難

智庫歐洲監管中心聯席主任Alexandre de Streel表示，保護和創新之間很難達到平衡，他對法新社表示，《草案》“設定了一個相對開放的框架，一切都將取決于如何解讀?！眰惗卮髮W學院計算機科學榮譽副教授、曾在谷歌擔任科學家的Julien Cornebise則認為，新的人工智能法案未必能夠擁有與GDPR同等的廣泛影響力，因為法案對人工智能的定義過于寬泛。他認為，人工智能技術就像“移動的球門柱”，包羅萬象，此次歐盟提出的監管規則存在諸多晦澀不明的風險，“要么迷失在（對人工智能的）定義里，要么可能迅速過時?！?/p>

4.3 例外情形過多，有可能減損高風險人工智能的監管力度

以歐洲數字權利組織（EDRi）為代表的機構認為，該法規對生物識別的限制不夠嚴格，尤其是“實時生物識別”（人臉識別）禁用場景中提到的幾項豁免情形，會讓歐洲人處于風險之中。歐洲數字權利組織高級政策顧問Sarah Chander認為，《草案》規定的可豁免的情形過于寬泛，這樣一份豁免清單某種程度上違背了禁止或限制“不可接受風險”和“高風險”人工智能所要實現的目的。

與此同時，不乏支持聲音，臉書、亞馬遜、谷歌等多家美國科技巨頭在歐洲進行游說的“計算機與通信行業協會”布魯塞爾辦公室負責人Christian Borggreen表示，歐盟委員會采取這種“基于風險的監管辦法”是積極的。雖然距離草案通過生效還有可能長達數年的審查程序，但該框架已經具備了一定的規則示范效力。該法案著眼于技術風險，探索平衡風險管控與鼓勵創新的進路值得肯定。歐盟委員會執行副主席Margrethe Vestager認為，歐盟正引領制定新的全球規范，以確保人工智能值得信賴。通過制定標準，歐盟可以為在世界范圍內推廣符合倫理的技術鋪平道路，并確保歐盟在此過程中保持競爭力。歐盟內部市場專員Thierry Breton表示，人工智能存在諸多風險，歐盟的提議旨在提升其作為全球卓越樞紐的地位，確保和維護歐洲價值觀，并充分激發人工智能在工業領域的潛力。此外，《草案》專節規定了支持人工智能創新的措施，包括將“監管沙盒”的機制引入人工智能開發應用場景中，允許在沙盒內測試人工智能新應用，以改進司法體系、醫療保健等，而不必擔心受到監管處罰。

5 結束語

作為全球首部人工智能立法，《歐盟人工智能法案（草案）》體現歐盟利用規則確保人工智能可信可控，著力維護歐盟技術主權的思路。該法案以風險分析為區分方法，以分級分類監管為主線，并對其采取不同層級義務規定的思路值得我國借鑒。我國要加強人工智能發展的潛在風險研判和防范，維護人民利益和國家安全，確保人工智能安全、可靠、可控。在當前復雜國際大勢之下，我國應同步推進人工智能發展與立法監管，處理好人工智能創新發展與有效治理的關系。在未來立法中，建議確立以風險為導向的分級分類治理理念，利用監管沙箱等新型智慧監管手段，考察重點場景下的人工智能風險，借此推動人工智能領域標準、指南的出臺。建議以倫理規范引導先行、行業標準規范發展、法律法規明確底線，多管齊下的治理格局，及時引導科技向善、明確責任歸屬。充分凝聚社會共識，共同推動人工智能發展與治理形成相互促進的正向效應，推動實現靈活、敏捷治理。