基于類型學視角的公共部門人工智能應用風險規制

鄭圣賢

(安徽師范大學法學院,安徽 蕪湖 241000)

0 引言

有關人工智能的研究最早開始于20世紀40年代。1939年,艾倫·圖靈(Alan Turing)為英國政府開發了一款稱為“Bombe”的密碼破譯機,該密碼破譯機破解密碼的方法遠超當時最優秀的人類數學家。圖靈由此開始思考這種機器背后的智能問題,并提出了著名的“圖靈測試”(The Turing test),即通過人機交互的結果來判斷一個機器是否具有智能。1956年,“人工智能”(Artificial Intelligent,AI)一詞正式被創造出來。20世紀的后幾十年里,早期人工智能系統如ELIZA和通用問題解決程序,受技術條件的限制,其所能解決的問題主要局限于容易形式化的領域,發展的進度較慢,且一度陷入停滯。但隨著近些年計算機算力的提升和大數據、云計算的發展,人工智能系統可通過模仿人類神經網絡實現深度學習(Deep Learning,DL)［1］。

如今,人工智能已經廣泛影響經濟社會的方方面面,金融、交通、醫療、教育、公共行政和公安司法等公共領域都在積極運用人工智能的研究成果。2017年7月,國務院印發《新一代人工智能發展規劃》,指出我國計劃總投資1478億美元,在2030年成為全球人工智能領域的創新引領者。但隨著人工智能在眾多領域的應用,越來越多的學者開始注意到它所帶來的各種潛在風險。例如,國內有學者指出,人工智能在運行過程中可能會由于算法的缺陷或偏見導致有害的結果,在算法合理的情況下也可能由于數據質量問題而造成決策偏差,用戶在運行和使用人工智能系統時可能產生相應風險［2］;也有國外學者研究發現,人工智能應用將會引發信息安全、問責難題、隱私問題、道德困境、算法歧視和失業問題等經濟社會風險［3］。面對人工智能所引發的系統風險,如何對其進行有效監管,以最大化減少人工智能所帶來的負外部效應,成為當務之急。

1 文獻綜述與分析框架

1.1 文獻綜述

有關人工智能監管的問題已經引起了廣泛討論,縱觀已有的研究,關于該問題的討論通常圍繞人工智能的智能化程度和人工智能所產生的具體風險兩個維度展開。

人工智能的智能化程度方面,學界通常將人工智能劃分為狹義人工智能(ANI)、通用人工智能(AGI)和超級人工智能(ASI)。狹義人工智能通常能夠解決一個特定的問題,但需要由人類進行編程;通用人工智能則能夠自主學習,并在沒有任何人工幫助的情況下將其經驗和技能傳遞給其他對象;而超級人工智能則代表了軟件的發展,其先進程度遠超人腦,但目前這樣的人工智能還存在于理念中。人工智能的智能化水平及其運行是相關風險和挑戰產生的源頭,數據存在瑕疵將導致數據失靈,形成潛在風險;數據一旦被人為操控將會造成巨大危害;算法編制過程,在利益和惡意動機的誘惑下,會產生偏見與歧視;隨著算法水平的提升,人們越來越難以解釋算法的運行結果,還會面臨著由“算法黑箱”帶來的未知風險［4］。總體而言,這方面的討論主要集中于對人工智能風險產生機制的分析。

人工智能產生的具體風險方面,研究主要集中于兩個子領域。一是人工智能風險類型。學者們對人工智能可能帶來的風險類型進行了廣泛的討論,主要包括倫理風險、技術風險、法律風險和社會風險四個方面。二是人工智能風險級別。歐盟是較先對其進行界定的世界主要經濟體,2021年4月21日,歐盟發布了《人工智能法案》,將人工智能風險劃分為最小風險、有限的風險、高風險和不可接受的風險。在該風險體系中,最小風險是指那些提供簡單工具性功能的應用;有限風險指具有特定透明義務的應用;高風險意味著這些應用可能危及公民人身安全及生活基本權利;不可接受的危險是指那些對基本人權和社會公平構成明顯威脅的應用［5］。這也成為當前人工智能風險劃分的重要標準。

立足于對這兩個維度的探討,學者們從不同學科的角度提出了相應的監管措施。有的學者認為,對人工智能的監管應建立在對其風險產生機制和表現的分析基礎之上,進而構建全生命周期的監管治理體制,強化使用者的責任并突出技術性方案的基礎作用。也有學者從人工智能科技屬性的角度提出要進行區別立法,對專業科技和賦能科技采取不同的監管措施［6］。還有學者認為,人工智能的監管難題源自其決策過程的不可解釋性,因此主張建立一個基于人工智能決策理由的法律監管框架［7］。雖然已有研究從不同視角提出了相應的監管主張,但是這些監管理論大多只建立在對某一維度探討的基礎上,缺乏交叉視野。

綜上,當前國內外學界對人工智能風險監管的研究大多是沿著“風險來源—風險產生—風險監管”的研究路線進行探討的,但是仍存在以下兩個方面的不足。一是研究視角,已有的研究多只從某一個維度出發,探討如何有效監管人工智能,鮮有結合兩個維度進行研究的文獻;二是研究結果,目前學者們提出的監管措施主要為一系列平行的舉措,缺乏分類監管的主張,在具體實施監管政策時,可能會提高監管成本。因此,本文將利用基于“兩維四分”的類型學研究方法建立分析框架,以人工智能在公共部門的部分應用為例,探討構建人工智能的分類監管框架。

1.2 分析框架

1.2.1 “兩維四分”的類型學研究方法

在很多領域,通常學者們都要面對紛繁復雜的研究對象,因此,按照某些標準對復雜研究對象進行分門別類,從而化繁為簡,降低研究難度。按照某個標準一分為二顯得比較簡單,按照某些外部特征分為一系列并列的類別則難得要領,而按照某兩個標準進行交叉,將研究對象分為四類,往往更利于研究。

學術史上存在很多成功應用“兩維四分”法的案例。社會科學領域,馬克思·韋伯以非理性和理性、低級和高級兩個維度,將人的所有行動分為四種理想類型,即習慣型行為、情緒型行為、工具理性行為和價值理性行為;工商管理領域,采用這種研究方法對領導行為進行研究,以關注工作效率和關注人際關系兩個維度,將所有的領導行為劃分為四大類,并形成了“領導生命周期”理論。近年來,“兩維四分”法受到國內學者的青睞,被用于多個領域的學術研究。例如,基于性質和主體來研究我國應急管理機構的演進與發展,按照不確定性高低和預期損失大小兩個維度來分析鄰避設施和鄰避型群體性事件,從價值創造和發展潛力兩個維度建立客戶評價體系等。因此,將這種研究方法應用于人工智能監管領域的研究具備一定的可行性。

1.2.2 基于“兩維四分”法的人工智能監管框架

在人工智能監管領域引入“兩維四分”法,需要明確“兩維”及其合理性,首要任務是明確其“兩維”。首先,受技術條件的限制,人工智能應用目前主要停留在狹義人工智能向通用人工智能過渡階段。有學者提出,現階段的人工智能可劃分為強、弱兩種主要類型,前者主要是基于機器學習而具有在動態環境中感知、理解、推理、學習和行動的能力,并且心智水平達到人類水平的計算機程序,后者主要是基于邏輯運算并且具有在靜態環境中模擬人類某些方面的思維能力,但心智水平尚未達到人類水平的計算機程序［8］。為了后續分析的需要,在相關學者觀點的基礎上,本文認為弱人工智能是能夠模仿人類思維,但通常需要在人類指令的基礎上進行運作的機器;強人工智能則是具備一定的學習、推理和理解等類人能力,同時在一定程度上可以不依靠人類指令而進行人機交互的機器。因而,智能化程度可以構成其中的一個維度。其次,對于人工智能給人類社會帶來的風險,當前的主要監管對象是會產生有限風險(即低風險)和高風險的人工智能應用,對于最小風險通常不作干預,而對于不可接受的風險則需要明令禁止。因此,風險級別也可以構成另一個分析維度。

那么,運用這種劃分方法進行交叉研究是否具有其合理性呢?首先,人工智能技術具有跨學科、融合性的特點,能夠廣泛應用于諸多領域。但是,在不同領域中,人工智能系統風險造成的影響程度和危害性質存在很大差異。當人工智能應用到涉及基本人權的領域時,如司法和醫療領域,它更可能帶來高風險。換言之,相同的人工智能系統應用在不同的場景會產生不同的風險,不同的人工智能系統應用于同一個場景也會產生不同級別的風險。其次,政府在對充滿復雜性、不確定性和不斷發展的人工智能進行監管時需要遵循成本—收益原則,講求監管的效益和效果。如果政府對所有人工智能系統進行普遍監管,其結果不僅是效率低下的,而且會阻礙人工智能技術的創新和發展。因此,采取分類的、差別化的監管才能取得更好的監管效果。

綜上所述,得出基于人工智能風險級別與智能化水平的人工智能監管模型,如圖1所示。

圖1 人工智能監管模型

1.2.2.1 弱人工智能、低風險

對于智能化程度較弱又具備較低風險的人工智能應用,應對其保持最小限度的監管。其在公共部門的典型應用如下：在教育領域中的教學資源推薦等智能備課系統和課堂實錄與數據分析等智能教研系統［9］;在城市交通治理中,公安部門利用人工智能分析由攝像頭和各種傳感器收集到的海量車輛運行狀況數據,形成實時反映整個城市交通狀況的動態畫面,從而采取相應措施緩解城市交通壓力;在司法領域中,審判機關利用人工智能將庭審過程中各方的陳述轉換成文字,形成庭審記錄,簡化記錄工作;在政務服務領域中,智能政務機器人將傳統的窗口服務與人工智能技術相結合,通過系統設置和數據錄入,達成信息共享,并利用簡單的語義分析、語音交互,實現多種業務辦理和政務服務事項查詢等功能;在醫療領域中,運用人工智能技術診斷結腸息肉,據四川省人民醫院的一項臨床研究顯示,人機合作診斷病人的檢出率比只由一位專家進行常規診斷的檢出率高20%。

1.2.2.2 弱人工智能、高風險

對于智能化程度較弱卻具備較高的風險的人工智能應用,其主要風險來源并非機器,而是來自其背后的使用者或設計者。當出現算法的錯誤操作或系統故障時,機器可能對人類造成嚴重的傷害和巨大的損失。這種類型的典型應用如下：在司法領域中,人工智能幫助司法部門進行刑事審判中的證據審查、事實認定、法律判斷及審前程序中的逮捕社會危險性評估,如上海市高級人民法院的“刑事案件智能輔助辦案系統”［10］。研發者在給人工智能系統輸入數據時可能存在數據采集偏差,或者研發者將自身價值觀念嵌入算法模型,從而帶來算法偏見［11］,最終影響司法活動的公正性;在醫療領域中,主要是手術機器人——達·芬奇手術機器人,外科醫生可以在穩定、高速的互聯網和屏幕的協助下,實時了解患者狀況,使用機械臂完成手術,實踐中對機械的遠程操作是否精準及手術時細菌隔離和控制都是需要考慮的問題,一旦機器人發生故障,甚至會危及病人生命［12］;在社會保障領域中,美國有關部門應用融合數據自動化系統(MIDAS)審核失業人員提交的補貼申請,以監測是否存在欺詐行為,但是該系統存在93%的出錯率,導致大量失業人員受到錯誤處罰［13］,算法缺陷是導致這一嚴重后果的重要原因。

1.2.2.3 強人工智能、低風險

智能化程度高意味著機器潛在地具備造成更大風險的能力,即便其程序設計合理,能夠預見的風險較低,或是其應用的領域風險較小,也應該對此類人工智能系統保持警惕,盡可能避免潛在風險的發生。其在公共部門的典型應用如下：教育領域的智能導師系統(ITS),它由領域模型、導師模型和學習者模型三部分組成,能夠根據學習者當前的知識技能水平和情感狀態,做出適應性決策,向學習者提供個性化推薦服務［14］;社會保障領域的智能養老服務系統,它利用物聯網技術,通過智能感知、識別技術與普適計算,實現對老人生活狀況的實時監測,還能與老人進行互動,一旦發現老人跌倒或出現健康問題時,能夠及時報警;社會治安領域的人工智能監控系統,這種系統使用計算機視覺和深度學習技術,通過對監控視頻進行實時分析和解析,自動識別和處理監控區域內的信息,如人員、車輛、物品等,從而實現對目標的監控、跟蹤和警報等功能。

1.2.2.4 強人工智能、高風險

智能化程度強的同時具備高風險的人工智能應用是當前監管的重點,需要對其進行持續的、多方位的監管。杭州的“城市大腦”是這方面的代表性應用,它以數據為核心,依托深度學習、科學算法、智能建模和快速分析,將數據分析結果實時呈現,為政府決策提供參考。在將有關數據接入平臺后,通過數據的存儲、分類、融合和計算,最終實現城市中水電、道路、政務、醫療和警務等資源的優化配置［15］。由于“城市大腦”與整個城市的運行聯系密切,所以一旦出現故障,它所產生的風險也更加巨大,對社會造成的影響更是難以估量。此外,在交通領域,一些國家和地區已開始試行自動化駕駛系統,我國的深圳市也已推行了自動駕駛巴士項目。該系統運用傳感器、雷達和相機等技術來采集車輛周圍的相關信息,并使用人工智能和深度學習等來分析和判斷這些信息,最終實現自動化駕駛。但該系統一旦失控很可能會危及駕駛員或行人的生命安全,從而產生相應的技術風險、社會道德風險和法律風險。

2 公共部門人工智能監管策略

依據“兩維四分”法確立了四種不同類型的人工智能應用,探討具體監管政策,提出針對性的監管措施,以提高監督效率,降低監管成本。

2.1 對“弱人工智能、低風險”的監管建議

此類應用的風險小而收益大,對它的監管應當保持最低限度。首先,建立日志溯源機制。人工智能的運行日志由人工智能系統運行產生,它詳盡描述了系統大規模內部事件及用戶意圖。開發運行日志的溯源功能可以在用戶有需要時提供相關信息,保障用戶的知情權。同時,這一功能也有利于專業人員在此類人工智能應用發生故障或產生風險時進行溯源,盡快排除相關風險因素,提高安全保障能力。其次,保證信息的透明公開。一是AI系統須在收集用戶數據前履行告知義務,保證用戶的知情權和選擇權,確保數據采集的合法性;二是應當在用戶使用前說明設計者等相關信息,包括應用可能存在的缺陷與不足。最后,確保應用的合規性。雖然這類應用可能產生的風險較低,但是仍然要確保它們符合國家設定的相關質量要求,需要通過質量和安全認證工作才準許其應用于公共領域。

2.2 對“弱人工智能、高風險”的監管建議

這類人工智能應用主要側重于對有關設計者和使用者的監督和問責,以減小或控制風險發生的可能性。首先,要明確人工智能使用者的法律主體責任。因為人工智能的風險主要產生于它的實際運用過程,相比人工智能系統的開發者和系統用戶,它的使用者在數據的儲存與運用和系統運行等方面可以直接進行操作與管理,所以人工智能使用者應該明確為風險防范的主要責任人。具體而言,使用者的責任需要包括如下方面,一是使用者要保障用戶的知情權,確保用戶能夠明確如何使用相關系統、知曉系統結果的產生方式、了解該系統的相關信息;二是使用者要履行數據治理義務,數據的采用需要符合“相關性、代表性、完整性、正確性”標準、數據儲存要安全可靠,還要持續監測并修正數據偏差;三是使用者要承擔人工智能全周期責任,即在人工智能的投入、運行和產出等階段的風險管理責任均由使用者承擔;四是使用者要對組織成員進行技術培訓和管理,落實組織保障。

其次,要建立設計者的算法問責機制。人工智能算法因為其潛在的不可解釋性和模糊性而廣受學者們詬病。因此,加強算法問責也是有效規避風險的關鍵一環。相關設計者有義務減少算法所帶來的負面影響和潛在風險,一旦算法在運行過程中造成實際損失,開發者必須承擔相關的責任。算法責任機制包括如下內容,一是研發者要在算法形成后對其運行展開測試,評估算法可能存在的風險并確定可行的防范措施,符合相關的風險防控標準才可進入應用領域;二是算法的應用需要以規范、公正的方式運行,開發者要保證算法價值觀的客觀、中立,避免算法的偏見與歧視;三是算法在正式運用過程中導致的任何風險或損失都需要設計者承擔相應的連帶責任。

2.3 對“強人工智能、低風險”的監管建議

對此類人工智能應用進行監管的關鍵在于加強技術監測以確保它的運行安全可靠,可以采取三方面措施。一是統一算法技術標準。人工智能算法的設計是影響安全的基礎,因此,要制定統一的程序設計標準,以利于監管和避免偏見。這一標準需要遵循安全性、透明性、公平性和問責性的基本原則,并由政府、企業與行業協會共同制定,以確保可行性。通過將相關價值要求嵌入人工智能算法的程序代碼設計中,提高人工智能的安全水平,盡可能規避各種潛在的風險。二是落實算法備案。為了在事前降低算法的“公共性”應用引發風險的概率,有必要建立該類算法的備案制度［16］。首先,落實備案后,監管機構能及時、準確掌握算法推薦服務基礎情況,便于開展后續監管執法工作;其次,算法備案能確保投入公共部門的算法按照統一的技術標準設計,從源頭降低“公共性”算法可能存在的風險;再次,算法備案可以提高算法的透明度和可解釋性,一旦發生風險,監管人員可以根據備案及時采取相應的緊急措施。未經備案或者備案時存在較高風險隱患的算法需要重新備案或調整相關算法,完成備案登記后即可將其投入應用階段。三是提升算法的透明度。算法的風險很大程度上來自其“黑箱”模式,提升它的透明度無疑有助于使用者和用戶對其進行監管,及時發現相關安全隱患。根據國際計算機協會提出的關于算法透明度和責任原則的算法行業標準,投入公共部門的人工智能系統應當滿足以下透明度標準。首先,算法設計者和其他利益相關者應了解算法的設計、實施和使用中可能存在的偏差,以及偏差可能對個人和社會造成的潛在危害;其次,受到算法決策不利影響的個人和團體能夠向監管部門提出異議和申請糾正;再次,使用算法的公共部門應盡量解釋算法的運行程序和決策的產生過程;最后,完善用戶個人信息和隱私保護,數據收集要獲得用戶同意并盡可能縮小收集范圍,數據的儲存要確保安全,數據使用要符合事先披露的收集目的。

2.4 對“強人工智能、高風險”的監管建議

由于公民與政府之間的廣泛連接,政府存儲著大量公民隱私信息,政府的行為也關系到每個公民的基本權利。當此類人工智能系統進入公共事務領域時,應對其保持充分警惕,以免由于監管不力導致巨大的損失和危害。

首先,設定嚴格的安全指標。制定標準是審查各種產品安全系數的常用做法,同時也能提供合理的價值引導,這同樣適用于人工智能系統。在開發者設計此類人工智能系統時便要求其嚴格遵守相關標準,從而大大降低潛在的風險發生概率。考慮到人工智能公共部門應用的特殊性,這一指標應包含如下要求：一是數據安全,這項指標要求開發者必須采用先進的數據保存和隱私保護技術以避免用戶的數據泄漏,同時還要保證原始數據的客觀公正以避免“數據失靈”和“數據操控”;二是算法安全,算法運行程序的設定不得帶有性別和種族的歧視與偏見,要保證算法價值的客觀中立,避免出現自動化偏見、選擇偏見、集體歸因偏見和隱形偏見;三是有關人工智能的設計和應用必須遵守國家法律法規及行業倫理規范,如我國2018年發布的《人工智能標準化白皮書》。

其次,為了防范風險,可以通過實驗進行試錯,對高風險強人工智能系統實行必要的安全評估,在得到充分的安全性驗證后,再將相關人工智能系統投入使用。監管沙盒為此提供了可行路徑,監管沙盒最早產生于金融領域,用于取代傳統的事后監管模式并推動了金融創新。在人工智能領域,監管沙盒則是指“人工智能系統入市或投入使用前,主管機構提供一個受控的環境,在指定時間內對人工智能系統進行開發、測試和驗證”［17］。它的意義在于在對人工智能系統進行沙盒實驗時,一旦發現系統對人的健康、安全和隱私等基本權利產生直接危害時,可以立即要求開發者采取措施規避風險,直至該系統達到相應的風險防控要求。通過這樣的舉措能夠在可控的范圍內檢驗人工智能系統的安全性,防止這些系統將其風險擴散到不可控的外部環境中。

最后,鑒于人工智能系統具有不斷學習和動態變化的特性,需要對已經投入使用的人工智能系統開展持續的監管。一是在使用中,強化部門的風險管理責任并加強對相關系統的監測與審查。使用此類人工智能系統的公共部門需要建立有效的風險管理措施,這包括采取先進的風險管理技術、制定相關的風險應急預案和開展組織成員的技術培訓;政府監管機構要開展持續的風險監測與審計,監測與審計的內容包括數據質量、算法命令執行是否存在偏見、數據與結果的相關性、是否存在使用者操控數據問題和是否存在隱私泄漏等安全隱患。二是在使用后,強化對違法行為的問責。公職人員在照章辦事過程中所產生的風險和損失由相關部門承擔相應責任;公職人員由于自身行為導致損害性后果的,依法追究相關人員的責任;對公民個人合法權益造成嚴重損害時由該人工智能系統使用部門承擔賠付責任;在人工智能系統使用過程中,部門責任與部門領導人的責任可以相互轉換。

3 結束語

人工智能在公共部門的應用越來越廣泛,應該加快制定相應的監管政策以盡可能地控制風險,為其在公共部門的應用保駕護航。本文運用“兩維四分”的類型學研究方法,提出了基于智能化水平和風險級別的分類監管模型,這是對相關研究的有益補充。需要指出的是,雖然本文提出了對四種類型的人工智能應用采取不同的監管舉措,但它們之間在一定程度上仍存在相同的監管要求,只是側重點不同。