算法決策風險防范的法制路徑研究

陳飏 裴亞楠

摘 要：伴隨算法決策在行政、司法和商業等領域的深度應用，隱私泄露、算法歧視與人類自主性受損已成為三大主要風險。為防范該類風險，首要的是須重申、確立并加強人的主體地位意識，以此反向定位算法決策的工具屬性。在此前提條件下，亦應借力他山之石雕琢己玉，積極借鏡以美國、歐盟和德國為代表的域外經驗，研習其有關算法決策的制度構建與規則設計，尤其要關注法律制度、規則設計的針對性與專業性。當然，更需立足我國國情，切實把脈時代發展，在適時運用比例原則以加強算法決策風險評估機制的同時，科學合理界定責任主體，明確制定該類風險責任承擔的相關法律法規，以最大化降低因法律模糊性而遭致數據主體的二度傷害。

關鍵詞：算法決策;算法決策風險;風險評估;責任規定

中圖分類號：D920.4

文獻標識碼：A

文章編號：1673-8268（2021）03-0072-10

一、問題的提出

大數據時代，以海量數據收集和機器自主學習為基礎的算法決策技術日臻發展，正逐漸取代傳統意義上的人為決策，廣泛且深入地改變著我們的生活方式與社會發展。如在應聘與招聘、購物與旅游、租房與賣房等社會生活方式中，算法決策已成為諸等商業網站為達成利益目標而首選的智能技術。此外，算法決策也更多地運用于司法、行政等公權力領域，如刑事審判中，美國以算法決策技術構建再犯風險評估內容（COMPAS），并以此作為重要量刑依據[1]74，其部分州還采用公共安全評估（PSA）和服務級別目錄修訂版（LSI-R）等罪犯風險性評估軟件[2]。在國內，上海高院于2017年采用“上海刑事案件智能輔助辦案系統”（又名“206”系統），即以算法決策進行刑事案件智能審判[3]。在民事審判中，北京法院應用以算法決策為核心技術的“睿法官”人工智能，對婚姻等家事類案件進行要件事實的提取與固定，快速協助法官理清事實與爭點;江蘇無錫中院推出的“智慧執行系統”更是有效緩解了“執行難”的問題[4]。在行政領域，算法決策早已成為行政審批或行政執法、社會治安、市政建設等行政決策之重要輔助工具，2020年突發疫情下的健康碼即是“算法行政”的典型應用。

信息化、大數據時代，算法決策之地位舉足輕重。然而，時代發展變化中的每一種事物好像都包含有自己的反面折射[5]，算法決策也是如此。因其自身的技術性、不透明性與不確定性，算法決策的應用風險頻頻發生，隱私泄露與算法歧視現象屢見不鮮，更因使用者對算法決策技術的過度依賴而模糊人的主體地位與算法技術的工具屬性之界定，甚至因無條件信任算法決策結果而喪失獨有的判斷力，以致最終損益人的自主性地位。為緩和乃至消解算法決策應用風險，推動人與技術的和諧發展，世界各國和地區都在積極制定對策，本文擇取比較法的視角，通過域外的制度考察與經驗借鏡，以期建構適應中國國情的算法決策風險防范路徑，助益并推動算法決策技術的合法應用與合理發展。

二、算法決策及其風險表現形式

算法是由一系列步驟分明的清晰指令組成的計算機程序[6]128。人工智能時代，算法超越了以計算機程序為主的形式，在海量數據收集和機器自主學習的基礎上，配置以更強大的數據處理能力。算法具備越來越強的決策功能，深刻影響著人們的信息接收方式、容量、內容及其最終的選擇或決定等，但風險也應運而生。

（一）隱私泄露風險

美國學者洛麗·安德魯斯曾發出大數據時代下個人“隱私死亡”之警告，因記錄個人生活數據的收集點越多，他人可輕易獲得的隱私信息就越多[7]。隨著機器自主學習和算法決策的進一步發展，隱私泄露不僅發生在數據的收集階段，而且還會發生在算法的預測階段。并且，為最大限度開發智能技術治理能力，算法決策使用者都竭力深度挖掘個人數據。這就意味著，在數據的收集階段從未向網絡平臺披露的個人信息，極有可能被深度學習算法推斷出來。Facebook案例就是例證：根據該網站58 000名志愿者用戶提供的諸如種族、智力、宗教及政治觀點、性格特征、幸福指數、父母離異、年齡性別等信息進行數學建模，自動化算法在未獲取志愿者其他信息或個性特征的情況下，居然精準預測出該用戶是否為同性戀者的結論[8]。

同樣，在食品安全、環境污染或交通治安等公共領域，越來越普遍的公共視頻監控也正強烈沖擊著公民的隱私權保護。如在美國紐約全城，早已被一個由9 000個“智能”攝像機組成的綜合網絡智能監控覆蓋，該智能監控不僅判定著主體行為的合法或違法，甚至有望替代人為判斷，全面執行法律規定，直接作出最終決定[9]。傳統理論認為，隱私應止于屋門之前，即當人們步入公共空間，便不再享有合理的隱私權期待[10]86。然而，司法行政機關在應用智能監控算法決策系統時，囿于算法自身存有的安全漏洞、數據采集或違法使用以及數據存儲的不安全等原因，使數據主體的隱私正遭遇赤裸裸的侵犯與泄露的風險。公共視頻監控的過度收集和數據共享，不僅令數據主體時刻面臨被監控的風險，而且更是時刻面臨數據泄露、隱私泄露、敏感信息被識別、數據泄露風險提高等倫理危機[11]。

置身于信息時代的我們，智能手機等電子設備不可或缺，一旦數字設備連接網絡，互聯網服務供應商、移動運營商、電子郵件賬號供應商等自然負有保護用戶在線對話、發布圖片等使用痕跡的隱私信息的責任。但是，一旦警方或其他政府機構要求調取信息時，根據電子前沿基金會的報告，大多數服務供應商（如雅虎、微軟、臉書和谷歌）均在未通知用戶的前提下全盤提交[12]。顯然，很多服務供應商即使盡全力保護用戶的隱私，但面對公權力的要求，也不得不向其披露借助算法決策得到的用戶信息。

（二）算法歧視風險

算法決策能被普遍接受的重要原因，即是借力機器決策能在一定程度上克服人為的主觀障礙。但因使用者本身的目的性、算法決策過程的不透明、算法自主學習的偏見性以及決策者與被決策者之間信息嚴重不對稱等因素，隱蔽了算法決策的復雜性與歧視性風險。

算法收集的每一份數據都具有重大的經濟價值。所以，算法決策使用者為實現利益最大化，往往借由機器優勢大肆分析海量數據以獲得更深層級的數據，從而達到商業監視等經濟目的。如以“大數據殺熟”為原理的價格歧視就使數據主體遭受不公平待遇——會員票價反而比非會員票價高，高檔手機付費更多，商品搜索頻次越多越貴等，均是該類歧視的典型表現[13]113。另外，算法使用者還藉由“用戶畫像”，即通過數據分析描述用戶的行為信息和性格特點，對不同群體進行分類與身份建構，從而進行特定推送，助力交易目的達成[14]。理論上而言，算法決策是一種“偏見進，則偏見出”的運作模式[13]112。因此，算法決策的前提，即數據的選擇和收集對決策結果的非歧視性具有決定性影響。對此，盡管已引發技術層的重視，并選擇相應的替代變量取代敏感性信息，如郵政編碼、信用評分等，但這些替代變量是否符合算法決策目的特定原則，又是否會帶來其他“副作用”，仍存質疑算法決策目的特定原則，是指要求所收集的數據屬于支持該決策的相關因素，且應該在數據收集之前明確。。因為算法參數可能是某些偏見數據通過計算后的間接結果，只是表面看來屬良性屬性[6]135-136。

可以說，算法決策總是蘊含著價值判斷，總是與特定的價值立場相關，甚至于背后隱藏著利益集團的操控[15]。美國小城雷丁利用大數據分析初創公司PredPol生產的犯罪預測軟件，協助警方進行巡邏與犯罪預防。該軟件將地理位置作為基礎數據，且重點關注每一次犯罪的類型、時間與地點，表面看似客觀、合理，但是其最終仍依賴于警方對犯罪類型的選擇。如果該地警方選擇的犯罪類型包含流浪、酗酒以及侵犯型乞討等在美國貧困地區十分常見的犯罪，那么，該軟件在囊括這類輕微犯罪數據的基礎上，會得出“貧困地區更有可能發生犯罪”的輕率結論。如此，更多警力將被派駐于貧困地區[16]，進而記錄到更多犯罪數據。此種數據選擇失誤引起的算法歧視，將會產生持續性的惡性循環，嚴重影響社會治安管理秩序。

（三）人類自主性受損風險

算法決策在人類社會扮演著日益重要的角色，甚至逐漸超越工具屬性而成為信息配置的基本規則，開始獨立擁有巨大的資源配置權，削弱、取代人的主體地位[17]。算法決策精確、高效、便捷等自身優勢，利導著人類大量應用而對其產生過度依賴，極度降低了人類的自主性特質。

此類風險于司法、行政等公權力領域的表現尤甚明顯。于前者，在仰賴法官自由心證、自由裁量的民事審判實踐中，算法決策難以涵蓋法官長期積累的審判經驗，更無法替代法官的自由裁量權。因此，依賴算法決策技術的審判活動，必然會造成削弱法官主體中心的潛在風險。馬爾庫塞說，因科學技術具有明顯的工具性和奴役性，甚至具有統治人和奴役人的社會功能，從形式上看，技術運用可能在短期內似乎強化了法官能力，但從長遠而論，則會形成一種對法官的隱形操縱，從而使得司法決策由“以法官為中心”逐漸轉向“以數據為中心”[18]106。前述之再犯風險評估和量刑評估等軟件，就是該類風險在司法領域的競相表現。

同樣，在行政管理活動中，如果任由算法決策在行政領域的肆意、泛化應用，勢必削弱甚至吞噬行政裁量的能動性。以行政處罰為例，在傳統行政模式下，行政機關可在法定的處罰種類和處罰幅度內進行合理的選擇，但在自動化行政中，借助算法決策輔助行政處罰，根本無從及時、有效地發揮行政主體享有的行政裁量權的功能與作用。自然，若行政機關主體長期完全依賴算法決策結果，勢必侵蝕行政主體的自主判斷能力，甚至無法及時檢測出錯誤的決策結果。

三、域外算法決策風險防范的經驗借鏡

算法決策技術帶來隱私泄露、算法歧視以及人類自主性受損等風險。為此，美國、歐盟、德國等國家或地區都提出了針對性舉措，為中國構建算法決策風險防范路徑提供了有益資鑒。

（一）美國：健全的算法決策法律規制體系

擇以自動化行政中算法決策應用的治理政策論，美國業已形成政府與非政府組織之間雙向協同規制模式，即政府主導，建構自上而下、建制完備的算法決策之相關制度與規范規則。同時，其非政府組織也積極作為，且以更新、更快、更強的針對性舉措，積極規避、防范行業內部的算法決策風險。

在算法決策法律制定與設計層面，美國聯邦政府正愈加積極表現，各種舉措不僅規制聯邦行政機關的行為，同時規制私人企業等非政府組織的行為。早在1970年和1974年，美國聯邦貿易委員會（FTC）就分別頒布《公平信用報告法》（FCRA）和《平等信用機會法》（ECOA），其內容就已涉及信用評分領域的自動化決策[19]。顯然，美國對算法自動化決策早有足夠的關注與重視，并且在信用評分這一特定領域實施了針對性規制。其后，2000年生效的《兒童在線隱私保護法》專門對13歲以下兒童的個人隱私設定特別的保護要求;2016年，聯邦政府更是相繼發布《人工智能報告》《人工智能戰略計劃》以及《人工智能應用監管指南》[20]14-18。上述一系列聯邦相關立法、戰略性計劃均是人工智能領域的專門性法律文件，立足重點性、針對性監管的要求，促進以算法決策為核心的智能技術的開發與運用，也盡可能保證智能技術系統的安全。

同時，美國聯邦貿易委員會（FTC）也一直密切關注并監管侵犯隱私規則問題。為此，FTC多次專門舉辦聽證會，探討算法、人工智能和預測分析的競爭以及消費者保護等重大問題，其重點關注算法、人工智能和預測分析的背景、技術應用、應用原則以及消費者保護[21]。另外，美國各州和地方政府亦以立法形式直接規范各種場景下的算法決策應用——現已有40個州通過法律或行政命令實施對自動駕駛汽車的規制。2017年，紐約市議會成為首家通過算法透明法案的地方立法機構;佐治亞州和佛羅里達州及時更新社會服務相關立法，明確算法決策系統所涉及的政府資源等社會服務的優先次序和分配問題[20]22。可見，美國聯邦政府對于算法決策等人工智能新型技術的規制正趨向全領域的應用與監管。

必須指出的是，美國非政府組織對算法決策風險治理也發揮著重要作用。諸如人工智能伙伴關系、消費者報告組織、民主與技術中心等社會性組織，在技術政策、公民權利、自律性規制等領域協助政府開展工作，已經成為指導未來算法政策和原則的重要力量。此外，為加強算法歧視的自律性規制，美國計算機協會還專門發布了關于算法透明度及可審查性的七項基本原則，即算法透明原則、算法救濟原則、算法負責原則、算法解釋原則、算法數據可靠性原則、算法可審查原則和算法驗證原則[22]117。實踐中，旨在為算法決策系統的合理運行提供規范性標準之七項基本原則的協同配合，設計階段就須加強、完成算法決策系統的合理性與公平性檢測。

質言之，在政府與非政府雙向協同規制模式下，美國已逐步形成健全的算法決策法律規制體系，奠定其算法決策的規范支持，指導或指示算法決策于各種場景中的高效應用。這樣，不但緩釋使用者與決策對象之間的權益摩擦，而且也積極促進、保障以算法決策為核心的人工智能新型技術的科學發展。

（二）歐盟：數據主體的反自動化決策權

2018年5月，歐盟正式實施《通用數據保護條例》（GDPR），在其成員國內部全面生效。作為數據保護的典范性法律規范，GDPR關于算法決策應用風險的防范與規避在世界范圍內都具有顯著的示范性作用。

GDPR第22條確立數據主體享有不受自動化決策影響的重要權利，亦即學者謂之“反自動化決策權”。GDPR針對算法決策風險防范中最為突出的措施就是賦予數據主體這一新權利——“反自動化決策權”，以此反向強化數據控制者責任[22]506。

其實，歐盟早在1995年的《數據保護指令》（DPID）中就已作出“數據主體有權反對自動化決策的影響”的規定。其第15條第1款規定，成員國應賦予每個人一種權利，一種不受完全基于數據自動化處理而對自身產生顯著法律影響的權利。這也是第一個立足數據保護背景的規范完全基于機器決策結果的歐盟立法[23]。現行GDPR第22條即是DPID第15條的延續和發展，其具體內容如下參見歐盟《通用數據保護條例》（GDPR）。。

第一，數據主體有權反對此類決策：完全依靠自動化處理（包括用戶畫像）對數據主體做出的具有法律影響或類似嚴重影響的決策。

第二，當決策存在如下情形時，第1款不適用：（a）當決策對于數據主體與數據控制者的合同簽訂或合同履行是必要的;（b）當決策是歐盟或成員國的法律所授權的，控制者是決策的主體，并且已經制定了恰當的措施保證數據主體的權利、自由與正當利益;（c）當決策建立在數據主體明確同意的基礎之上。

第三，在第2款所規定的（a）和（c）中，數據控制者應當采取適當措施保障數據主體的權利、自由、正當利益，以及數據主體可以對控制者進行人工干涉，以便表達其觀點和對決策進行異議的基本權利。

第四，第2款所規定的決策的基礎不適用于第9條第1款所規定的特定類型的個人數據，除非符合第9條第2款（a）或（g）的規定，并且已經采取了保護數據主體權利、自由與正當利益的措施《通用數據保護條例》（GDPR）第9條（對特殊類型個人數據的處理）第1款規定：對于那些顯示種族或民族背景、政治觀念、宗教或哲學信仰或工會成員的個人數據、基因數據、為了特定識別自然人的生物性識別數據以及和自然人健康、個人性生活或性取向相關的數據，應當禁止處理;第2款（a）規定：數據主體明確同意基于一個或多個特定目的而授權處理其個人數據，但依照歐盟或成員國的法律規定，數據主體無權解除第1段中所規定的禁令的除外;第2款（g）規定：處理對實現實質性的公共利益必要的、建立在歐盟或成員國的法律基準之上、對實現目標是相稱的、尊重數據保護權的核心要素，并且為數據主體的基本權利和利益提供合適和特定的保護措施。。

GDPR第22條第1款直接確立數據當事人有權不受僅基于自動化處理的、包括對其產生法律影響或對其產生類似重大影響的決定的權利;第2款是第1款的豁免條款，列明不適用的具體情形，反向界定數據主體不受自動化決策影響的明確范圍;第3款又是第2款豁免條款的條件限制，指出當數據控制者以合同簽訂或履行為必要、或以數據主體明確知情同意為理由而認為數據主體不享有反對自動化決策影響的權利時，應采取適當措施保障數據主體的權利、自由和正當利益，并允許數據主體對數據控制者進行人工干涉，表明其異議立場或自生觀點的基本權利;第4款重在強調對個人敏感性數據的高度關注。

相較于DPID第15條，GDPR第22條完善并著重強調數據主體的基本權益，為數據主體夯實更全面、更有力的法律保護基礎。其序言第71條明確強調，數據主體有權反對基于自動化處理并對其產生法律影響或者其他顯著影響的決策結果，且數據主體有權要求進行人工干預這里的自動化處理并對其產生顯著影響的決策結果是指：任何形式的自動化處理個人數據，以此評估數據主體的身體素質、工作情況、經濟狀況、個人喜好、地理位置等相關方面，評估結果對數據主體產生重大影響。。同時，為進一步強化算法決策控制者的責任、保障數據主體的權利，GDPR明確將透明度與問責原則列為數據處理的核心原則，并通過設立歐盟層面的數據保護委員會和成員國層面獨立的數據保護監管機構，形成相當完備的行政監管體系[24]。

為應對算法決策帶來的隱私泄露、算法歧視等風險，歐盟已然開創“反自動化決策權”（國內有學者譯成“算法解釋權”）之先河，意旨尊重數據主體的個人基本權益和人格尊嚴，降低甚至杜絕算法決策應用風險給數據主體帶來的權益損害與不利后果。

（三）德國：苛嚴的算法決策應用規制

面對高精尖性的算法決策技術，德國提出了更高、更嚴的要求。其在遵守GDPR的基礎上，積極制定符合本國發展形態的專屬制度規范，以防范、規避算法決策的應用風險。其中，算法決策于行政領域應用的專門規制是最重墨之筆。

2017年6月，德國聯邦議院通過《歐盟數據保護適應和實施法案》，就此開啟歐盟GDPR基本規定的適用[25]。針對行政管理活動領域中的算法決策應用，也為促進科技自由發展與數據主體權利保護的平衡，順應行政現代化、智能化的發展，加速稅收和社會法領域的程序現代化建設，德國專門在《稅收條例》和《社會法典（第十卷）》引入全自動作出的具體行政行為條款，并于2017年擴展至一般《行政程序法》，即在《行政程序法》中引入“全自動作出的具體行政行為”概念，并匹配若干法條的修改以彌補自動化行政中法律依據存在的瑕疵，以此規范算法決策在自動化行政中應用的具體行為[26]170。

同時，德國已開始嘗試直接規制算法設計本身，試圖促令法律和倫理規范徑直進入算法。德國交通部部長任命的倫理委員會就有專門報告，要求算法編寫者遵守一系列倫理法則，并提出具體的20條倫理指導意見，其核心即要求把人的生命放在首位[1]73。另外，第36屆信息官員自由會議也通過“算法在公共管理中的透明度”文件，其中規定德國政府部門使用算法必須要予以公布的具體內容[27]：（1）有關程序輸入、輸出數據的類別信息;（2）算法所涉邏輯，包括計算公式、輸入數據的權重、基本的專業知識以及用戶部署的個人配置;（3）最終決策的范圍以及程序可能產生的后果。顯然，德國主流觀點認為，重視法律與倫理規范、明確算法透明度問題，是保障算法決策結果準確、公平、有效的重要因素。

綜合前述，各國為防范或規避算法決策于各種領域應用的實然風險，都有因應本國特點的自主制度或規則設計。美國基于政府與非政府組織的協同規制，形成一種健全的法律規制體系;歐盟GDPR第22條特別強調數據主體享有的反對自動化決策影響的權利，在保護自然人基本權利與自由的同時，更彰顯算法決策風險防范的事后規制措施的示范性作用;德國在遵守GDPR的基礎上，積極制定符合國家發展形態的專屬制度規范，重點是算法決策在行政領域應用的特殊規制，以此促進科技自由發展與數據主體權利保護達致平衡。

四、算法決策風險防范路徑的中國展望

隨著算法決策技術廣度、深度的進一步拓展與深入，不僅會加重上述三大主要風險的危害性，而且未來還可能產生不可測之風險類型。為積極應對已有風險，有效防范將來風險，我們必須制定并完善算法決策的相關制度規定、加強算法決策風險評估機制、明確算法決策風險責任規定等，以盡可能實現算法決策風險的事先預防與事后救濟。

（一）重申、確立并加強人的主體地位

馬長山指出，當下的人工智能仍定性為人類所創造的高度自動化、智能化的工具，雖然該工具發展到一定階段能夠模仿人類動作與感受，但終究非屬人類。換言之，人工智能并無自主意志，僅是技術產出品，根本上就只能定性其為工具屬性[28]。同樣，為有效防范、規避算法決策的應用風險，確定數據主體事后救濟的問責對象，必須加強算法決策使用者的主體地位意識并明確算法決策的工具屬性。

以民事審判為例，算法決策作為司法機關在司法實踐中采用的一種治理手段或工具，即是輔助司法機關進行決策。即便未來算法決策技術向高精尖飛速發展，甚至直接取代人工決策而作出最終判定，也無從改變其輔助性的工具屬性。簡言之，無論是輔助人工決策還是取代人工決策，算法決策都僅被限定以輔助地位、協助司法機關完成審判工作。此外，在不同場景應用中，算法決策控制者或使用者應當牢牢掌握算法決策技術的主導權，不可全仰賴決策系統，必須嚴防或杜絕算法決策技術在深入發展和滲透后完全取代人為決策的可能，甚至凌駕于人為決策之上。

無論算法決策應用是在司法審判、行政管理活動還是商業領域，都不能改變算法決策的工具屬性。所以，必須厘清算法決策使用者與算法決策技術本身的主次關系，以規范算法決策技術的發展方向，使其不偏離自身的工具屬性定位。

（二）完善算法決策的相關制度規定

大數據時代，算法決策技術帶來諸多不確定性，雖然制度的出臺總是滯后于技術的發展，但是以制度的方式規制已知的事物是非常有效的[29]。基于前述對美國、歐盟、德國的比較考察與經驗借鏡，立足本國國情，及時制定完善相關法律法規與具體規則已勢成必然。

2016年，我國頒布了《中華人民共和國網絡安全法》，旨在保障我國網絡運行安全和信息安全，維護網絡空間主權和國家安全以及社會公共利益，保護公民、法人和社會其他組織的合法權益，促進經濟社會信息化的健康發展[30]。依據該法第四章之網絡信息安全的規定，以列舉方式明確指出網絡運營者收集、使用個人信息，應當遵循合法、正當、必要的原則，明示收集、使用目的，并須經被收集者同意;網絡運營者應當確保其收集個人信息的安全《中華人民共和國網絡安全法》第41條規定：“網絡運營者收集、使用個人信息，應當遵循合法、正當、必要的原則，公開收集、使用規則，明示收集、使用信息的目的、方式和范圍，并經被收集者同意。網絡運營者不得收集與其提供的服務無關的個人信息，不得違反法律、行政法規的規定和雙方的約定收集、使用個人信息，并應當依照法律、行政法規的規定和與用戶的約定，處理其保存的個人信息。”第42條規定：“網絡運營者不得泄露、篡改、毀損其收集的個人信息;未經被收集者同意，不得向他人提供個人信息。但是，經過處理無法識別特定個人且不能復原的除外。網絡運營者應當采取技術措施和其他必要措施，確保其收集的個人信息安全，防止信息泄露、毀損、丟失。在發生或者可能發生個人信息泄露、毀損、丟失的情況時，應當立即采取補救措施，按照規定及時告知用戶并向有關主管部門報告。”。另外，在《中華人民共和國個人信息保護法（草案）》中也明確規定了個人信息處理的基本原則、協調個人信息保護與促進信息自由流動的關系，以及有關敏感個人信息問題等諸多內容[31]。

顯然，數據安全是一切問題的首要出發點。為規范算法決策于數據收集與使用階段的嚴謹性，切實防范算法決策隱私泄露風險，我國在制定算法決策相關制度時，自然必須重視數據安全問題。如明示算法決策使用者應當遵循合法、必要、正當的原則;明示數據收集和使用的目的，積極保障數據主體的知情同意權益;遭遇算法決策使用者未經數據主體同意而擅自采集或者不合目的使用數據時，數據主體有權提出異議等。特別需要指出的是，就此數據主體的異議權可借鑒GDPR第22條規定，即在公權力應用算法決策場景下，對數據主體做出具有法律影響或類似嚴重影響的決策結果時，數據主體有權對該結果提出反對意見。具體應用：在算法決策輔助自動化行政過程中，行政相對人之數據主體有權要求人工介入;對此情狀，行政主體必須聽取相對人的陳述，如果要求合理，則必須即時中斷自動程序而轉入普通程序。此外，行政主體還負有于法定情形下須履行主動中斷自動程序的義務，如根據德國《稅務條例》和《行政程序法》的規定，可要求行政機關對個案相對人在自動程序外的重要情況進行調查，若符合中斷條件，行政機關必須主動恢復普通程序[26]177。

此外，相應制度規定還應滿足算法決策于不同領域的具體應用場景。僅類化于行政管理、司法審判及民商業等領域，算法決策也并非能適用其各自領域下的所有場景。當外部環境阻礙機器決策、或有造成決策結果錯誤風險之虞，該類場景就只能采用人為決策。對此，德國行政程序法就專門針對算法決策于自動化行政領域的應用限定兩個條件：（1）法律保留，即僅當法律法規允許時方可適用;（2）僅限行政機關無裁量或無判斷余地時方有適用空間[10]89。“兩個限定條件”可為我國明確算法決策的具體應用場景提供有效資鑒。對于法律保留論，還須提供原則性指引，而非面面俱到地實施干預，如在授益行為、不涉及當事人重大利益事項上，法律可以對算法決策于行政管理活動的應用賦予概括性授權以釋放創新空間。當然，在情況較為復雜、尤其關乎人身權益等決策不可逆的場景下，算法決策應用必須審慎以待。

（三）加強算法決策的風險評估機制

以算法決策為核心技術的一系列人工智能新型技術的應用已成必然。因此，為促進算法決策技術的良性發展，同時保障數據主體的合法權益，維護社會秩序的穩定性，必須有側重、分步驟地有效運行算法決策風險的評估機制。

算法決策的運行基礎是數據，數據質量即是其風險評估的基礎性要件。為驗證數據質量是否存在瑕疵，以及該瑕疵對決策結果產生的消極影響又是否超過其為決策結果帶來的積極影響，同時還需研判算法決策于具體場景適用的可行性。所以，事先必須用比例原則對算法決策系統進行風險評估。具體操作可依據以下“三個判斷”進行[18]112：（1）適應性判斷。判斷算法決策系統的設計是否合理、合法，且決策系統對數據的收集、選擇和處理又是否能最大限度降低數據質量瑕疵（如隱私信息、敏感性信息），以達到使用者預期目的。（2）均衡性判斷。比照算法決策系統運行可能產生的積極影響與消極影響，只有確認前者明顯高于后者時才可通過評估。（3）必要性判斷。使用者應采用對數據主體消極影響最小的算法決策系統，以最大限度降低技術的不確定性和數據質量瑕疵，否則，決策結果可靠性無以保障。即僅限于同時滿足“三個判斷”評估模式的算法決策系統才可通過事前檢測并被投入實踐應用。

風險評估的先行者莫過于德國。20世紀70年代，德國《聯邦數據保護法》就作出規定，自動收集、處理和使用個人數據的公共機構和私法主體，或以其他方法處理個人數據并且至少擁有20人長期雇員的，或因市場研究目的而自動處理數據的私主體，都必須書面任命常設的個人數據保護顧問，否則將承擔相應的法律責任[32]48-49。同時，為賦予個人數據保護顧問以更強的權力支撐，在企業外部還設立數據保護監管局。當個人數據保護顧問面臨來自企業的壓力時，還可向數據保護監管局尋求援助[32]49。但需明確的是，該顧問在企業算法治理、數據活動的監管中始終占據主體地位，而數據保護監管局反倒成了輔助角色。可以說，德國踐行的是以行業自律加政府監管之雙重風險評估機制——不僅自主督進企業內部的算法決策風險防范，也同步提升政府監管的力度。當然，在某種程度上，也正因企業外部數據保護監管局的存在能有效防止個人數據保護顧問淪為擺設，更有利于促進個人數據保護顧問職權的有效行使。

基于此，我國在這一相關制度或機構的設定方面，就應明示個人數據保護顧問的相關規定。首先，企業內部的個人數據保護顧問應熟悉該企業的基礎業務，同時還須掌握算法決策與數據保護的基本知識，因為算法決策的強技術性與隱蔽性不可能促令企業員工都具備檢測本企業算法風險的技能。但是，對于個人數據保護顧問而言，具備專業技能和隨時可檢測算法決策風險的能力是其必備條件。其次，個人數據保護顧問還應具有相當的責任意識，積極履行自身風險評估職責，適時提出異議。若企業施以高壓，該顧問應當及時請求數據保護監管局的適時介入與調查。數據保護監管局亦須具備評估算法決策風險的專業技術與能力，以認真監督該顧問履職情況，并定期接受關于算法決策應用的情況匯報。

（四）明確算法決策風險的責任規定

劃定算法責任歸屬，不僅是為了明確算法決策風險引起的責任承擔，而且也是為使算法決策技術能以一種更負責任的方式良性運行。無論于各種應用場景，都應當有因應的責任界定與劃分。

尤其關涉公權力領域的應用，更需有責任主體的明確規定。無論行政管理或司法裁判，公權力機關都是通過與私人技術主體的公私合作方式進行應用算法決策。因此，算法決策過程的實際主體至少有公權力機關、數據主體以及私人技術主體三類。然而，不管是人為決策行為還是算法決策行為，其法律意義上的主體仍是公權力機關，私人技術主體只是公權力機關實現其行為目的的輔助與載體。所以，于數據主體而論，無須關心到底哪些主體介入行政或司法程序，只需針對法律規定的行使公權力的權力主體尋求救濟即可[33]。即一旦算法決策風險造成數據主體權益受損，公權力機關即成責任主體，數據主體應當向公權力機關問責。至于私人技術主體承擔的責任，主要關涉其與公權力主體之間的合作協議，如果私人技術主體存在過錯，按協議約定承擔相應的責任即可[33]。因此，對于公權力領域下三重主體共同參與的算法決策過程，責任主體的認定并無根本性變化，僅需藉由算法決策相關制度進行細節的調整和明確即可。

對于商業領域的應用，則須加強算法決策設計者、使用者的責任規制。2018年，我國通過《中華人民共和國電子商務法》，首次明確網絡平臺不合法設計、部署和應用的部分算法責任，包括搜索算法（競價排名）的明示義務、推薦算法的消費者保護義務等，體現立法者對算法地位和作用的合理認知[34]。同時，落實有效調整算法決策風險的責任規定：（1）優化系統本身，加強算法決策系統設計者的風險責任意識，促令其于設計之初須充分考量算法風險防范與可問責性問題[35];（2）明確算法決策設計者、使用者應當遵守的基本原則，以強化責任意識，形成高效的自律性規制。一如前述美國行業內部的自律性規制范式，該國計算機協會通過發布有關算法透明度及可審查性的七項基本原則，以此規范算法決策使用者的行為，降低算法決策風險發生的概率。我國可以此為資鑒，適時調整、完善算法決策風險責任的相關規定，有效防范算法決策風險的發生，并最大化降低因法律模糊性而遭致數據主體的二度傷害。

五、結 語

實踐證明，協調算法決策等科學技術的發展與數據主體合法權益的保障二者之關系，已然成為大數據時代人們的共同關注焦點。藉由他山之石路徑考察與經驗借鏡，中國于算法決策風險防范的法制路徑構建，首先，必須立足本國國情的切實考量，重申、確立并加強人的主體地位意識，更須對算法決策之工具輔助屬性進行明確定位。在此前提下，及時、有效地制定相關法律法規及其配套制度與具體規則，以此秉持、恪守規范算法決策于數據收集與使用階段的嚴謹性，清晰界定算法決策于行政、司法或商業領域中的具體應用場景。其次，還須以比例原則加強算法決策風險評估機制，并嘗試在企業內部增設個人數據保護顧問，以實現風險評估的專人負責制。最后，還須明確算法決策風險的責任規定，明示責任主體，強化算法決策設計者、使用者的風險責任意識。誠然，無論于行政、司法等公權力領域，抑或商業等其他領域，算法決策風險都無法一一避及。今后，伴隨算法決策技術的深度發展、人工智能自主學習能力的突破性進展，定會產生更多不可預估之風險。因此，我們必須不斷審視算法決策技術，增強自身風險防范能力，以促進算法決策技術的良性發展，盡可能最大化地保障數據主體的合法權益不受侵害。

參考文獻：

[1] 鄭戈.算法的法律與法律的算法[J].中國法律評論，2018（2）.

[2] 杜宴林，楊學科.論人工智能時代的算法司法與算法司法正義[J].湖湘論壇，2019（5）：65.

[3] 全國首次！上海法院運用“206系統”輔助庭審防范冤假錯案[EB/OL].（2019-01-26）[2020-09-04].https：//www.sohu.com/a/291606945_100114073.

[4] 王海如.論司法人工智能在民事審判中的應用[D].南昌：南昌大學，2020：5-18.

[5] 譚九生，楊建武.智能時代技術治理的價值悖論及其消解[J].電子政務，2020（9）：34.

[6] TENE O， POLONETSKY J. Taming the Golem：Challenges of Ethical Algorithmic Decision-Making[J]. North Carolina Journal of Law & Technology，2017（1）.

[7] 張恩典.大數據時代的算法解釋權：背景、邏輯與構造[J].法學論壇，2019（4）：154.

[8] 孫建麗.算法自動化決策風險的法律規制研究[J].法治研究，2019（4）：109.

[9] RADEMACHER T. Of New Technologies and Old Laws： Do We Need a Right to Violate the Law？[J]. European Journal for Security Research，2020（5）：4.

[10]馬顏昕.自動化行政的分級與法律控制變革[J].行政法學研究，2019（1）.

[11]趙敏.公共視頻監控的大數據倫理問題——以個人信息安全為中心[J].中國人民公安大學學報（社會科學版），2020（1）：98.

[12]特蕾莎·M·佩頓，西奧多·克萊普爾.大數據時代的隱私[M].鄭淑紅，譯.上海：上海科學技術出版社，2017：46.

[13]鄭智航，徐昭曦.大數據時代算法歧視的法律規制與司法審查——以美國法律實踐為例[J].比較法研究，2019（4）.

[14]張凌寒.算法權力的興起、異化及法律規制[J].法商研究，2019（4）：67.

[15]丁曉東.算法與歧視：從美國教育平權案看算法倫理與法律解釋[J].中外法學，2017（6）：1622.

[16]凱西·奧尼爾.算法霸權——數學殺傷性武器的威脅[M].馬青玲，譯.北京：中信出版集團，2018：91-94.

[17]張凌寒.風險防范下算法的監管路徑研究[J].交大法學，2018（4）：54.

[18]王祿生.司法大數據與人工智能技術應用的風險及倫理規制[J].法商研究，2019（2）.

[19]KEATS D， PASQUALE C F. The Scored Society： Due Process for Automated Predictions[J]. Washington Law Review，2014（1）：16.

[20]陸凱.美國算法治理政策與實施進路[J].環球法律評論，2020（3）.

[21]算法、人工智能和預測分析的競爭和消費者保護問題[EB/OL].[2020-07-09].https：//www.ftc.gov/news-events/events-calendar/ftc-hearing-7-competition-consumer-protection-21st-century.

[22]KEDZIOR M. GDPR and beyond—a year of changes in the data protection landscape of the European Union[J]. ERA Forum，2019（19）.

[23]MENDOZA I， BYGRAVE L A. The Right Not to be Subject to Automated Decisions Based on Profiling[M]//EU Internet Law. Cham： Springer，2017：78-79.

[24]程瑩.元規制模式下的數據保護與算法規制——以歐盟《通用數據保護條例》為研究樣本[J].法律科學（西北政法大學學報），2019（4）：49-50.

[25]MOLNáR-GáBOR F. Germany： a fair balance between scientific freedom and data subjects rights？[J]. Human Genetics，2018（8）：619.

[26]查云飛.人工智能時代全自動具體行政行為研究[J].比較法研究，2018（5）.

[27]張凌寒.算法自動化決策與行政正當程序制度的沖突與調和[J].東方法學，2020（6）：12.

[28]馬長山.人工智能的社會風險及其法律規制[J].法律科學（西北政法大學學報），2018（6）：48.

[29]杜婧，張凌寒.以數據化的隱私權為代價——Google搜索引擎并不“免費”[J].長春理工大學學報（社會科學版），2017（1）：35.

[30]中華人民共和國網絡安全法[EB/OL].（2020-04-24）[2020-06-05]. https：//www.fjcpc.edu.cn/jgdzz/2020/0424/c2231a65107/page.htm.

[31]中華人民共和國個人信息保護法（草案）[EB/OL].（2020-10-22）[2020-10-25].http：//fzzfyjy.cupl.edu.cn/info/1077/12335.htm.

[32]林洹民.自動決策算法的法律規制：以數據活動顧問為核心的二元監管路徑[J].法律科學（西北政法大學學報），2019（3）.

[33]馬顏昕.自動化行政方式下的行政處罰：挑戰與回應[J].政治與法律，2020（4）：147.

[34]張凌寒.《電子商務法》中的算法責任及其完善[J].北京航空航天大學學報（社會科學版），2018（6）：16-17.

[35]約叔華·A·克魯爾，喬安娜·休伊，索倫·巴洛卡斯，等.可問責的算法[J].沈偉偉，薛迪，譯.地方立法研究，2019（4）：106.

Research on the Legal Path of Algorithmic Decision Risk Prevention

CHEN Yang， PEI Yanan

（School of Cyber Security and Information Law， Chongqing University of

Posts and Telecommunications， Chongqing 400065， China）

Abstract：

With the in-depth application of algorithmic decision-making in administrative， judicial， and commercial fields， privacy leakage， algorithmic discrimination， and damage to human autonomy have become the three major risks. To prevent these risks， the first thing to do is to reiterate， establish， and strengthen the awareness of human subjectivity， and to reversely locate the tool attributes of algorithmic decision-making. Under the guarantee of this premise， we should actively learn from the extraterritorial experience of the United States， the European Union and Germany， study the system construction and rule design of algorithmic decision-making in these countries or regions， and pay special attention to the pertinence and professionalism of their legal systems and rule design. Of course， it is necessary to base on the specific national conditions of our country， effectively grasp the pulse of the development of the era， and use the principle of proportionality to strengthen algorithmic decision-making risk assessment mechanism， scientifically and reasonably define the responsible party， and clearly formulate relevant laws and regulations for the responsibility of these risks， so as to minimize the second degree of harm to the data subject due to legal ambiguity.

Keywords：

algorithmic decision-making; algorithmic decision-making risk; risk assessment; responsibility regulation

（編輯：劉仲秋）