法治與政府決策自動化①

□［澳］莫妮卡·佐尼魯特，莉亞·本內特·摩西，喬治·威廉姆斯 著，廖建凱譯

（1.新南威爾士大學 法學院，澳大利亞 悉尼；2.西南政法大學 人工智能法學院，重慶401120）

自動化有望改善各類流程。采用受控程序和系統來代替人類勞動，可以提高效率、確定性和一致性。因此，自動化在制藥、零售、銀行和交通等領域，受到私營部門的歡迎也就不足為奇。自動化也能給政府帶來益處，它有潛力使政府決策更準確、更高效和更公平。一些國家在福利分配和刑事審判等領域積極推進自動化，輔助或替代政府人工決策的自動化系統正越來越多地被使用。然而自動化的快速應用也引發了爭議。一方面機器學習等技術的變革潛力，因能提高經濟效益而受到稱頌；另一方面大眾普遍認為，其給隱私權和平等權等權利帶來風險。自動化如何與基本的法律概念和規范相互作用的問題，引起了法學理論、技術和哲學交叉領域理論家的廣泛關注。

本文采用寬泛的視角評估政府決策自動化對法治的益處與挑戰。其目的不是進行徹底的分析，而是批判性研究法治原則如何被兩種使用越來越多的自動化影響：人工編寫的預編程規則（例如專家系統）和從歷史數據中衍生出規則并進行推理或預測的工具（通常應用機器學習）。我們研究的焦點是自動化對政治和國家制度中最廣泛認可的三個核心法治觀念的影響：透明和責任、可預測性和一致性、法律面前人人平等。

一、法治

法治是一項正在進行的政治工程，其核心在于一種廣泛堅持的信念，即社會應由法律治理。歐盟、俄羅斯、中國、津巴布韋和伊朗等形形色色的社會和看似不可調和的政治體制都認可法治，是法治這一概念的顯著特征。如此多的國家和政治制度都接受法治，是因為這個概念沒有一個公認的定義。它無處不在，卻又難以捉摸。作為一個“本質上有爭議的概念”[1](p52)，不同的社會可以認同法治，但對法治的內涵卻存在分歧。一些學者將對法治的理解分為形式觀念和實質觀念，前者聚焦于合法性的來源和形式，而后者還包括關于法律內容的規定。法治既包含程序因素也包含實體因素的觀點被廣為接受[2](p467)。

我們的目標不是給出另一種關于法治的解釋。相反，我們僅僅關注普遍接受的法治內涵，即法律必須是可預測的、穩定的、可獲得的和法律面前人人平等[3](p1)。在應用這些原則時，我們的關注點主要是法治的形式和程序方面，而非其包含言論自由和隱私權等廣泛人權的能力。因此，我們的分析僅限于以下核心部分：透明和責任、可預測性和一致性、法律面前人人平等。

（一）透明和責任

法治最廣為人知的方面是，政府必須確保制定的規則和決定透明并對其負責。透明要求公開國家的運行情況，個人可以獲取法律規則和行政決定[4]。這很重要，因為這樣個人就可以知曉影響他們的決定的原因，并了解未來的決策將如何影響他們。在民主制度中，對法律運作原則（雖然不一定是影響他人的決定的具體細節）有一定的了解，對人們理解和評價政府的表現也是有用的。責任進一步要求政府遵從法律并對其行為負責（例如，行政行為違反法律時可以被推翻）。透明和責任是相關的，因為決策過程或制度的透明是使該過程或制度可責的必要（但非充分）條件[5](p534–537)。

（二）可預測性和一致性

法治另一個被廣泛接受的方面是，法律應該是可預測的和一致的[6](p270–271)。許多人認為，這對個人自由不可或缺，是“人們所說的法治”的基本組成部分。法律的可預測性和一致性通常被認為具有雙重作用。它提高了政府決策的確定性和效率，使個人可以有效地管理他們的私人生活和事務[7]。它還具有一種道義上的意義，即應平等對待類似案件。在普通法體系中，法律的可預見性和一致性可通過司法遵循先例得到進一步提高。

（三）法律面前人人平等

法律面前人人平等要求所有人都必須受到法律平等的制約和對待，而不應不適當地顧及他們的地位或其他情況。從廣義上講，法律面前人人平等可以保證任何個人或群體都不會因其種族或民族、性別、來源國、宗教信仰、性取向或其他無關的個人特征而享有特權或受到歧視[8]。本文使用的是法律面前人人平等的狹義概念，即人們不論其地位如何，都應享有平等的法律權利，并且在享有這些權利時，要“類似案件類似處理”[9](p237)。法律面前人人平等的狹義定義，在一系列法律和政治制度中有著最為廣泛的適用。

二、決策自動化

政府決策中的自動化不是一種新現象，也并非與單一的技術相關。自動化依賴于一種技術工具或系統，其參與決策的程度有所不同，從決策輔助（計算機輔助人類作決策）到人工參與（人類部分參與決策），再到人類完全在決策過程中消失。

為了闡明這一點，研究從自動化輔助決策到完全由機器決策的具體事例很有用。從決策輔助工具開始，機場海關官員使用的臉部識別工具可能會將申請人識別為安全監視名單上的人，并從數據庫中調出此人的記錄。然后，海關官員可能會審查數據庫中的信息，詢問申請人，并決定是否允許此人入境。在這個范圍內，還有一些系統可以自動確定與決策相關的一些事實，如個人是否符合年齡標準，而將決策的剩余部分留給政府官員。此外，自動化系統可以給出與評估相關的信息，而非純粹基于事實標準，例如評估個人是否危險或遵守還款計劃。自動化可能還會建議決策者以一種特定的方式來裁決案件，在這種情況下，決策者可能會將這樣的建議或多或少地當作是結果的決定因素。最后，系統可以識別相關信息，然后根據這些信息做出決策，而不需要人工介入。例如，在確定申請人是否符合領取福利待遇的標準時，可能會出現這種情況。

各種各樣的技術正在或者可能用于政府決策自動化。在分析自動化對法治的影響時，我們將其分為兩種典型類型，盡管這兩種類型的自動化系統也可能在決策過程中相互結合。第一種類型的自動化，遵循一系列由人類預先編寫的程序規則。第二種類型的自動化，應用由系統從歷史數據推斷出的規則。在說明它們如何結合之前，有必要通過事例分別研究它們——專家系統和有監督的機器學習。

（一）專家系統

專家系統作為一個通用術語，用來描述機器完成通常需要人類智能才能完成的任務的情形。專家系統是預編程邏輯的一個例子，規則被編碼到系統中，并應用到新的例子以得出結論。一般來說，這些規則是由那些對決策所涉領域有充分了解的人編寫或與他們協商設計的[10](p13-14)。例如，在政府決策方面，是那些了解有關立法規定和決策標準的人。專家系統可用作決策過程的自動化組件，它依賴于清晰、固定和有限的標準。

由于專家系統以明確的規則為基礎，因此可以給出決策的理由，以及作出決策所依據的重要事實和規則。在一個確定是否滿足標準A、B 和C的極其簡單的專家系統事例中，系統的輸出可能是“申請人X 因為不滿足標準C，因此沒有資格享有這種福利”。可以給出作出決定的原因，是因為系統使用與規則本身相同的邏輯，即根據標準A、B和C 對每個申請人進行評估。該系統還可以通過將編碼規則寫成一個或多個聲明的方式提高對公眾的透明度，例如“申請人只有在滿足A、B 和C 的情況下才有資格獲得該福利”[11](p114-115)。

專家系統已被各國政府用來輔助和取代人類決策者。自20世紀80年代以來，這類系統被設計用于各種政府場景，如兒童保護和社會福利計算。下面論及的澳大利亞自動追債系統和瑞典自動化學生福利系統，是預編程系統更現代的事例。無論它們是否被編碼為傳統的“專家系統”（通常將推理引擎與規則數據庫分開），都再現了類似的方法。特別是，這兩個系統在人類精心設計的邏輯基礎上運行，相同的輸入必然產生相同的輸出。

（二）有監督的機器學習

第二類自動化決策系統完全不同，它們不是基于明確的人工編寫的規則，而是基于從歷史數據中學習到的規則。機器學習能自動構建驅動系統的規則。機器學習描述了各種數據驅動的技術，這些技術建立了一個過程，通過這個過程，系統將“學習”歷史數據的模式和相關性，從而生成預測或提出見解。在算法嘗試針對指定目標提高性能時，“學習”迭代進行。

監督機器學習需要已經分類或標記的數據，例如，在某種情況下，申請人是否有資格獲得福利。由于數據是預先標記的，它包含了人類的偏見和假設。例如，犯罪數據可能反映出治安和司法對少數群體的偏見，而有關福利資格的數據可能反映出官方機構削減開支的動機。應用監督機器學習的人員，還必須確定他們希望如何評估系統的性能。該過程通常首先將數據劃分為一個訓練集和一個測試集，后者用于根據相關標準評估算法的性能。學到的規則被應用到測試數據中評估算法，此后再對算法進行改進。

有監督的機器學習是諸多方法中的一個事例，它旨在從數據中得出推論，以達到推理或預測的目的。其他技術，包括那些與傳統統計相關的技術，也可以用來達到類似的目的。例如，可以使用回歸分析來估計變量之間的關系，并將其用于編寫預測特定變量的規則（例如決策的結果）。然而，與標準的統計方法不同，機器學習通常是迭代的（能夠不斷地“學習”新信息），并且能夠識別數據中更復雜的模式。

這兩種類型的自動化之間的界線并不總是很清晰。人類可以編寫明確的規則，這些規則不是基于法定標準或法律教條，而是基于從歷史數據（通過統計或機器學習）中總結出的經驗性發現。在這種情況下，規則從特定時間點的數據推斷出來，然后被預先編程到系統中。自動遵循同一規則的系統，最初通過機器學習過程學習，它同時具有專家系統和機器學習的一些特征。像專家系統一樣，它不能在程序參數之外運行。如果規則變得過時（例如，由于法定標準或決策政策的改變），那么它將不能再有效地預測人類作出的決策。該系統還將與機器學習一樣面對潛在的復雜性。特別是，根據所應用的機器學習過程，衍生的（和使用的）規則可能很難被人類理解、解釋或證明。這個事例表明，兩種類型的自動化并不是絕對分開的類別。然而，它們是有用的“經典類型”，有助于區分它們給法治帶來的不同類型的挑戰。在需要的地方，我們會討論將這兩種類型的自動化結合起來，以解決特定法治挑戰的可能性。

三、自動化決策事例分析

在下面的幾個事例中，政府依靠自動化做出影響個人的決定。這些事例的研究，體現出對國家、技術方法和不同實施階段的多樣化選擇。

（一）澳大利亞的自動化追債

“Robo-debt”是媒體對一個有爭議項目取的綽號，該項目由澳大利亞政府于2015年宣布，旨在計算和收回因超額支付福利而形成的債務①該系統被作為澳大利亞2015—2016年度預算措施的一部分。。它取代了通過風險管理選擇個人進行手工審查的系統，該系統從個人及其銀行記錄和雇主記錄中收集收入和其他信息。在Robo-debt系統下，澳大利亞稅務局（ATO）掌握的年收入數據與向福利署（Centrelink）報告的收入數據自動進行交叉匹配。由于最初根據Centrelink 的數據計算福利待遇，向ATO 申報更高收入的個人意味著被多支付福利，因而欠政府一筆債。該系統融合了數據匹配（可能使用機器學習）②這種數據比對有1990年的《數據比對項目（補助與稅收）法》的授權。，應用人工編寫公式的自動評估以及對福利接受者自動發送信件。

了解這個系統如何工作，重要的是要知道報給ATO 的是年度收入數據而報給Centrelink 的是雙周收入數據。第一步是比較這兩個年化后的收入數據。如果報給ATO 的年收入大于報給Cen?trelink 的年化收入，個人就會收到一封信，讓他有機會通過一個在線門戶確認自己的年收入。登錄在線門戶的人有機會說明他們的雙周收入情況（要有證據），而不登錄在線門戶的人則被推定，他們的雙周收入是按報給ATO的年度收入除以一年中的雙周數計算的。但是，發給個人的追債信沒有解釋，記錄一年中收入的變化對于準確計算福利待遇非常重要[12](p1，4，9)。雙周的收入（網上申報或按上面方法推算）被用來計算應享有的福利待遇，在相關情況下，個人會自動收到債務通知。有些信件發送給了實際上不欠政府錢的個人，因為他們的收入變化沒有記錄在案，而這對他們的福利待遇有影響。雖然隨著時間的推移，計算債務的系統已經改進，但是我們此處的分析針對的是它最初的狀態。在使用這個系統的過程中產生了幾個問題，這些問題包括：信件措辭不當，公式存在一定比例的不準確，向不欠錢的人發出債務通知[13]，轉移舉證責任[14](p9-11)，讓個人任由收債人擺布③需要注意的是，系統在這個方面的問題已經改進了。。

（二）美國量刑決策中的數據驅動風險評估

如COMPAS 這樣的風險評估工具，依據不同的特征來區分不同的個體。考慮到軟件的商業性質，這些特征的全部范圍尚不清楚。人們擔心種族會影響評估。例如，ProPublica 的一項調查發現，與白人相比，非裔美國人更有可能被COMPAS誤判[17]。這并不一定是因為種族被作為一個變量來模擬罪犯群體的危險性；當與種族相關的變量與風險類別相關時，就會對評估產生不同的影響。因此，當訓練系統所用的數據本身充滿了人類偏見時，就會產生不同的結果。

雖然種族歧視在盧米斯案中不是問題，但有人提出了性別歧視問題。有關性別的數據被納入算法訓練的集合中，原因是男性和女性的再犯罪率，特別是暴力再犯罪率在統計上存在差異。威斯康辛州最高法院認為，這種區別對待并沒有侵犯被告不因其性別而被判刑的正當程序權利。其原因是男性和女性的再犯罪率不同，忽視性別會“提供不太準確的結果”[16](p77，86)。這涉及一個基本問題，即從歷史數據中得出規則進行推理時所使用的邏輯——如果目標是將預測的準確性最大化，那么從法治的角度來看，根據個人的固有特征對其進行分類是否重要?

（三）瑞典的自動化學生福利（ASW）

瑞典國家學生金融委員會（CSN）被瑞典政府挑選為公共機構自動化決策的先行者[18]。 CSN 對瑞典學生生活費用的財政援助進行管理，生活費用包括助學金和各種貸款[19]。CSN 的核心目標群體通常對信息技術有較高的認識和接觸。基于規則的CSN 自動決策系統由國家立法授權，其工作人員的職責是根據道德準則，為學生提供學生福利方面的電子服務[20]。這確保了決策基于明確的、公開的規則，并由人確認和承擔每個決定的責任。

自動化決策系統可用于學生貸款和助學金的申請人（由所謂的“外”單元管理），及向CSN償還貸款的申請人（由“內”單元管理）[20]。CSN提供的許多電子服務都部分或完全自動化。例如，允許人們申請減少還款的電子服務使用輔助決策（部分自動化），而所有基于過去兩年收入的還款決策則完全自動化。該自動決策系統將來自CSN的數據與公眾可獲得的信息（包括稅收信息，在瑞典是公開的）結合在一起[21]。每當有人申請減少還款時，工作人員便會將相關信息手動輸入系統，然后讓自動系統接管，即系統部分自動化。雖然作出決定的是這個系統，但根據法律規定，管理人員對系統作出的決定負責，并在簽名后將決定告知學生。

（四）中國的社會信用體系

第四個自動化事例研究的是由中國中央政府建設的社會信用體系（SCS），該體系選擇了43個城市（城區）進行示范。根據《社會信用體系建設規劃綱要（2014—2020 年）》，SCS“以樹立誠信文化理念、弘揚誠信傳統美德為內在要求，以守信激勵和失信約束為獎懲機制，目的是提高全社會的誠信意識和信用水平”[22]。根據上述目的，SCS 依據法律和道德對個人和公司的經濟、社會和政治行為進行獎懲[23]。

從技術角度來看，SCS 類似于一個簡單的、基于規則的預先編程系統，但是43個示范城市對SCS的實施各不相同。例如，在榮成市模式下[23]，每個人從連接四個政府部門的信用管理系統獲得1000分的基礎分。隨后，政府官員會根據個人的具體行為，在系統中增加或扣除相應的分數。總共有150種正面行為可加分，570 種負面行為會扣分。SCS將產生廣泛的經濟和社會影響。例如，那些社會信用評分較低的人可能沒有資格獲得貸款和某些工作，或者可能被剝奪乘坐飛機或高鐵的機會。與之相反，那些得分高的人享受的福利包括更便宜的公共交通、免費的健身設施以及優先就醫等。

中國的SCS仍處于建設的初期階段，中國政府一直在與擁有先進數據分析能力的私營企業建立合作關系。例如，中央政府一直在與科技巨頭阿里巴巴（Alibaba）合作建立芝麻信用系統，其中包括自動評估借款人社交網絡聯系人的信用評分系統[24]。這意味著那些有低分朋友或與其關聯的人的分數，會因此在自動評估中受到負面影響[25]。芝麻信用將來自阿里巴巴數據庫的信息與其他個人信息相結合，如個人在線瀏覽和交易歷史、稅務信息和交通違法信息等，從而自動確定個人的信用度。

四、政府決策自動化對法治的益處和挑戰

（一）透明和責任

自動化有利于提高政府決策的透明性和可責性。人類可能會在決策后給出決策的理由，但這些理由并不能準確地反映作出決策的原因[26](p231)，而基于規則的系統可以精確地解釋設置變量和得出結論的原因。它可以告知受決策影響的個人，他們沒有資格領取津貼的原因是他們不符合預先編入系統的立法或運行規則所要求的標準。這里需要注意的是，這種反饋并非基于規則的專家系統必須提供。設計者決定系統輸出什么，以及它是否包括結論或決定的理由。在Robo-debt 事例中，就沒有向個人提供關于債務如何計算的一般信息，也沒有向個人提供關于其自身債務是如何具體計算的明確信息。瑞典的ASW 系統正好相反，它的決策是基于明確公開的規則，并由人確認和承擔每個決定的責任。

搞懂伯勒爾（Burrell）的三種“不透明形式”，有助于理解透明面臨的障礙[27](p1)。第一種形式是故意保密，當技術被視為商業或國家機密，或當自動化決策過程中使用的數據包含由于隱私或數據保護法律而不能公開的個人信息時，就會出現這種情況。這種形式的不透明可以應用于基于規則邏輯的系統，以及使用機器學習等技術從數據衍生出規則的系統。在中國的SCS中，只有有限的信息是公開的。例如，在芝麻信用體系中，中央政府和私營部門合作的細節并不清楚。盡管人們知道該系統將使用機器學習和行為分析來計算信用分數[25]，但個人不知道他的社交網絡聯系人的什么信息被使用，以及對他們的信用分數有什么確切的影響[26]。

編者按：改革開放40年來，全國各地各門類舞臺藝術作品有繼承有創新，有堅守有突破，百花齊放，成果豐碩。為紀念改革開放40周年，回顧總結改革開放以來優秀舞臺藝術成果和創作經驗，梳理探討其間的藝術現象和發展態勢，以利于我國舞臺藝術事業的繼往開來，本刊近期重點關注改革開放以來各門類舞臺藝術的創作與發展情況，在“論壇主頁”和“本期關注”欄目推出“改革開放與舞臺藝術”專題。

伯勒爾所指的第二種不透明形式是技術文盲，它同樣與兩種類型的自動化相關[28](p4)。在這里，提高透明度的障礙是，即使提供了有關系統的信息，大多數人也無法從中獲取有用知識。因此，一個系統對技術專家來說可能是透明的，而對大多數被治理的人，包括那些受特定決策影響的人來說則是不透明的。當然，那些沒有專業知識的人可以咨詢那些有專業知識的人，就像那些受法律影響的人可能需要咨詢律師以了解他們的義務一樣。但是，在某些情況下，特別在決定的后果十分嚴重的情況下，在理解和質疑一項決定方面缺乏專家的建議，實踐中將大大降低該決定的透明性和可責性。

伯勒爾所描述的第三種不透明形式與機器學習高度相關。其根源在于，即使具備相關的專業知識，也很難理解處理大量數據的復雜學習技術[28](p5，10)。例如，臉部被自動系統識別的過程可能涉及五官的位置關系、角度、顏色、形狀等特征的復雜組合，通過多層神經網絡進行組合，每一層反映多個變量的不同組合。第二種形式的不透明涉及專業知識的局限性，而第三種形式的不透明認識到人類在真正理解或解釋復雜系統運行方面的局限性。由于人類的推理方式與機器不同，即使經過良好的訓練，人類也無法總能解釋數據和算法之間的相互作用。這表明，隨著機器學習系統變得更加復雜，法治所需的透明度可能會日益降低。

對于這一挑戰，有一些可能的和部分的解決方案。一些研究人員正在研究“可解釋的人工智能”，也被稱為XAI，它可以用人類能夠理解的術語來解釋機器學習推理①例如，美國國防高級研究計劃局（DARPA)就有一個XAI項目，該項目旨在開發“能夠解釋它們的原理、描述它們的優缺點，并傳達對它們未來行為方式的理解”的機器學習系統。。它也可以公開機器學習系統的關鍵信息，如用于訓練系統的數據集和所使用的技術。機器學習系統在運行方面也可以變得透明。評估和測試可用于確保系統滿足特定的要求，如預測的準確性和平等對待不同的群體。這種有限的透明至少可以確保自動化系統的輸出在特定方面是可解釋的，例如遵守平等標準。

然而，一些機器學習技術無法變得透明，無論是在一般情況下，還是對特定的人。總的來說，伯勒爾指出的透明三挑戰，意味著機器學習運行全過程的公開透明幾乎不可能，包括理解決策的理由，訓練所用數據集的局限（包括原始數據的系統性偏見或“清洗后”的數據），獲取機器學習過程的源代碼。在某些情況下，通過評估和測試，使關于算法的特定信息（例如，它對不同群體的平等對待）變得透明就足夠了。但是，在某些情況下，從法治的角度來看，有限的透明度可能還不夠。在量刑中使用COMPAS 系統最終會影響個人自由，在這類情境中需要更高的透明度以符合法治價值觀。

另一種解決方案是，決策系統只需要作為一個整體是透明和可解釋的，并不一定要求該系統的自動化組件的整個運行過程公開可見。例如，在瑞典ASW事例和Robo-debt事例中，人仍然對決策負責，即使決策邏輯首先通過自動化系統運行。最終，這一策略的成功取決于它的實施。如果可以要求人提供作出決策的獨立原因，那么決策系統作為一個整體就會像沒有輔助決策軟件一樣透明和可解釋，所以自動化系統本質上只是打草稿。然而，如果人依賴系統的輸出作為決策的全部或部分原因，即使其對決策負責，決策仍然存在瑕疵。這又回到決策過程的自動化程度以及輸出對最終決策的影響問題。通過邊緣化自動化組件（以效率和其他益處為代價）和確保按傳統方式由人來擔責，或者通過使自動化組件透明和可解釋，可以使作為整體的決策系統變得透明和可解釋。

由上可見，自動化系統內在的透明度是人類選擇系統設計的問題。系統設計人員可以選擇決策過程要輸出哪些信息，官方機構決定了自動化系統的決策范圍。雖然有些方法更難實現透明，但是設計人員可以選擇究竟是否在特定的系統中使用這些方法。有一些限制——正如伯勒爾所指出的，機器學習工具通常不透明，這可能是由于（政府或私人承包商的）政策有意為之、社區缺乏專業知識，或者選擇了復雜的方法。這意味著可能需要在透明度與軟件或工具的選擇之間做出妥協。最好的預測者可能不是最透明的，或者可能很難存在于一個可解釋的系統中。

因此，在決策完全或部分自動化的情況下，系統輸出的透明性和可責性取決于為決策系統本身的透明性和可責性負責的系統設計者。事實上，所有法治價值觀都有相似之處，它們不太可能偶然地出現在決策和決策輔助系統中。系統設計者應當以符合法治的方式（包括這里所分析的標準）來設計這些系統，并能夠說明這是如何做到的。

許多參與設計系統和設置相關參數的人是數據科學家、計算機科學家和工程師。在專業方面，已經采取了制定標準、框架和指南的行動，以確保決策和決策輔助系統合乎道德①例如，人工智能、倫理與社會（AIES）會議，電氣和電子工程師協會（IEEE）的全球自主和智能系統倫理倡議，國際標準化組織的JTC1/SC42標準化項目，以及澳大利亞的人工智能路線圖與倫理框架。。 這為法治提供了另一種可能的進路，即將法治寫入政府所應用的決策和決策輔助系統的技術規范中。這樣，設計者就有責任滿足這些標準，無論是合同上的、專業上的，還是規則上的。當然，將一個本質上有爭議的概念轉換成技術規范（在一個或多個版本中）并不是一件容易的事情，我們在此不做探討。

（二）可預測性和一致性

自動化還可以提高政府決策的可預測性和一致性。與人類不同的是，計算機系統不能肆無忌憚地無視其程序的規則。計算機系統可以被編程為概率行為，即通過類似投擲虛擬硬幣的方式來決定是否做出對申請人有利的決定，但在我們討論的事例中都沒有出現這種隨機的行為。相反，隨機行為通常用于這樣的情境，即社會共識認可隨機選擇是唯一公平的分配方式（例如，為某個活動發放有限的門票或確定彩票中獎者）。

因此，我們所討論的事例的自動化系統普遍提高了決策的可預測性和一致性，即使它們在其他方面存在問題。中國的SCS是一種社會控制的工具，因為人們可以預測從事某些特定行為的后果，而這些行為政府不鼓勵。澳大利亞的Robo-debt和瑞典的ASW對每個人都進行了同樣的計算。

然而，自動化也對法治原則的可預測性和一致性提出了許多挑戰。當自動決策過程中應用的規則不符合成文法或普通法要求時，就會出現第一個挑戰。這種情況下的不一致不在于規則在不同情況下的應用，而在于程序化的規則與適用于每種情況的規則之間的不一致。Robo-debt就是一個這樣的例子。這種方法并沒有給很多人帶來法律上正確的結果①對于錯誤率以及何為錯誤，人們存在一些爭議。大約20%收到債務通知的人，通過提供額外的資料，證明了其沒有因超額享受福利而對政府欠債。。從政府對其立場的辯護中可以看出，當人們有機會糾正出現的問題時，這不一定是一個問題：“初始通知要求福利接受者提供信息，以解釋ATO和Centrelink有關收入記錄的差異。結果是80%的人對政府負債。剩下的20%的人通過解釋差異，根據更新的信息再次評估后不對政府負債。這就是這個系統的運作方式，它符合法律規定，即福利接受者必須報告情況的所有變化，也符合政府部門監管政府開支的義務。”[28](2.89)問題不在于人類決策也存在的錯誤率，而在于管理錯誤的流程還不夠完善。發出債務通知的決定沒有經過人工審核。作為既成事實的債務通知發給個人時，有些人由于地址錯誤而沒有收到要求解釋收入差異的信息[28](3.61)。用于質疑債務通知的在線門戶也不好用[28](2.110)，不足以滿足人們選擇的需要[28](3.98)(3.106)(3.119)。出錯率也可能超過了為處理上訴而設立的機構的能力。這與瑞典的ASW相比是一種劣勢，人類編寫該系統并對每一個決定負責，且通常會有適當的上訴程序②可將瑞典國家學生金融委員會（CSN）的決定上訴至瑞典國家學生援助上訴委員會。。結果是，在Robo-debt中，法律很可能以不可預測和前后矛盾的方式被誤用。

當從預先編程的規則轉向數據衍生出的規則時，決策的可預測性和一致性可能會降低。這并不是因為計算機不按編程運行，而是因為就像人類兒童學習一樣，很難預先預測結果，而且隨著學習的繼續，行為也會發生改變。細想COMPAS工具的現狀（上文已經探討了其由于透明性問題而受到限制），那些開發該工具的人不一定事先就知道哪些條件與特定的行為（如再次犯罪）相關，是單獨還是結合在一起才相關。給個人評分的規則，很可能是通過監督機器學習過程，從大量數據（記錄歷史再犯罪行為數據）中衍生出來的。因此，系統的行為很難甚至有時不可能被人類提前預測。

機器學習給可預測性和一致性帶來了新問題，因為它不斷地從輸入的新數據“學習”。如果它給一個人可能再犯罪打了低分，從而輔助法官做出假釋的決定，但這個人卻再次犯罪，這將反饋給算法，以便隨著時間的推移提高其預測精度。在這種情況下，與他類似的新個體時將會有不同的評估結果，即更高的再犯罪風險分數和更低的假釋機會。這意味著該系統評估類似的個體時隨時間的不同而不同。正如下文所討論的，這不僅是一致性的問題，而且是法律面前人人平等的問題。

此外，法官和風險評估工具在評估再次犯罪風險方面也存在差異。雖然法官量刑考慮的信息一般不受傳統證據規則的限制，這些信息可以包括被告的個性和犯罪歷史等③在美國，《聯邦證據規則》一般不適用于量刑。，但量刑過程本身必須滿足自然公正或正當程序的要求④這在美國最高法院審理的Gardner v Florida（430 U.S. 349，359（1977））一案中得到了確認。。因此，法官不太可能根據被告的固有特征，例如他們的父母是否離婚，作出量刑決定[29]。COMPAS所依賴的變量可能會被人類法官認為與再犯罪不相關，這一事實致使法官根據法律作出的決定與算法推斷建議的決定不一致。特定案件中機器學習所依賴的數據缺乏透明度，再加上算法本身的不透明，使法官很難改變他們對輔助決策工具的期望，從而確保決策工具的合理使用。

自動化可以通過消除人們所熟知的任意性，來提高決策的可預測性和一致性。然而，這樣的益處只有在自動化過程足夠透明，對其進行屬性評估（為了準確性和與法律要求的一致性），并采取適當措施管理可預見的錯誤的情形下才能實現。這些措施應包括對輸出進行人工核查，對出現錯誤可能和可能出現錯誤的情況進行明確解釋，以及建立透明和有效的上訴程序。這些都是設計問題。

依據人為制定規則（源自成文法或法官造法）的自動化可以確保每次都做出正確的決策，并能夠克服人為錯誤和腐敗問題。應用衍生于數據的規則的系統帶來了更復雜的挑戰，尤其是在確保“成文法律”的可預測性和一致性方面。監督式機器學習和其他迭代系統也會隨著時間的推移而難以保持一致性。然而，從可預測性和一致性的角度來看，這些問題可以控制。第一種情形通過系統的設計以及獨立的測試和評估來控制，第二種情形通過改進持續性學習來控制。通過使用顯式編程（explicit programming）來自動應用固定規則（最初衍生于數據，例如通過機器學習），從而將這兩種類型的自動化結合起來的系統，可以確保長期的一致性。因此，自動化對可預測性和一致性是有益的，盡管有證據表明在實踐中可預測性和一致性可能無法實現。

（三）法律面前人人平等

自動化可以減少法律適用的任意性，消除偏見，消除腐敗，從而增強法律面前人人平等原則。例如，通過使用攝像頭和臉部識別技術，中國的SCS可以用于確保所有違反特定規則（如亂穿馬路或非法停車）的人都得到相應的懲罰。相比之下，如果沒有這樣的自動化系統，針對這類輕微違法行為的制度需要“抓住”每一個人，處罰的嚴厲程度往往取決于相關官員的裁量和“慷慨”。此外，與瑞典ASW 或澳大利亞Robo-debt 類似的專家系統，提供相同的輸入給出相同的答案，這有助于確保處境相似的個人得到平等對待。這些事例展現了某些類型的自動化，如何消除有偏見的人歧視不受歡迎群體的能力。一個適當設計的系統可以通過只應用與決策真正相關的條件，來消除有意識和無意識的偏見。

然而，自動化能夠給法律面前人人平等帶來的益處，面臨兩個相互關聯的挑戰。首先，政府決策的自動化可能會損害正當程序權利和法律平等適用于所有人的程度；其次，它可能會破壞不同地位的人平等享有法律權利的程度。

首先，自動化可能會損害個體正當程序權利，因為它可能削弱個人改變或質疑影響他們的決定的能力。這可能是因為他們無法獲取用于決策的關鍵信息及確定其準確性。例如，在Robo-debt事例中，審查和糾正信息的權利受到了損害，因為政府發送給個人的信沒有解釋年收入變化在準確計算福利待遇方面的重要性。向未對政府負債的福利接受者發出債務通知，卻不為其提供糾正影響他們的錯誤數據的真正機會，這實際上剝奪了他們的正當程序權利，從而否定了法律面前人人平等。

相比之下，瑞典ASW 事例中官員的參與有助于解釋自動化決策過程，并為那些受影響的人提供及時更正信息或行使復查權的機會。此外，通過相對直接的上訴程序來挑戰CSN的決定也改善了自動化決策過程。例如，一名因殘疾而被阻止進入就業市場的學生，使CSN 的初始決定在瑞典國家學生援助上訴委員會審查后被推翻[30]。該委員會的決定被認為非常重要且符合公眾利益，該決定可在其網站上查閱[31]。

與此類似，在上海市社會信用系統（SCS）模式下，個人有權利知道其社會信用信息的收集和使用，并可以訪問和質疑其信用報告中包含的信息[32]。市公共信用信息服務中心將在收到異議材料后五個工作日內決定是否對信息進行修改。這些權利在實踐中受到了中國公民劉虎的檢驗。由于不小心將罰款交到一個錯誤的賬戶，劉虎被列入SCS 的黑名單而無法訂到機票[33]。在法院得知劉虎犯了一個無心之過后，其社會信用報告上的信息被改正過來。

在機器學習應用到政府決策的情況下，不夠透明是正當程序權利受到損害的主要原因。在盧米斯案中，威斯康辛州最高法院裁定正當程序得到了保障，因為COMPAS的評分只是法官考慮的眾多因素之一[34](p755)。然而，很難確定法官對COMPAS的使用將在自動化的范圍內走多遠，特別是一些法官可能會僅把它當作裁決的一個很小考量因素，而另一些法官可能擔心，基于其他考量而忽略有關危險的“客觀”證據將受到公眾、政治或上訴法院的批評。因此，很難評估個人決策在多大程度上是基于COMPAS的評分[35](p767-774)。此外，有理由相信分數將獲得其本應具有的更大影響力——首席大法官會議（Conference of Chief）等機構對這類系統的贊揚表明，“客觀性”的吸引力蒙蔽了司法部門的許多人，使他們看不到這類軟件的實際缺陷。

其次，運用自動決策使政府對任何人不論其地位都平等享有法律權利以及在取得這些權利時“類似情形類似對待”的觀念，帶來進一步的挑戰。這包括政府不應因個人所屬族群或不可改變的特征而區別對待的觀念①人們特別強烈地反對法院系統地對貧窮、未受教育或來自特定群體的被告作出更為嚴厲的判決。。自動決策系統，例如COMPAS 和芝麻信用，可能破壞這一原則，因為它們可能：（1）明確納入和依賴各種靜態因素和/或不可變的特征，例如社會經濟地位、就業和教育、郵政編碼、年齡或性別；（2）間接地考量這些因素，例如“學習”與這些因素相關的變量的關聯性。例如，盧米斯案中，被告辯稱，法官對COMPAS 評分的考慮侵犯了他的憲法權利，因為COMPAS 軟件使用了“性別評估”[35](p757)，而這反過來又損害了他獲得個性化判決的權利。如前所述，使用COMPAS和類似量刑軟件，可能使法官在量刑方面長期被認為是不適當的因素和特征。

法律面前人人平等面臨的最大挑戰，并非來自明確編入自動系統中的不恰當的變量，而是來源于自動系統從歷史數據及相互關系中推斷出的規則。即使在學習過程中沒有使用種族等變量，機器仍然可以生成帶有種族或其他偏見的評估。如前所述，2016 年ProPublica 的一項調查發現，非裔美國人比白人更有可能在COMPAS 風險評估軟件中被誤判，盡管（聲稱）事實上并沒將種族作為變量使用[30]。因為包括Facebook 的“喜好”等公開信息在內的許多其他因素都與種族相關，而其并未排除在機器學習過程之外，從而導致法律面前不平等對待的結果②有發現表明，能輕易獲取的如Facebook“喜好”的這類數據記錄，可以被用來自動地和精確地判斷包括性取向和種族等方面的高度敏感個人信息。。此外，量刑問卷中的數據（COMPAS 工具從中得出推論）記錄了被告被警察“ 制止”的次數和第一次被警察“ 制止”的時間[35](p25-26)。基于美國執法的歷史記錄，非裔美國人的身份很可能與較高的被警察“制止”次數和較早的被警察“制止”的年齡相關。這樣，種族差異就被建立在數據中，從這些數據就可以推導出相關性和作出推斷。

與風險評估工具COMPAS 不同，瑞典ASW 的決定完全基于法律相關因素。該系統的預編程性質確保這些因素在與其相關的情況下對決定精確地起作用。作出的決定符合法律，學生根據法律受到平等對待。在中國SCS事例中，實施模式的多樣性意味著法律面前人人平等受到不同程度的影響。例如，在榮成市的SCS 系統模式中，所做的決定僅僅參考明確界定的行為類別，這些行為導致分數的增減——在其預編程系統中沒有考慮任何其他因素的余地。然而，與之形成對比的是，芝麻信用體系所依賴的變量并非與法治相關，比如個人社交網絡聯系人的排名。這可能導致實際上基于社會地位、性別或種族的差別待遇[36](p5802)。

正如我們的事例所展示的，理解政府決策自動化的益處和挑戰，考量決策的背景和所應用的系統類型至關重要。一個預先設定規則的系統可以確保決策基于法律上相關的因素，從而避免或最小化官員們腐敗或徇私舞弊的風險。但是，審查和糾正決定所依據的數據的程序性權利和機會至關重要，就像確保系統的邏輯準確反映法律一樣。正如我們的案例研究所展示，以數據推斷出的規則作為基礎的系統帶來的挑戰有所不同。在這里，人類的作用僅限于設置參數、選擇數據（可能由于人類收集實踐的瑕疵而產生偏見）和決定使用哪些變量作為分析的基礎。除非參與這些過程的人對決策所處的法律環境有深刻的理解，否則系統在實踐中可能無法達到法律面前人人平等的標準。COMPAS 就是一個軟件無法滿足刑事司法程序公正需要的例子——它是一個缺乏透明度的工具，依賴于大量通常與法律不相關的信息，使得被告沒有足夠的機會參與法庭關于其危險性的調查，而這是最終裁決的關鍵組成部分。該工具對非裔美國人的“誤判”比白人更多，這一事實進一步證明，人類對機器學習過程的控制不夠，無法確保其運行準確。

這并不意味著，依賴于從數據中衍生出規則的系統，包括那些應用機器學習技術的系統，永遠不能在政府決策中以法律面前人人平等的方式使用。機器學習可以用于制定高層政策，從交通流量管理到經濟干預建模。即使在影響個人的決策層面，機器學習有時也符合甚至有利于法律面前人人平等。臉部識別如果被設計成能準確地識別不同個體的面孔，那么它可以被用來識別作為系統一部分的個體，如果編程正確，甚至可以克服人類有意識和無意識的偏見。盡管對隱私和監控的擔憂可能會抵消它的益處，但在這樣的系統中使用機器學習，可以通過減少人類的任意性從而更好實現法律面前人人平等。

結論

自動化可以改善政府決策。這樣做的益處包括節省成本、提高速度，以及增強法治的能力。正確設計、實施和監督自動化系統，不論系統的形式是應用預定程序的規則、從歷史數據中學習規則，還是二者的組合，都可以幫助政府決策更好地反映透明和責任、可預見性和一致性、法律面前人人平等的價值觀。

然而，顯而易見的是，本文所考查的四個自動化事例中有三個未能實現這一理想。在某些事例中，例如Robo-debt，這種失敗是由于自動化系統的設計和實施不當造成的。實際上，在自動化的設計和實施階段，人類的選擇和經常出現的錯誤可能導致系統無法滿足法治標準。與之形成對比的是瑞典ASW，該系統高度自動化，卻沒有引起類似的擔憂。瑞典模式非常強調遵守國家的法律、官員的道德準則和公開的規制，它展示了一個精心設計的將自動化與人類責任相結合的系統如何能夠帶來諸多便利，同時對法治所呈現的價值觀保持敏感。

然而，如果認為有效的人工設計和實施可以確保某種特定的自動化技術能夠提高或至少達到法治的最低標準，那就錯了。從我們的研究中可以清楚地看到，即使是在人類積極參與的情況下，某些形式的技術也會帶來棘手的問題。這可能是因為自動化的形式與其應用場景不相適應。例如，機器學習帶來了許多益處，但是一些技術或軟件產品是以犧牲透明性和可責性為代價的。這在特定情況下可以容忍，例如發放低水平的福利待遇（有上訴機制），協助完成城市交通流量優化等工作，或為確認身份進行臉部識別。在這些情境中，從法治的角度來看，對準確性和差異性的影響進行測試和評估可能就足夠了。

另外，由于機器學習無法變得透明和易于理解，不宜將其用來做出對個人生活和自由有很大影響的決定。當機器學習系統可能受到本不相關的因素影響時，比如一個人的種族，甚至是傳統上不被用作歧視的變量，比如一個人的朋友的信用評級，它可能也是不合適的。當系統按照未公開的專有算法運行時，就像COMPAS 一樣，這些問題會加劇。如果COMPAS 不僅用來輔助法官，而且用來取代法官，這些問題就會更加復雜。

從法治的角度來看，隨著時間的推移，這些問題可能會變得更加尖銳。隨著技術的發展，機器學習變得越來越復雜，政府使用的自動化模式可能越來越只有那些擁有最高技術水平的專家才能理解。其結果可能是政府決策依據的系統過于復雜，超出了受決策影響的人的理解能力。面對極端復雜的情況，無知可能會讓官員們把責任轉移到自動化系統上，不管這是否應該。其結果可能是自動化與法治之間的緊張關系日益加劇，即使在人類以尋求尊重這些價值觀的方式設計系統的情況下也是如此。

最終，人類必須評估每一個決策過程，并考慮什么樣的自動化形式是有用的、適當的和符合法治的。任何自動化組件的設計、實施和評估，以及包括人的因素在內的整個決策過程，都應該與這些法治價值觀保持一致。這些價值觀能否完全嵌入政府使用的自動決策和決策輔助系統，還有待觀察。將法治價值觀轉化為系統設計者可以理解的設計規范，并通過法規、專業標準、合同、法院或其他機制加以實施，是一項艱巨的技術和法律挑戰。本文討論了這一領域普遍關注的問題，包括認識工具/設計和透明/責任之間的聯系，不僅考慮時間上的一致性和可預見性，還要考慮自動化系統和人工系統之間的一致性和可預見性，嵌入程序性正當程序權利的重要性，以及從歷史數據中衍生出規則與法律面前人人平等之間的張力。在政府決策自動化過程中解決這些問題，對于任何宣稱堅持法治基本理念的國家都至關重要。

超出本文范圍的一個更深層次的問題是，政府決策自動化本身將在多大程度上塑造法治。法治不是一個靜態的概念，它隨著社會價值觀和政府運作的變化而發展。隨著科技重塑社會，政府與社區互動，我們對法治的理解也會隨之改變。諸如透明和責任、可預測性和一致性以及法律面前人人平等等價值觀可能仍然是法治概念的核心，但對它們的解釋和適用可能會發生改變。這些技術所帶來的益處（如削減政府支出的能力），如此重要，以至于要求法治框架內的更大空間。