自動化決策、刑事司法與算法規制

江溯

內容摘要：盧米斯案引發了算法規制問題的廣泛討論。多數學者認為，該案判決低估了算法的準確性、歧視性和透明度風險，高估了法官識別算法風險的能力。為了應對普遍的算法風險，GDPR引入了算法可解釋性規則，但在解釋論構造、正當性、可行性和有效性等方面均存在爭議。盡管學界對算法規制的具體進路看法不一，但在算法透明原則方面達成了共識。我國應當采取立法、司法與行業自律并行的算法規制策略。立法者應當制定場景化的算法透明和責任規則。在司法領域，要明確算法決策僅具有輔助性地位，不能替代人類法官進行判案，并設計出更為精細的算法透明制度。此外，還應當鼓勵行業內部協商制定倫理標準和技術標準。

關鍵詞：自動化決策 算法規制 正當程序 刑事司法 算法透明 算法正義

中國分類號：DF6 ?文獻標識碼：A ?文章編號：1674-4039-（2020）03-0076-88

引 ?言

近年來，人工智能成為引爆第四次工業革命的重要力量。我國作為人工智能發展迅速的國家，在政策上一直鼓勵相關產業的發展，并希望以此為各行各業賦能，推動產業結構優化升級。人工智能作為新生事物，在改變社會生活面貌的同時，也為各個行業帶來了新的風險。當新興的人工智能與古老的法律行業相遇時，一系列新問題隨之而生。一方面，越來越多的法律人開始思考如何將人工智能帶來的算法權力關進法治的籠子里。無論是對人工智能主體性的展望，還是對自動駕駛、機器創作、智能投顧等具體應用場景的分析，都體現了人工智能對現有法律的挑戰。另一方面，法律工作者開始擁抱人工智能技術，享受著算法帶來的效率提升。類案推送、聚類檢索等工具不僅成為法學院學生的學習利器，也幫助律師、檢察官、法官和公司法務更好更快地完成工作。人工智能使實證研究者能夠分析更大的樣本量，使得輸出的案例分析結論更加穩健，這種從大數據中析出法官集體智慧的技術，展現出廣闊的應用前景。人們不禁暢想，算法能否進一步賦能法律行業？又會有哪些新的風險與之相伴而生？

在美國，算法與法律的結合早已在司法實踐中得到應用。美國司法界鼓勵在刑事司法程序中運用基于實證研究的風險評估工具。但是，在國家機器對個人的決策中使用算法時，算法固有的風險可能會進一步擴大，并威脅到個人的基本權利。2016年7月美國威斯康辛州終審判決的威斯康辛州訴盧米斯案（State v. Loomis）正是算法風險在刑事司法程序中的典型體現。該案被告人認為，法官依靠自動化決策結果對其量刑的行為，侵害了其正當程序權利。盡管終審法院經過審理后駁回了他的上訴理由，但學界對該判決結論的反對聲音不絕于耳。盧米斯案及其相關論爭反映了算法風險與程序正義的復雜問題。對于正在發展司法人工智能的我國而言，這同樣是值得深入思考的問題。筆者擬對該案的背景、事實及判決意見進行梳理，然后對相關學術批評進行歸納，繼而對算法規制的既有辦法及爭議進行介紹，最后為我國的算法規制策略以及算法在司法程序中的應然地位提出建議。

一、盧米斯案的始末

（一）案件背景

伴隨著人工智能第三次浪潮的崛起，算法發揮著越來越重要的作用。算法可以利用海量數據對人類行為模式進行預測，從而幫助決策者判斷風險。算法的這種預測功能，在某種程度上與刑法的特殊預防功能相契合。例如，人們可以通過算法對罪犯的累犯風險進行評測，從而決定量刑問題。在美國，司法界已經開始將算法納入刑事司法政策的嘗試。

2007年，美國首席大法官會議通過了一項題為“支持促進公共安全和減少累犯的量刑實踐”的決議，強調法官“發揮重要作用，確保刑事司法系統有效運轉，通過減少累犯和追究罪犯責任來有效保護公眾”。該會議致力于“支持各州根據有最佳研究證據證明能夠有效減少累犯的實踐，努力采取量刑、懲治的政策與計劃”。同樣，美國律師協會也敦促各州采用風險評估工具，以減少累犯和提高公共安全。它強調了對關押低風險個人的關切，并警告稱，將低風險罪犯與中高風險罪犯安置在一起，可能會增加而不是降低再次犯罪的風險。這種接觸可能導致來自高風險罪犯的負面影響，實際上有害于個人在改過自新方面的努力。最初，風險評估工具僅由緩刑和假釋部門使用，功能是幫助確定對罪犯的最佳監督和處理策略。隨著美國國內對減少累犯以及循證（evidence-based）的日益關注，此類工具的使用現已擴展到量刑領域。然而，在量刑中使用這些工具更為復雜，因為量刑決定具有多元目標，其中只有部分目標與減少累犯有關。

算法在幫助法官裁判的同時，也反映出許多問題。人們注意到，算法在很多時候對個人產生了實質性影響，但其自動化的決策過程卻并不是公開的，它也不接受質詢、不提供解釋和救濟。相對人無從知曉決策的原因，更無法要求撤銷或修正自動化決策的結果。即使自動化決策侵害了相對人的利益，相對人也無法要求算法開發者或使用者承擔相應的責任。這種狀態也被學者稱為“算法暴政”。〔1 〕而當刑事司法程序借助算法進行裁判時，這種“算法暴政”會直接涉及人的生命、自由等基本權利，從而彰顯出更為強烈的權利沖突狀態。盧米斯案正是反映了在這種情況下算法所引發的典型問題，因而成為近年來備受關注的一個案例。

（二）基本事實

2013年，威斯康辛州以五項罪名指控埃里克·盧米斯（Eric Loomis）與拉克羅斯（La Crosse）駕車射擊案有關。盧米斯否認其參與了射擊行為，但承認他在當晚晚些時候駕駛了涉案汽車。盧米斯承認了其中兩項較輕的罪名——“企圖逃避交通官員罪、未經車主同意而駕駛汽車罪”。在做量刑準備時，一名威斯康辛州懲教署官員制作了量刑前調查報告，其中包括COMPAS風險評估工具。COMPAS風險評估工具基于對被告的訪談以及從被告犯罪史中獲取的信息，對被告的累犯風險進行評估。由于COMPAS背后的評估方法屬于商業秘密，因此其僅向法院提交了累犯風險的評估數值。在盧米斯的量刑庭審中，初審法院在量刑判決中參考了COMPAS評估結果，并部分基于此項評估結果，判處盧米斯六年有期徒刑和五年社區監督（extended supervision）。

盧米斯向初審法院提出了減輕刑罰的請求，認為法院對COMPAS的依賴侵犯了他的正當程序權利。主要的理由是：（1）因為COMPAS報告僅提供與特定群體相關的數據，并且由于用于制作報告的方法是商業秘密，所以盧米斯認為，法院對COMPAS評估的使用侵犯了他基于精確信息被量刑的權利;（2）基于前述兩個原因，法院也同時侵犯了他獲得個性化判決的權利;（3）盧米斯還根據正當程序理由辯稱，法院通過依賴一項將性別納入考量因素的風險評估工具，在判決時對性別問題的考慮構成違憲。但初審法院駁回了盧米斯在量刑程序中的這項請求，威斯康辛州上訴法院將上訴移交給威斯康辛州最高法院。

（三）裁判結論及其論證理由

威斯康辛州最高法院最終維持了原判。為法庭撰寫判決書的安·沃爾什·布拉德利法官（Ann Walsh Bradley）否決了盧米斯的正當程序主張。布拉德利法官認為，在風險評估中使用性別作為一項因素，是基于促進精確性的非歧視目的，盧米斯沒有提供充分證據說明審理法院實際上考慮了性別。此外，由于COMPAS僅使用能公開獲得的數據以及被告人提供的數據，法院認為，盧米斯可以對制作該報告的任何信息作出否認或解釋，從而驗證裁判中所使用信息的準確性。在個性化判決方面，布拉德利法官強調了個性化量刑的重要性，并承認COMPAS僅提供與被告相似群體的累犯風險聚類數據（aggregate data）。但她解釋說，由于該報告并非判決的唯一依據，法院擁有必要的自由裁量權和信息，以否定不適當的評估，所以將COMPAS評估納入考慮的量刑仍然具有充分的個性化。

然而，布拉德利法官也補充說，法官在使用此類風險評估時必須謹慎行事。為確保法官適當權衡風險評估，法院的命令包括：這些評估必須以何種方式提交給審判法院，以及法官可以在多大程度上使用它們。法院解釋說，風險評分不能用于“確定罪犯是否被監禁”或“確定刑罰的輕重”。因此，使用風險評估的法官必須說明評估以外的其他支持判刑的因素。此外，包括COMPAS評估在內的PSI必須向法官提供五項書面警告：第一，“COMPAS的專有性質”會阻礙對如何計算風險分數的披露;第二，COMPAS分數無法識別特定的高危險個體，因為這些分數依賴于群體數據;第三，盡管COMPAS依賴于國家數據樣本，但“沒有針對威斯康辛州人口的交叉驗證研究”;第四，研究提出了以下問題：COMPAS分數是否不成比例地將少數群體罪犯認定為具有更高累犯風險;第五，COMPAS是專門為協助懲教署作出量刑后判決（post-sentencing determinations）而開發的。在發出這些警告時，法院明確表示希望向人們灌輸對該工具準確性的普遍懷疑，以及在該工具評估少數群體罪犯風險方面更具針對性的懷疑。

亞伯拉罕遜法官表示同意。雖然她同意判決，但她擔心法院難以理解算法風險評估。特別是，她批評法院的決定否認了開發COMPAS的公司Northpointe提交法庭之友摘要（file an amicus brief）的機會。她本應要求量刑法院提供更廣泛的記錄，以說明“實證工具所促成的個性化判決的優點、缺點和相關性”。她認為，鑒于有批評者認為這些評估來自政府官員和學者，前述解釋是有必要的。

二、盧米斯案引發的算法風險爭議

盧米斯案判決認為COMPAS的使用并不損害被告的正當程序權利。但是，許多研究者都指出，法院沒有成功地保護盧米斯的正當程序權利，因為法院忽視了風險評估算法的如下風險。

（一）關于風險評估算法的準確性風險

有評論指出，在量刑程序中對COMPAS的使用侵犯了被告的正當程序權利，因為法院存在著對算法技術準確性的錯誤假設。無論是理論上還是實踐中都存在著對風險評估算法準確性的質疑。〔2 〕

首先，有研究發現，COMPAS的評估并不像法院所認為的那樣準確。ProPublica 〔3 〕作出的評估顯示，該算法評分在預測罪犯累犯概率方面的正確率達到61%，但在預測暴力累犯率方面的正確率只有20%。它還發現“該算法在預測黑人和白人被告累犯概率方面的正確率大致相同（白人被告為59%，黑人被告為63%），但是預測失誤的方式卻大不相同。在為期兩年的后續隨訪期內，該算法對白人和黑人被告進行的分類方式是不同的”。〔4 〕

其次，由于缺乏外部監督，開發者可能為了自身商業利益而忽略算法的準確性。為了促進風險評估算法的準確性，需要不斷向其訓練數據庫增添新的數據，因而也需要持續監督，但目前由于算法受到商業秘密保護，只有開發商有權監督。但問題是，開發商的利益并不總是與社會利益一致，業務邏輯并不總是與對科學準確性的需求一致。例如，如果風險評估算法高估了罪犯的累犯風險而要求對其采取措施，這種錯誤通常很難被發現，即使被發現也不會給公司造成社會丑聞;但如果該算法低估了罪犯的累犯風險而建議將其釋放，一旦罪犯再次實施了暴力犯罪，開發者可能會面臨強烈的批評，公司的商業形象和商業利益也會受損。因此，開發者可能會在預防后一種錯誤方面付出更多成本，而可能忽略了前一種錯誤。

最后，開發者可能為了消除政治或道德風險，在算法中故意排除統計學意義上的重要因素，從而降低算法準確性。例如，盡管有些自變量（例如種族、性別、少數族裔地位等）已經顯示出與人口中的暴力行為有統計學意義上的相關關系，但乍看之下，如果將這些因素納入風險評估算法可能是令人不快的。〔5 〕實踐中，已經有開發者在算法中排除了這些重要的統計變量，就政策制定而言這些變量被認為是“有問題的”。〔6 〕例如，弗吉尼亞州官員開發的風險評估工具故意將種族排除在規定變量之外，盡管這樣做違反了基本的統計需求。〔7 〕又如，聯邦系統定罪后風險工具的開發者故意將性別排除在算法之外，“盡管他們的原始回歸模型發現，女性在作為累犯的陰性預測指標方面具有統計學上的顯著性”。〔8 〕

（二）關于風險評估算法的歧視性風險

算法引發的歧視性問題在實踐中屢見不鮮，在線招聘 〔9 〕、詞匯關聯 〔10 〕、在線廣告 〔11 〕等場景中的算法都曾被曝光出存在性別歧視或種族歧視的現象。有人質疑，在盧米斯案中涉及的COMPAS算法同樣存在種族偏見問題。ProPublica發現，與同樣有可能再次犯罪的白人相比，非裔美國人更有可能被給予較高的分數，從而導致等待審判期間的羈押時間更長。〔12 〕該算法開發商Northpointe駁斥了這一看法，稱這是因為ProPublica使用了錯誤的指標對算法的公平性進行評估，如果是在給予相同分數的被告人群體中，非裔美國人和白人計算出的累犯概率是一樣的。〔13 〕

有分析指出，導致算法偏見的原因包括：（1）既有的人類偏見：人類已有的對某些群體的偏見是普遍的，也是深層次的，這可能導致這些偏見在計算機模型中被復制和放大。如果非裔美國人更可能因為歷史上的種族主義、警察實踐中的不公或者刑事司法系統中的不平等問題而被逮捕和羈押，那么這些事實也會反映在COMPAS算法的訓練數據中，并且用于為是否應當羈押被告提供建議。如果將既有的偏見納入模型，它將作出與人類相同的錯誤判斷。（2）采用了不完全的或不具有代表性的訓練數據：訓練數據不足是造成算法偏差的另一個原因。如果用于訓練算法的數據相比其他群體更能代表某些群體，則該模型在預測這些代表性缺失或不足的群體方面可能呈現出系統性的劣勢。反之，如果算法具有針對某一群體的過多數據，則可能會使決策偏向特定結果。喬治城法學院的研究人員發現，執法部門使用的面部識別網絡中約有1.17億美國成年人，但非裔美國人更容易被識別的主要原因是，他們在面部照片數據庫中的代表數據過多，因而非裔美國人的面孔更有可能被錯誤地匹配，從而產生了偏見。〔14 〕

但是，從技術角度看，設置何種偏見檢測策略也存在一定困難。從COMPAS算法偏見風險的爭論來看，單純地看誤差率未必是檢測偏見的好辦法。Northpointe和ProPublica聚焦于不同條件下的誤差率，就得出了不同的結論。因而需要建立起一定的公平原則，來確認在何種條件下的誤差率應當是相等的。

對此，布魯金斯學會的一份報告認為，權衡的重點應該放在評估“公平”的社會觀念和可能的社會成本上。〔15 〕在對COMPAS算法的研究中，有學者看到了“在最大程度地減少暴力犯罪與滿足公平的普遍觀念之間的內在矛盾”，認為如果為了優化公共安全傾向于懲罰有色人種，可能會導致釋放更多高風險被告，這將對公共安全產生不利影響。〔16 〕這也可能會不成比例地影響到非裔美國人和白人社區，從而產生公平成本。對此，算法開發人員應首先尋找在不犧牲模型整體性能的情況下減少組之間差異的方法，并且建立相關的道德框架。

（三）關于風險評估算法的透明度風險

法律界在論及算法風險時，一個常見的擔憂就是透明性問題。在盧米斯案件中，盧米斯上訴的理由之一也是算法的保密特性。而法院認為，如果算法開發者或使用者向法院提交了書面警示事項，則可以緩和透明度造成的緊張關系;同時，盧米斯也可以通過驗證COMPAS報告中列出的問答是否正確來質疑自己的風險評分。但是，許多研究都認為法院在處理算法透明度方面的努力遠遠不夠，它未能解決算法的“法律黑箱”和“技術黑箱”問題。

有研究指出，COMPAS和類似的風險評估系統實際上包括“數據輸入”“處理和計算”以及“預測輸出”等一系列步驟。其中，“處理和計算”涉及最關鍵的問題，即如何解釋數據以及如何基于這種解釋輸出預測結果。但是，法院在判決書中只討論了被告是否可以質疑其犯罪記錄和調查表答案的準確性（“數據輸入”），而沒有關注他是否可以挑戰關鍵的“處理和計算”階段。因而，該判決沒有審查可能會對社會造成巨大影響的自動化決策，沒有發揮出司法機構作為保護個人權利和提供有效救濟措施的最終看門人作用，〔17 〕盧米斯本人也因此喪失了辯駁、補充和解釋的權利。〔18 〕

一方面，COMPAS等風險評估算法存在著“法律黑箱”。不透明性源于統計模型或源代碼的專有性特征，而這種特征是受到商業秘密相關法律保護的。有研究認為，可以通過修改法律解決“法律黑箱”問題，具體有以下選擇：一是在特定條件下向公眾開放這些統計模型或源代碼，以保證透明度和可問責性，但這可能會遭遇來自開發商的反對;二是要求以保密的方式向特定的有關方或專家委員會披露。〔19 〕

另一方面，如果風險評估算法使用了機器學習和深度學習技術，則會面對更為棘手的“技術黑箱”問題。在這些場景中，算法規則會自動產生決策結果，甚至程序員也無法充分解釋算法為什么會產生這個結果以及算法是如何作出這些決策的。這種問題在人工神經網絡算法（ANN）中最為明顯。這種算法是對人腦的模仿，包含各種神經元（即相互連接的處理器）。不同于專家系統（基于對分層規則、變量和常量的集合，應用于給定問題以嘗試確定解決方案 〔20 〕），它是一種代表性學習，不需要太多的人為干預。ANN的學習算法不是事先編程的，而是通過分層結構來學習不同信息和模式之間的關系，并開發自己的決策規則，這些規則通常是人類所無法理解的。〔21 〕盡管ANN減少了編程的工作量，也提高了算法的準確性，但這是以“人類能夠實質性地解釋發生在每一層中的推理能力”為代價的。〔22 〕對此，有研究建議，應當讓被告或者那些可能需要自動化決策的人獲得事前的知情權和自主選擇權，他們應該在事前被充分告知這些自動化決策工具的潛在風險、好處以及以這種技術方式進行預測的局限，從而決定是否使用或退出自動化決策。〔23 〕

此外，也有研究建議，應當向被告提供可解釋的算法，包括可以訪問其源代碼。只有開源算法才能在充分尊重科學準確性的同時充分保護被告的權利。因而，盡管使用開源算法可能不太符合開發商的利益，但美國司法系統應當提倡使用開源算法，以促進算法透明性。〔24 〕

（四）關于法官能否識別算法風險的風險

在盧米斯案的判決書中，法院建議法官應當謹慎地使用風險評估算法工具。但有評論指出，該案給出的建議（即要求PSI提交書面警告）無法幫助法官作出更好的評估。

首先，僅僅鼓勵司法者對風險評估工具持懷疑立場，并不能告知法官應該在多大程度上懷疑風險評估結果，也有可能讓法官過分地貶低這些風險評估結果的價值。

其次，即使這些書面警告增加了法官的懷疑態度，法官也可能缺乏必要信息來調整他們對此類工具的評估，大多數法官不太可能理解風險評估算法，其背后的方法論也因其商業秘密屬性而不會得到公開。

最后，由于司法系統面對著使用風險評估的內部和外部壓力，也存在著支持數據依賴的認知偏好，這些書面警告可能不會改變法官對風險評估的思考方式。《模范刑法典》認可了基于證據的量刑，〔25 〕一些學者 〔26 〕和司法機關 〔27 〕鼓勵使用算法風險評估。許多州正在認真考慮在量刑中考慮累犯風險數據。〔28 〕實際上，一些州已經在量刑程序中要求使用風險評估工具。〔29 〕伊利諾伊大學芝加哥分校心理學教授琳達·J.錫特卡指出：“大多數人會走需要最少努力的認知之路，而不是系統地分析每個決策。他們會使用經驗法則或啟發式決策法則……自動化的決策輔助工具可以充當這些啟發式決策方法，并且可以替代更能保持警惕的監視或決策系統。” 〔30 〕如果算法決策工具被視作權威，人們很難拒絕訴諸權威的思維方式。

因而，有評論認為，判決書目前給出的建議無法應對前述弊端，應當采取更嚴格的措施，例如，排除對算法保密的風險評估工具，或者在更多研究可用之前限制其使用等。〔31 〕

三、進一步的討論：算法的可解釋性及責任機制

盧米斯案反映出來的問題實際上是算法自動化決策問題在刑事司法領域的具體體現。如何應對算法的歧視性、透明度、可問責性等問題，實際上已經成為信息社會中一切自動化決策工具的共性問題。盧米斯所疾呼的正當程序規則不僅在本案中受到算法的挑戰，也成為一切自動化決策場合的侵蝕對象。算法權力在商業領域形成與消費者的不公平交易，催生了監視資本主義;在公權力領域，嵌入公權力運行的各個環節，甚至成為獨立的決策者，嚴重挑戰正當程序和權力專屬原則。〔32 〕對此，各界一直在討論如何對算法進行規制，在各種聲音中，《通用數據保護條例》GDPR所規定的算法可解釋性和責任體系廣受矚目，也引發了大面積的討論。

（一）GDPR文本之解讀：可解釋性是否等于獲解釋權

GDPR第13-15條對算法的可解釋性提出了要求，規定數據主體有權知曉包括用戶畫像在內的自動化決策中“對于相關邏輯、包括此類處理對于數據主體的預期后果的有效信息”。第22條規定了數據主體有權對自動化的個人決策加以反對、表達觀點與異議。序言第71條規定明確提出了解釋權，表述為接受自動決策的人應該享有適當的保護，具體應包括數據主體的特別信息和獲得人類干預，表達自己的觀點，并且有權獲得該評估決定的解釋，并對決定提出質疑。GDPR的上述規則構建了以算法可解釋性為中心的規制體系。

但是，學者們對GDPR是否規定了“獲解釋權”存在著不同意見。布萊斯·古德曼和塞斯·R·弗拉克斯曼認為，GDPR序言第71條佐證了GDPR對“獲解釋權”的創設，但GDPR序言沒有法律約束力，從解釋論上可從GDPR第13-14條中引申出“獲解釋權”。〔33 〕桑德拉·沃克特（Sandra Wachter）等則認為，特定決策的事前解釋是不可能的，而GDPR正文并未規定特定決策的事后解釋。從文義上看GDPR第13-15條的規定僅限于數據搜集和處理階段，屬于事前告知而非事后解釋，并且規定的僅僅是“被告知的權利（the right to be informed）”而非“獲解釋權”。“承受自動化決策”階段的“獲解釋權”只可能從第22條籠統規定的“保障措施（measures to safeguard）”中引申出來。因此，在GDPR目前的體系語境下，證成“獲解釋權”是比較困難的，不能從實質上解決“算法透明性和可解釋性”問題。〔34 〕

綜合來看，GDPR是否創設了數據主體的“獲解釋權”在解釋論上存在爭議，但GDPR至少要求算法具有可解釋性，這也是基于GDPR文本進行討論的起點。

（二）算法可解釋性規則的正當性

在GDPR確立的算法可解釋性規則的正當性方面，學者們也存在著不同看法。有相當一部分學者指出了該規則的合理性。湯姆·貝克和本尼迪克特·德拉特認為公眾不能預設智能投顧機器人沒有人類所具有的不純動機，正是因為智能金融算法存在歧視和黑箱現象，所以才需要算法的透明性或解釋性機制。〔35 〕多西·韋萊茲等認為算法透明性和可解釋性是解決算法可歸責性的重要工具。明確算法決策的主體性、因果性或相關性，是確定和分配算法責任的前提。〔36 〕

但是，也有人對此表示反對，指出可解釋性規則存在種種弊端：要求公司人工審查重要的算法決策增加了AI的整體成本、知情權可能導致降低AI的準確性。在計算機科學領域，有學者提出，讓一個系統更透明或者更少偏見會降低它整體上的準確性。〔37 〕

（三）算法可解釋性規則的可行性和有效性

在GDPR確立的算法可解釋性規則的可行性和有效性方面，也有學者提出了質疑。莉蓮·愛德華茲和邁克爾·韋爾認為，GDPR中規定的“解釋權”采用了一種高度限制和不清晰的形式，很難真正實現對算法的控制，在現有技術條件下，主體中心解釋（subject-centric explanations， SCEs）比模型中心解釋路徑（model-centric explanations， MCEs）更有利于數據主體尋求救濟。但是，透明性并不必然保證實質正義或者有效救濟的實現。他建議人們要警惕新的“透明度謬論”，更重要的是從GDPR以下兩個層次緩解算法控制的危害，即“被遺忘權和可攜帶權”以及“隱私設計和數據保護影響評估等”。〔38 〕

保羅·德·拉特指出，一方面，算法的不透明性是固有的，人工智能本身有自主學習的過程，后期輸出的結果可能和設計者的理念不相符。如果在神經網絡中插入一個中間層，可以通過加權平均計算來顯示所有結果的權重，但沒法解釋所有輸入變量最終的貢獻;另一方面，出于隱私的考慮，將數據庫免費提供給大眾，是不明智的。這也會導致相關方的博弈，導致不效率。出于知識產權的原因，也應該交給權威的監管部門來管理。〔39 〕

桑德拉·沃克特等認為，解釋權規則存在諸多法律和技術上障礙：首先，GDPR中不存在具有法律約束力的解釋權。其次，即使具有法律約束力，該權利也只適用于有限的情況。第三，解釋復雜的算法決策系統的功能及其在特定情況下的基本原理在技術上具有挑戰性。解釋可能僅對數據主體提供很少的有意義信息。最后，數據控制者有權不共享算法，以避免泄露商業機密、侵犯他人的權利和自由（例如隱私）。他主張應當超越GDPR的限制，對數據控制者施加“無條件反射事實解釋”以作為一種克服當下算法解釋和問責挑戰的一種新型解釋類型。其可以平衡數據主體和控制者之間的關系，保護數據主體的信息安全。反射事實解釋不僅避免了對復雜專業的算法進行全面地公開，而且可以通過建模計算得出，便于數據主體理解自動化決策、對決策進行抗辯以及改變未來的做法來達到預期目的。〔40 〕

（四）關于算法透明化與責任體系的其他構想

在GDPR之外，學者們建議采取各種方式來建立算法透明化與責任體系，以應對“算法黑箱”帶來的問題。杰克·M.巴爾金反駁了“侏儒謬論”，指出算法社會的真正敵人不是算法而是人。他構建了一套算法公平治理體系，指出透明度、解釋性、正當程序、負責任等要求都能從中推演出來。該體系的三大法則是：對于客戶、消費者和終端用戶，算法使用者是信息受托人;對于非客戶、消費者和終端用戶，算法使用者負有公共責任。如果算法使用者是政府，公共責任的界定應遵照其作為政府的性質;如果算法使用者是私人，則要受公共利益規則影響;算法使用者的核心公共責任是避免將他們操作的成本（損害）外部化。對于算法決策損害的最佳類比不是故意歧視，而是社會不公的污染。〔41 〕約書亞·A·克羅爾等指出，通過設計事前機制和事后機制，算法依然可以對第三人和公眾負責。更重要的是要促進計算機科學家和法律政策制定者之間的跨學科合作，特別是要減少法律的模糊性，使得計算機科學家更能夠適應外部監督機制。〔42 〕

在我國，大部分學者都看到了“算法黑箱”帶來的歧視、交易地位不平等、救濟缺位等問題，并主張在我國引入GDPR的解釋權。〔43 〕但也有學者指出，算法的可解釋性只是一種有益探索，并不是有效手段。例如，林洹民認為，算法解釋權適用范圍有限，我國應當設立以數據活動顧問為主、數據活動監管局為輔的二元算法監管機制：數據活動顧問從企業內部對算法的設計、使用和評估進行陪同控制;數據活動監管局則從外部對數據活動顧問提供必要的援助和監督。〔44 〕沈偉偉認為，算法透明原則不具備可行性和必要性，應當看到這種本質主義立場的弊端，建立以實用主義為導向、以算法問責為代表的事后規制。〔45 〕

四、盧米斯案對我國算法規制之啟示

我國是人工智能發展十分迅速的國家，〔46 〕近年來發展人工智能不斷寫入國家戰略，頂層設計要求運用人工智能為司法賦能，建設智慧法庭。例如，國務院《新一代人工智能發展規劃》（國發〔2017〕35號）要求“建設集審判、人員、數據應用、司法公開和動態監控于一體的智慧法庭數據平臺，促進人工智能在證據收集、案例分析、法律文件閱讀與分析中的應用，實現法院審判體系和審判能力智能化”。最高人民法院辦公廳《關于做好2019年智慧法院建設工作的通知》（法辦〔2019〕243號）要求各級法院“以智能化為重點，大力推進智審、智執、智服、智管，全面加強智慧法院建設”。最高人民法院《關于認真學習貫徹黨的十九屆四中全會精神的通知》（法〔2019〕244號）提出，“要積極推進互聯網、人工智能、大數據、云計算、區塊鏈、5G等現代科技在司法領域深度應用，努力把智慧法院建設提升到新水平”。盧米斯案及其引發的爭議，對于我國智慧法院的建設具有重要參考意義。我們必須明確，如何避免算法透明度、歧視性、準確性等風險對正當程序的侵蝕，如何讓算法揚長避短，真正引領司法實踐的現代化與科技化。

（一）立法：確立場景化的算法透明和責任規則

盧米斯案暴露的問題對整個算法社會都具有普適性，必須通過立法建立起一整套規則體系才能加以系統解決。這是一個立法論的問題，而不是解釋論的問題。在筆者看來，在諸多算法風險中，最為關鍵的仍然是算法透明度問題。只有保證算法的透明度，或者至少是一定程度上的透明度，才能夠使得算法的歧視性、準確性等問題得以被發現，也才能使得各利益相關方得以發現自己權益被侵害的事實，并提出相應的權利主張。

目前，大多數意見都要求法律以某種方式保證算法的透明度。盡管有學者認為算法透明原則作為事前規制存在種種弊端，〔47 〕但在筆者看來，這并不足以阻礙算法透明原則的重要地位。第一，算法透明原則并不僅僅是一種事前規制，更是一種全過程的規制手段。如果算法本身不透明，那么人們將很難發現算法中蘊藏著的不公平，更難以在維權時取證，事后規制的基礎將不復存在。第二，算法透明原則在具體落實時必然會呈現出光譜式的面貌，既有的研究僅僅根據國家安全、社會秩序等宏觀價值設想出機場安檢、導彈試射等極端的場景，這些例子只能提醒我們要在特定場景下設置例外，并不能夠全面推翻算法透明原則。第三，既有研究指出隱私、商業秘密等私主體權利會阻礙算法透明，但法律對私權利的保護從來都不是絕對的，即使是GDPR這樣重視私權利保護的法令也規定了個人數據保護的例外條款。第四，算法透明原則所要求的透明性具有多元化特征，透明性未必等于向全社會公開，而可能僅向利益相關方公開，相比于直接推翻這項原則，不如設計更加精細的具體規則。第五，即使算法透明不等于算法可知，但算法不透明必然等于算法不可知。即使算法公開無助于普通大眾的理解，神經網絡等技術也可能導致程序員無法理解算法內涵，但是算法透明至少為理解算法提供了一種可能。并且，伴隨著技術進步，目前計算機科學界也正在開發針對算法可解釋性的算法，這將進一步促進“技術黑箱”的破解。

因此，算法透明原則依然是我們努力的首要方向，也是立法首先應當確立的原則。但對于如何落實算法透明原則，目前仍尚未形成統一的有效方案。GDPR對自動化決策工具規定了廣泛的可解釋性要求，但是籠統的規定并不能帶來令人滿意的效果。例如，當谷歌搜索引擎進行智能廣告推送時，會按照GDPR要求向用戶顯示“您可能會看到廣告的原因”，但披露內容仍然相當概括。〔48 〕用戶無法從這些簡單的標簽中弄清楚為何這些廣告會出現在自己面前，更無從得知影響自動化決策的這些自變量的具體權重。因而，建立起無差別的算法解釋性和責任規則并不可取，更重要的是區分不同場景，建立合適的算法透明規則。

建立場景化的算法透明規則，需要對各種場景下的不同算法進行類型化梳理，這需要十分龐大的調研工作。因而初期的立法可以只進行原則性規定，通過賦予法官較大的自由裁量權發展實務經驗，嗣后再進行總結;或者可以確立非要件式的、指引式的立法，即像《反壟斷法》第18條 〔49 〕一樣列出所需考慮的因素。具體而言，可能需要考慮如下因素：（1）算法應用場景所涉及的利益沖突;（2）算法應當在何種范圍內披露，是向全體公眾披露，還是向某個特定的審查委員會披露，抑或只向利益相關方及其委托人披露;（3）要求算法開發者披露的內容包括哪些，例如是要求披露盧米斯案法官所要求的書面警示事項即可，還是要求披露算法的源代碼、全部自變量及其權重、乃至全部訓練數據集;（4）算法的披露可能帶來何種后果，應當如何預防不良后果的發生;（5）是否需要設置相關機制輔助對前述披露內容的解釋工作。

在算法責任機制方面，也需要更加細致的規則構建。一個常見的討論是算法責任問題在侵權法上如何定性。例如，德國學者格哈德·瓦格納曾經運用教義學方法分析了自助系統應當適用產品責任，而不是生產者責任。〔50 〕筆者認為，為了防止侵權法責任規則對技術發展的壓制，應當建立起類似于機動車交通事故責任強制保險那樣的保險機制，以平衡權利保護與技術進步，在此基礎上可以適用或類推適用我國侵權法上的產品責任。而在刑事司法程序場合，由于算法產品涉及重要的人權問題，應當將算法責任機制與準入制度掛鉤，根據算法表現進行動態評級，調整法院的公共服務購買清單。

（二）司法：明確算法決策的輔助地位

目前，許多法律科技公司都在開發基于大數據的類案推送工具，以幫助法律從業者更好地從事法律工作。在司法審判領域，面對各類算法決策工具，首先需要明確的是，算法決策工具不能起到對法官的替代作用，只能起到輔助裁判的作用。算法只能扮演輔助裁判角色的原因如下：第一，解釋和運用法條的工作本身蘊含著價值判斷的要求，這個任務必須由有著同理心的人類法官完成，而不能純粹訴諸技術理性，否則人的主體性地位可能會受到威脅;第二，盡管算法可以通過訓練，識別盡可能多的相關關系，從而揭示隱藏在既有判決之下的影響因素，但是由于數據質量、數量、算法、算力等方面總存在著局限性，因而未必能夠完全揭示出人類意識中的全部自變量;第三，如前所述，算法本身可能繼承了人類既有的偏見，而這些偏見需要有修正的機會，機器本身無法完成這樣的修正，只有人類法官才有可能在裁判中糾偏;第四，算法所展示出的結果過于倚重聚類數據，因而在輸出的結果上靈活性較低，交由人類法官作出終局性判斷，既能讓法官發揮必要的自由裁量權，也是盧米斯案所肯定的被告享有個性化裁判權利的體現。

在明確了算法決策的輔助地位之后，我們需要討論算法應當在何種程度上發揮輔助作用。盧米斯案給我們的一個啟示是：法官應當注意到風險評估算法只代表對歷史數據的分析，而判決要充分考慮到本人在本案中的獨特性。但是，誠如上文提到的批評意見所說，法官并不是專業的科學家，即使開發商或使用者提交了書面風險警示，法官們也無從辨別算法在多大程度上是不可靠的。因此，在廣泛地培養起精通技術的專門法官之前，將識別算法風險的責任全部分配給法官，并不是明智之舉。我們應當從法院居中裁判的傳統智慧中尋找替代性方案。正如舉證責任規則所揭示的那樣，法官的義務并不在于發現自然事實，而在于確定法律事實。因此，允許雙方對風險評估算法加以舉證質證、攻防辯論，再由法院根據雙方提交的證據和意見進行裁判，可能是更好的辦法，這也使得像盧米斯這樣的被告的正當程序權利能夠得到保護。

開放法庭辯論的重要前提就是要確保至少辯論雙方能夠掌握重要的信息，因此必須確立這個場景下的算法透明度規則。對此，我們仍然可以沿用前文提到的場景化的分析框架：

（1）利益沖突。如同盧米斯案所揭示的那樣，最為顯著的利益沖突就是被告人的正當程序權利與開發商的商業秘密權利之間的沖突。在這個場景中，算法評估工具實際上扮演的是類似于法官的角色，屬于國家機器一方，因而對于算法背后商業秘密的保護，應當遵循打擊犯罪和保障人權的平衡框架。原則上應當認為，對開發商商業秘密的保護要以保護被告人的正當程序權利為界限。

（2）披露對象。首先需要回應的問題是有些學者提出的只能使用開源算法的方案，因為如果使用開源算法，就無需討論披露范圍的問題。對此，筆者認為，不同于技術成熟階段，在技術起步階段強求算法開源是不切實際的。只有在自由競爭的市場環境下，才能夠催生出更加成熟的技術。而算法的專有屬性會為算法開發商帶來商業利益，這會促進其參與市場競爭。因此，現階段不應當要求算法開源，也不應當將其披露給全體公眾，而是應當只向特定利益相關方進行披露。

那么，哪些人構成利益相關方呢？如果按照前述理解，算法代表追訴犯罪的國家機器，因而風險評估算法實際上接近于《刑事訴訟法》規定的“案卷材料”的地位。根據《刑事訴訟法》第40條的規定，辯護律師享有閱卷權。因而，辯護律師應當屬于披露對象范圍。盡管《刑事訴訟法》尚未明確規定犯罪嫌疑人、被告人的閱卷權，但是學界一直在呼吁法律規定此項權利。〔51 〕從算法的特性來看，不同于其他案卷材料，算法不會引發犯罪嫌疑人、被告人翻供等風險，而對犯罪嫌疑人、被告人披露此項信息，是其行使自辯權的基礎。那么，公訴人是否屬于披露對象？筆者認為應該作出肯定的回答。首先，如果在國內推行類似于COMPAS的算法，其提交法院的方式應當是類似于今日檢察院遞交的量刑建議書，公訴人作為將算法帶入刑事審判程序中的一方，應當同時將使用算法的風險信息以及判斷此項風險的必要信息同步帶入法庭之中。其次，如果公訴人不享有獲取相關信息的權利，就無法在庭審中完成我們所預期的攻防對抗過程，無法將算法的風險更完整地展露出來。最后，基于公訴人的強勢地位，要求開發商僅向犯罪嫌疑人、被告人及其辯護律師一方披露，是不現實的。由于法官處于居中裁判地位，需要審查雙方就算法風險提交的證據和意見，因而也必然屬于披露的對象。正如前面許多文獻所指出的，算法披露未必導致算法能被理解，因而法庭可能需要新的角色來擔任技術方面的“翻譯”。《刑事訴訟法》第197條第2款規定的“有專門知識的人”可能會勝任這一角色。因而，公訴人、當事人和辯護人、訴訟代理人如果提出申請，有專門知識的人也當然應當成為披露對象。綜上所述，披露對象應當包括犯罪嫌疑人、被告人及其辯護律師、公訴人、法官以及有專門知識的人。

（3）披露內容。需要說明的是，要想幫助法庭提高識別算法風險的能力，僅僅披露盧米斯案要求的書面警示事項是不夠的，因為這更類似于格式條款中的免責性文字，而無助于量化算法的可靠性。因而，必須盡可能多地披露算法背后的細節。最基本的要求是披露全部自變量及其權重，因為從中可以直接分析出有無歧視性的因素以及不成比例的因素。當被告人及其辯護律師對所披露的這些內容產生合理懷疑時，則有權要求披露算法的源代碼乃至訓練數據集，以便委托有專門知識的人介入核實。

（4）披露風險及預防。要求算法披露最核心的一個風險就是對商業秘密的侵蝕。對此，《刑事訴訟法》第54條、第152條、第188條也提供了參照，即對于涉及商業秘密的證據應當保密，對于涉及商業秘密的案件，當事人申請不公開審理的，可以不公開審理。既然算法背后的主要法益仍然是商業秘密，那么完全可以參照前述法條構建規則，盡可能阻斷商業秘密的擴散。具體而言，一方面，應當要求披露對象負有保密義務，可以在庭審前要求他們簽訂保密責任書;另一方面，對于涉及算法商業秘密的案件，算法開發商有權要求不公開審理，或者要求涉及算法商業秘密的庭審不公開。至于違反保密義務的行為，則可以依照《侵權責任法》《反不正當競爭法》的框架進行處理。

（5）配套機制。為了促進針對算法辯論的有效性，可能的配套機制是培養起針對算法風險分析的專門鑒定機構。此外，由于我們明確了算法的輔助裁判地位，我們應當在允許算法輔助裁判的同時，及時對算法風險評估技術的科學成果加以推廣。如果算法評估產生了穩定的、非歧視性的、經嚴格論證后被認為合理的相關性結論，可以適時將其提升為司法解釋中的法定量刑因素，以便在使用算法的案件和未使用算法的案件中獲得較為統一的裁判結果，維護刑法的穩定性和權威性。

（三）行業標準：構建倫理標準和技術標準

針對盧米斯案的分析揭示了算法可能繼承和擴大的道德風險，也顯示出開發商可能會出于商業考慮或技術不完備而引發系統性的歧視與誤判。對此，算法開發商內部應當增強行業自律，并及時總結經驗，制定相關的倫理標準和技術標準。

人工智能的發展面臨著多元利益的權衡，因而需要制定行業共同遵循的倫理框架。例如，歐盟發布了“可信賴AI的道德準則”，其中規定了七項治理原則：（1）人工代理和監督;（2）技術的魯棒性 〔52 〕和安全性;（3）隱私和數據治理;（4）透明度;（5）多樣性、非歧視和公平性;（6）環境和社會福祉;（7）可問責性。〔53 〕盡管如何確定算法公平的內涵仍然是一個難題，但是這不應當阻礙行業自律的有益嘗試。算法公正的共識可能正需要在行業內部討論中才能達成。同時，誠如學者所說，算法暴政的根源不在于算法，而在于開發和使用算法的人。制定倫理標準可以完成對開發者的道德培訓，使得技術人員在開發算法時可以增強警惕道德風險的意識，從而減少算法中的歧視和偏見。

如果說倫理標準是一項較為宏觀的展望，那么技術標準則更具可操作性。技術標準不僅旨在控制質量的穩定性，也是對道德風險的系統性預防。筆者建議，應當根據算法操作的全過程設置各項技術標準。（1）在數據輸入階段，應當保證數據的質量，避免“垃圾進，垃圾出”的現象，要規范個人信息特別是個人敏感信息的使用，注重數據的精確性，也要注重各類人群數據量上的均衡，在進行數據標注時要準確分類。（2）在數據分析階段，應當保證算法的中立性和準確性，通過設置嚴格的技術標準多角度地檢測算法中可能存在的歧視性風險，避免在分類中遺漏重要的相關變量。（3）在數據輸出階段，應當根據技術發展水平，盡可能在輸出結果的同時，同步輸出各項自變量及其權重，乃至對關鍵算法的解釋，以便算法使用者更好地判斷該算法的風險。