破解公權力領域的算法歧視：權力正當程序的回歸
2022-11-01 06:44:12胡晶晶
知識產權 2022年4期
胡晶晶
內容提要：算法排他權通過賦予私人市場獨占期來換取對算法的行政監管，以期克服公權力領域算法歧視問題。但其關于算法透明和5年算法保護期的做法不可行；其旨在平衡公共利益與算法擁有者私人利益的嘗試不合理。其實質是借私權外衣來維護公共利益，這混淆了公私法界限，不符合公法介入私法的正當性標準。破解公權力領域算法歧視的關鍵不在于技術層面如何避免形成歧視性算法決策，而在于權力層面如何避免歧視性算法決策上升為算法權力。公權力領域算法權力的特殊性（公權力屬性和權力生成的間接性）為其正當程序的構建提供了基本思路：算法權力須納入公權力運行軌道中，算法須始終保持工具地位，公權力機關須始終掌握對算法決策的質疑和否定權，只要阻斷歧視性算法決策向算法權力轉化，算法歧視問題便迎刃而解。
引言
早在20世紀50年代，算法自動化決策就開始應用于政府行政部門。近年來，算法在我國公權力領域的應用也日益常態化。2019年1月，國務院辦公廳印發了《關于全面推行行政執法公示制度執法全過程記錄制度重大執法決定法制審核制度的指導意見》，其中第17條就明確要求“要積極推進人工智能技術在行政執法實踐中的運用，研究開發行政執法裁量智能輔助信息系統”“有效約束規范行政自由裁量權，確保執法尺度統一”。
公權力部門應用算法自動化決策輔助行政決定或司法裁判、預測調配資源，算法技術與公權力由此緊密結合在一起。算法在增強公權力運行效率的同時，也引發了人們對算法歧視的警惕和擔憂。政策輔助系統或司法智能系統自動輸出的決策可能會導致權利分配不公平，對不同群體造成區別對待或影響，此即算法歧視。如果歧視性算法決策得不到糾正，算法決策會不斷重復和加深對特定人群的歧視，損害其公民權利，引發更深層次的社會問題。
針對算法歧視問題，學界提出了多種解決方案。從最初的“算法技術監督路徑”到“算法權力規制路徑”，學者的視角從表層的技術轉向了其背后的權力。近期出現的算法排他權主張則試圖將市場壟斷與技術監管相結合來制約算法權力。
本文聚焦于公權力領域的算法歧視問題，在分析評價算法排他權的基礎上，揭示公權力領域算法權力的特殊性，并厘清歧視性算法決策與算法歧視之間的關系，進而指出算法權力回歸正當程序才是該問題的破解之道。
一、算法技術規制的創新：算法排他權制度的困境
針對算法應用于公權力領域而產生的算法歧視問題，有學者指出構建算法透明度和算法可解釋規則的方案都存在著缺陷，主張將藥品數據的管制性排他權移植到算法保護中，允許算法擁有者以公開算法（源代碼備案）為代價來換取5年的市場排他權，從而增加算法透明度，克服算法監督困難。該制度追求算法透明和算法擁有者個人利益最大化的雙重目標。其試圖兼顧公共利益與私人利益的初衷值得肯定，但結果可能適得其反。以行政手段干預市場競爭，刻意制造市場壟斷的做法，既不利于算法創新，也無法有效維護公共利益。
（一）算法排他權不可行
算法排他權不可行的理由有二。第一，算法排他權追求算法透明這一目標，但回避了兩大難題：算法透明在技術上難以實現；算法透明不等于算法可解釋性。第二，算法排他權為算法統一劃定了5年保護期，但這種“一刀切”的做法無法適應算法的技術發展要求。
算法透明的實現有兩種技術方式：一是主動公開，即開發者將算法所涉及的數據和步驟進行全面具體的公開；二是被動公開，即采取反向工程破解算法。但無論何種方式，都不可能完全打開“算法黑箱”（Algorithmic Black Box），公開所有的算法運行細節。
在客觀方面，具有深度學習能力的算法不再是純粹的工具，而是逐漸形成了自己的“生命力”。即便是制造算法的技術人員也不能完全知曉和掌握該算法自行生成的內在邏輯和步驟。為了完成模型擬合的任務，算法會不斷地自我進化，自動生成越來越復雜的模型變量，變得更加錯綜復雜和不透明。算法黑箱只能依靠不斷試錯來破解，但鑒于模型和數據的無限可能性，逐一試錯排查并不現實。
在主觀方面，算法擁有者通常拒絕公開算法。即便公開數據和算法步驟，也可以通過刻意摻入大量的無用信息來制造數據廢墟，致使公布的信息數量龐大且質量良莠不齊，要從中發掘出這些重要信息并非易事。算法開發公司有足夠的動機采取這種策略，因為對于他們而言，其核心算法是實現商業成功的重要“秘密武器”。
即便我們假設算法透明在技術上可以實現，算法歧視問題也不會迎刃而解，因為算法透明不等于算法可解釋。“看見”不等于“理解”。普通人難以理解算法，不僅因為計算機程序本身極為專業復雜，而且因為大數據的邏輯關系是相關性，而非人們所熟悉的因果性。公開也不等于公正。算法透明未必能帶來算法公正，反而會破壞算法擁有者的核心競爭力，損害創新動力，社會進步也隨之放緩，最終企業的私人利益和公共利益將兩敗俱傷。
之所以將算法排他權期限設置為5年，是因為算法開發者需要一定的排他期限來獲取足夠的經濟回報以激勵創新，而過長的保護期又不利于算法競爭和創新。然而，這種事先的立法安排可能與現實相脫節，理由如下。
第一，不同算法更新換代的速度不同，統一劃定5年保護期的潛在假設是，所有類型算法的商業價值期都是5年。但事實顯然并非如此。
假設某種算法在現實中已被其他算法所淘汰而喪失了商業價值，但其仍處在排他權保護期內，那么就會出現以下矛盾：根據財產理論，喪失了利益性要件的算法就應同時喪失其財產地位；而根據算法排他權制度，該算法卻仍作為一種法定財產權繼續存在。該矛盾對于權利人和公眾都無益處。由于喪失商業價值，該算法必然被權利人閑置；由于排他權的有效性，該算法又無法為公眾免費利用，信息流動將受到限制。再者，算法排他權的制度設想未涉及權利保護的例外與限制，那么，只要算法尚處于排他權保護期內，他人出于個人學習、科研和實驗等非營利性目的而使用該算法也必須向權利人尋求許可并支付許可費。
相反，假設某算法仍具有高經濟價值，但排他權保護期已屆滿，那么，一旦發生侵權糾紛，該算法既無法繼續接受算法排他權的保護，也無法作為商業秘密來尋求反不正當競爭法的保護。因為算法排他權是以公開算法換取排他地位，已公開的信息不可能重新回到保密狀態。
第二，既然統一設置保護期的做法缺乏合理性，那么，能否根據不同算法各自的商業價值期限來設置不同保護期呢？該做法看似合理，但缺乏現實可操作性。技術日新月異，市場又充滿不確定性，即便是專業技術人員恐怕也很難預測某個算法的商業價值究竟可以存續多久。
相比之下，更實際有效的做法是令算法排他權期限隨著算法技術的市場價值而靈活變動。每個權利人都會主動根據算法的利益存續狀態來制定保密策略。當特定算法技術面臨被淘汰時，權利人為了節約成本，自然會解除對該算法的保密措施。該算法便進入公共領域成為一種公共信息。在此之前，保密措施使得算法具有天然的排他效力。可見，相較于有明確保護期的算法排他權而言，無固定保護期的商業秘密制度更適合算法保護的需要。
（二）算法排他權不合理
算法排他權根本上是知識產權領域的一種制度創新，但從制度目標到具體架構都不符合知識產權法理。
首先，知識產權的根本邏輯是，通過賦予私人一定期間的排他權，最終來實現創新或維護市場競爭秩序的公共利益目標。算法排他權表面上也符合這一邏輯，但實則相去甚遠：不同于知識產權將公共利益作為間接達成的終極目標，算法排他權將公共利益作為直接目標，實際上扭曲了私權理念。其次，知識產權具有公法特點，公法介入私法本身雖具有一定合理性，但算法排他權并不符合公法介入私法的條件。再次，算法一旦公開極易被競爭者“算計”（Gaming），權利人的損失可能超過收益，知識產權的激勵機制難以達成。最后，將算法納入監管就能有效維護公共利益嗎？這值得商榷。
算法排他權是參照藥品領域管制性排他權而設計的。管制性排他權的基本內容是，在一定期限內，產品上市主管機關不得根據原研藥的臨床試驗數據來批準仿制藥的上市申請。由此保障原研藥生產者在這段期限內享有市場獨占地位，提高其創新回報，實現激勵效果。該權利依賴于行政審批程序。權利相對人是行政審批機關，而非原研藥生產者的競爭者。但該權利的內容是對私人經濟利益的維護，因此性質上仍屬于私法上的民事權益。并且，管制性排他權是一種新型的知識產權類型，同時具備“準專利權”“準商業秘密”“財產權”多種屬性。
管制性排他權和算法排他權的基本思路都是：通過行政審批來限制競爭者參與市場競爭，制造權利人的市場壟斷地位。值得注意的是，兩種制度分別針對醫藥產業和互聯網技術產業，巨大的產業差異從根本上決定了：如果直接將醫藥領域的制度框架套用于算法領域，將難以期待獲得相同效果。
醫藥創新需要付出巨額成本，有必要通過制度安排來保障其成本回收和盈利，否則新一輪醫藥開發將難以展開。現實中，藥品專利保護期已屆滿，但新藥開發者可能還沒能收回成本的例子并不少見。管制性排他權的意義就在于，延長新藥的市場壟斷地位，幫助其收回開發成本以開展新一輪藥品創新活動。
互聯網技術開發當然也有成本，但通常不會面臨像醫藥產業那樣如何收回高額成本的問題。也就是說，對于算法開發者而言，提供壟斷地位的現實必要性并不成立。恰恰相反，如果賦予某算法壟斷地位，最終可能出現對創新的反激勵效果。中國互聯網企業壽命平均是3至5年，獲得算法保護期可能意味著一勞永逸，至少權利人缺乏改進該算法的動力。算法排他權也使競爭者望而卻步，因為算法市場將被他人壟斷5年意味著已經沒有競爭余地。
醫藥適合專利保護，而算法更適合商業秘密的保護模式。在醫藥領域，醫藥制造的信息公開后，競爭者即便試圖搭便車也需要付出高昂的成本，從生產到上市都需要耗費大量時間和資金；而相同的情況卻不會發生在互聯網領域。某互聯網公司公開其算法后，競爭者在抄襲基礎上替換個別代碼就能形成新算法，侵權不易發現且難以舉證。
上述分析也反映出，管制性排他權的內在邏輯與傳統知識產權一致，都是幫助權利人提高市場收益以激勵創新。算法排他權表面上也符合專利法“以公開換壟斷”的邏輯，即賦予權利人壟斷地位以激勵創新；作為代價，將算法納入備案監管以實現算法透明。然而，事實卻恰恰相反：算法透明才是真正的目的，給予權利人5年壟斷權是為了補償算法透明的負面效果——權利人因算法公開而喪失競爭優勢，并面臨競爭者搭便車的威脅。
此外，從效果看，該激勵機制無法達成，算法透明也并不必然有利于公共利益。下文將予以詳述。
可見，無論是從制度目標還是實際效果來看，算法排他權實際上已經脫離了私法語境，進入了以管制為目標的公法領域。即便算法排他權在一定程度上符合近年來知識產權領域私法公法化的趨勢，但這本身并不足以證成算法排他權的制度正當性，而需要進一步考察算法排他權是否符合私法公法化的基本要求，以及在算法的法律規制問題上，公法是否有必要介入私法領域？
私法公法化趨勢本身具有合理性。在民法現代模式中，以個人為焦點的社會經濟倫理已不再通用，民法的社會責任主義逐漸興起。法律價值多元化便是支撐私法公法化的一個重要依據。私法以自治為核心理念，以自由為根本價值追求，但秩序、安全和正義等價值要素自始至終都在私法的價值要素中占有十分重要的地位。知識產權領域私法公法化的正當性就在于，在維護私人利益的同時促進公共福利，實現私人自治和公共管制的雙重目標。該趨勢突出表現為，知識產權法中公法規范類型化擴充，從而增進知識產品的社會效益。由此看來，算法排他權的出現也是知識產權公法化趨勢的一種表現。
現實中算法被作為商業秘密保護，由此產生了算法商業秘密的私人利益與算法不透明背后的公共利益之間的沖突。此種沖突突出表現為算法歧視。算法排他權的前提正是，目前完全由私法來調整算法法律關系的現狀應得到改變，因為這種調整方式下，算法權利人的利益實現是以公共利益受損為代價的。為了糾正這種利益不平衡，通過行政手段干預市場，借助算法排他權人為設定5年市場壟斷期，這本質上就是一種公法介入私法的方案。
不可否認，算法商業秘密與公共利益之間存在一定沖突。一方面，只要符合商業秘密的構成要件（采取保密措施、秘密性和商業價值性），任何算法內容，無論是算術運算、邏輯運算、關系運算，還是數據傳輸指令、賦值運算、指令系統，都可以成為商業秘密。2020年9月公布的《最高人民法院關于審理侵犯商業秘密民事案件適用法律若干問題的規定》就將算法納入了技術信息范疇。算法商業秘密的法律地位得到肯定。商業秘密保護擴張至算法，反映了信息社會維系商業道德和商業秩序的需要。商業秘密與算法黑箱各自在法律和技術層面的不公開性疊加在一起所產生的不可知性，引發了人們對算法歧視的擔憂。例如，在2016年美國盧米斯案中，法院以保護商業秘密為由拒絕公開COMPAS風險評估工具背后的評估方法，而被告認為，法官依靠自動化決策結果對其量刑的行為侵害了其正當程序權利。
但對于這種利益沖突，應避免絕對化、簡單化地理解，畢竟私人利益與公共利益總是交織在一起，只要私權行使不超過其權利邊界，他人就有容忍的義務。公眾是由無數個體組成的，如果一味追求維護公共利益而限制私權行使，那么，公共利益的基礎也不復存在。僅當私權行使嚴重影響公共利益，而私法規則對此卻無能為力時，公法的介入才具備必要性。
就商業秘密而言，其公共利益限制主要針對危害國家安全或公共安全、影響公共健康等具有違法性、危害性和必要性的情形。算法黑箱對公共利益的威脅主要在于公民基本權利（如知情權等）層面，而較少涉及國家社會層面的公共安全或健康。再者，鑒于憲法權利的司法適用普遍缺乏具體的適用條款，即便要追究算法黑箱對公民基本權利造成的損害，在司法實踐中也難以獲得支持。
商業秘密本質上是商業公司的私人利益，如果要求作為私權的算法商業秘密為了維護算法透明所代表的公共利益而放棄自身訴求，那么公共領域與私人領域的界限、公權力與私權利各自的行使方式都將混淆不清。
退一步講，即便算法歧視極大地損害了公共利益，算法排他權提供的解決方案也缺乏合理性。面對利益沖突問題，算法排他權與其說協調兼顧了兩種利益，不如說進行了利益取舍：犧牲個人利益以維護公共利益。對于算法權利人而言，算法排他權為其帶來的損失（算法公開導致喪失核心競爭力）大于其獲得的經濟收益（通過行政限制而獲得的市場壟斷利益）。
算法排他權本質上是以私法手段（知識產權類型創設）追求公法目的（維護公共利益）。該價值取舍態度恰恰是私法公法化最應當警惕的。公權力的介入應保持謙抑，因為私法公法化是公權力對私權的強限制，過度介入會戕害私法自治。公權力只在私權自治的外圍參與社會治理，而不得以“公共利益”的名義影響私權的自生自發秩序，否則，應當對私權主體進行補償甚至賠償。而算法排他權以監督算法的公共利益為由對算法市場進行強行干預，限制市場競爭，已經超出了不影響私法秩序的合理限度。
從結果上看，政府介入和干預市場本身就存在政府失靈的風險，對于算法排他權而言，這種危險更容易兌現。國家機關及其工作人員同樣有尋求自身利益的行為目標，這與知識產權法公法化所追求的公共利益目標并非始終一致。根據公共選擇理論，只要知識產權運營蘊含著獲利機會，知識產權法公法化就必然隱含著公權力濫用的風險。算法排他權本質上是一種行政機關賦予的獨占市場的特權。哪種算法可以進入市場，主要取決于哪個算法開發者率先向行政機關提出申請。由此一來，同一時期最先進的算法技術可能因申請延遲而被排除在市場之外。
從更宏觀的視角觀察，5年算法壟斷期即便能滿足公民知情權的公共利益需要，也會使其他公共利益遭受損害。一方面，互聯網技術發展迅猛，獲得排他權保護的算法可能應用未滿5年就已經過時，難以與同期其它先進系統相兼容。這必然極大地影響公權力機關的辦事效率和準確性，不僅浪費公共資源，給公眾造成不便，甚至可能危及公共秩序。另一方面，其它更先進的算法在5年內無法應用于某公權力領域，那么該算法就缺乏大數據作為學習基礎，進一步的深度學習和算法迭代就無法實現，阻礙算法技術創新。以上種種難道不是對整個公共利益的更大損害嗎？
此外，有研究顯示，算法公開可能與國家安全、社會秩序和個人隱私等私主體權利發生沖突。如果算法歧視問題的解決需要以犧牲更高位階的價值為代價，那么算法排他權在維護公共利益的問題上可謂是“撿了芝麻丟了西瓜”。
總之，算法排他權試圖通過私權設置來達成公法的調整目標：維護公共利益。這表面上順應了知識產權領域私法公法化的潮流，實際上卻逾越了公法介入私法的邊界限制，以“私權保護”之名行“行政監督”之實。畢竟，私法公法化只要求公法“輔助或補充”私法，而絕不意味著公法“替代”私法或者公私法混為一談。
如上文所述，算法排他權是知識產權領域的一種制度創新。知識產權制度最重要的理論依據是，激勵市場主體投資知識財產的創造活動，那么，激勵機制在算法排他權制度中能否達成呢？
從傳統知識產權的視角看，算法排他權與專利權比較相近。專利權是以信息公開換取獨占使用地位，但獨占使用地位未必能帶來市場排他；而算法排他權是以信息公開直接換取市場排他效力。前者賦予權利人的僅僅是一種市場競爭優勢，而后者相當于直接把市場壟斷的“蛋糕”劃分給權利人。
如前所述，中國互聯網企業的平均壽命并不長。對于一個獲得了算法排他權的中小型互聯網公司而言，他們無需參與市場競爭，從而缺乏持續技術創新的動力。對于大型互聯網公司而言，如果選擇算法排他權來保護其算法，則必須放棄商業秘密保護，由此產生的損失可能超過5年市場壟斷期帶來的利益。
算法排他權的論者明確指出，該制度不具有強制性，且其建立并不排斥算法擁有者尋求商業秘密法的保護。這并不意味著，某算法可以同時享有排他權和商業秘密的保護，而應理解為，算法擁有者有權在兩條保護路徑中進行選擇。
如果算法擁有者選擇了算法排他權，就必須向行政主管機關申報，并披露算法的編寫思路和源代碼。獲知算法源代碼的行政機關及其工作人員并沒有保密義務，一經披露，算法商業秘密就喪失了保密性以及由此形成的天然排他性，成為公共產品。可見，正如專利權與商業秘密之間非此即彼的關系，選擇算法排他權就意味著放棄算法商業秘密，算法將喪失保密性及其附帶的天然排他性，而算法排他權的擬制排他性卻無法阻止競爭者“搭便車”。
算法是企業的核心競爭力，一旦算法公開或向相關主體解釋，就可能引發“算計”問題，侵權風險就會由此滋生。對于算法排他權的競爭者而言，算法披露使得“抄襲（復制）”輕而易舉，并且難以被發現。算法是抽象的邏輯思維，抄襲者只需要替換或刪除個別程序或步驟，就可以輕易地規避侵權，并且，抄襲者自然會對基于侵權而形成的新算法采取保密措施，由此令侵權行為無跡可尋。
對于算法開發者而言，算法排他權最誘人之處在于5年的市場獨占期。而事實上，大多數公共服務部門都存在著技術依賴現象，一旦開始應用某種算法，就會長時期使用下去，因為更換系統可能會帶來與原系統的對接兼容問題以及成本問題。這種事實上的技術壟斷效應持續的時期可能遠遠超過算法排他權的5年期限。
綜上，知識產權領域傳統的以信息公開為基礎的激勵機制無法用于解釋算法排他權的合理性。對于算法開發者而言，面對算法排他權與算法商業秘密這兩種保護路徑，最佳選擇仍然是后者。算法商業秘密能確保權利人享有一定的市場競爭優勢，直到算法過時而喪失價值性；而算法排他權則使權利人自公開之際就失去了算法原本能帶來的競爭優勢，損失大于收益。若真正創設算法排他權制度，恐怕其無用武之地，反而徒增制度創設成本。
算法排他權的制度目標是，通過備案將算法納入行政監管，由此實現算法透明并解決算法歧視問題。但這一推理過程并不能成立，因為算法監管能否完成向算法透明再到算法正義的飛躍，具有極大的不確定性。
（1）從算法監管到算法透明
算法排他權要求權利人將“算法源代碼提交行政機關備案并對不存在算法歧視予以說明”，這一做法能實現算法透明嗎？
將算法納入行政監管確實可以實現一定程度的算法透明。例如，2018年中國人民銀行等部門聯合發布了《關于規范金融機構資產管理業務的指導意見》，該意見要求金融機構運用人工智能技術開展資產管理業務時，應當向金融監管部門報備人工智能模型的主要參數。這意味著算法透明得到了一定程度的貫徹。
但通過算法監管實現的算法透明比較有限。隨著算法不斷進行深度學習，計算模型將越來越復雜，即便是算法的開發者都難以解釋，監管人員自然更無法理解具體的算法程序。此外，算法監管缺乏現實性，因為算法代碼往往龐大且復雜，對其進行逐條審查、全面測試需要耗費高昂的成本。
（2）從算法透明到算法正義
人們傾向于相信“眼見為實”，將“看見”置于“理解”之上，在這種信息公開的虛幻中，又理所當然地把公開等同于公正。事實上，算法透明本身不等同于算法的可解釋性。如果缺乏可解釋性，那么算法透明本身并無意義。
即便算法監管到算法透明已達成，從算法透明再到算法可解釋性的跨越也難以實現，這是由算法自我深度學習和迭代的復雜性，以及大數據天然的特殊邏輯關系共同決定的。即便技術人員能理解并解釋算法，受決策影響的個人或公眾也很難理解計算機代碼和算法對數據的處理方式。因為人類理解世界的邏輯與大數據的邏輯無法契合。人們主要通過因果關系了解世界，但大數據力圖發現的并非因果關系，而是相關關系。也就是說，基于大數據的算法與可解釋性要求各自有著完全不同的邏輯。
二、算法決策、算法權力與算法歧視
盡管算法排他權的論者也承認，算法歧視問題根本上是算法權力規制的問題，但其制度設計卻并未圍繞算法權力展開，仍停留在如何實現算法運行透明的技術層面。事實上，無論是算法透明還是算法排他權，都是從算法歧視產生的技術性原因出發來尋求解決途徑。這一思路將歧視性算法決策直接等同于對人造成負面影響的算法歧視問題，未能認識到算法決策首先須轉化為算法權力，才有可能進一步引發算法歧視。
本文認為，算法歧視根本上是動態的權力運行問題，而非靜態的技術問題。技術層面的歧視性算法決策與權力層面的算法歧視不能等同視之。二者的嚴格區分對于解決公權力領域的算法歧視問題至關重要。
（一）技術層面：歧視性算法決策
技術領域的算法偏向與權力運行層面的算法歧視表面上相似，二者相關，但并不等同，也并不必然具有因果關系，前者未必會引發后者。對于算法而言，一定程度的“偏向（對標準的偏離）”必不可少。如果算法模擬的決策總是與標準保持一致，那么該算法輸出的決策毫無意義。但算法偏向未必會導致算法歧視。算法的偏向程度超過合理限度時會引發算法歧視，至于何種程度的偏向才算得上是算法歧視，雖然可以依靠技術上的檢測標準來衡量，但檢測準確性總是難以評判。畢竟“歧視”是一個雜糅了文化、社會、道德觀念和時間因素的概念，是一種帶有強烈主觀色彩的價值判斷。“價值判斷”不可避免地需要對不同類型和不同群體的價值進行排序，不同主體從各自的立場出發可能會作出不同的回答，總會有一部分群體認為某一決策結果對他們而言是不公正的，尤其是那些直接受到算法決策影響的個體/群體往往容易產生被歧視的懷疑心理。
可見，算法偏向是算法固有的技術特征，算法決策必然帶有一定的“偏向性”，而“偏向”是否達到“歧視”的程度，不存在客觀標準。因此，要想得出完全中立的算法決策在技術上不可能實現。進一步，算法歧視源于歧視性算法決策，既然后者在技術上無解，那么從技術層面尋求破解前者的思路也就行不通。
很多研究將算法歧視歸咎于算法的“不透明性”。算法透明的內在假設是，只要公開算法運行過程，就能避免算法輸出不公正的歧視性決策。但這一假設并不現實。“不透明”是算法技術的固有屬性，算法深度學習的特性決定了，算法黑箱無法被打開。因此，即便多數人認為某種算法決策確實帶有“歧視性”，也因無法打開算法黑箱而無法探明“歧視”發生于哪個技術環節，進而無法從根本上確保算法決策輸出多數人滿意的公正結果。
結合算法排他權來分析，它本質上是對算法透明的修正，仍未脫離算法透明的基本思路，即要求算法運行過程公開透明以保證輸出結果不偏不倚。要實現這一思路，算法運行就不能偏離標準，且運行過程須公開透明。也就是說，算法固有的兩個技術特征——算法偏向和算法黑箱——必須被改變。而喪失這些特征的算法顯然無法完成處理大數據進行深度學習的根本使命。
如果我們承認法律介入技術的前提是尊重技術本身的獨立性和中立性，那么，我們在享受算法自動化帶來便利的同時，也應當接受算法偏向和黑箱可能產生的副作用。否則，如果非要扭曲算法的固有屬性，算法的進化迭代便無從談起，技術創新和社會進步將不得不放慢腳步。
（二）權力層面：算法歧視
算法自動化決策本身是一種技術，當該決策開始影響或控制人的想法或行為，具備資源調配能力時，算法就從單純的技術轉化為一種實質意義上的權力，即算法權力。在人尚未接觸到算法決策時，算法決策僅僅以靜態的客觀事實而存在。此時即便算法輸出結果帶有歧視性，也不會對人造成影響或形成控制力，對人的歧視性后果無從發生。可見，算法決策轉化為算法權力的必要條件是，算法決策與人或資源發生接觸；歧視性算法決策要轉化為算法歧視，也必須以存在這類接觸為前提。
事實上，歧視性算法決策與算法歧視這兩個概念有必要予以明確區分。算法歧視是歧視性算法決策作用于個體或群體的后果。歧視性算法決策源自技術上的諸多不可控因素，是算法偏向的極端表現；而算法歧視本質上是權力濫用的結果。
商業領域的算法權力天然缺乏約束，因為它直接作用于人。其形成過程可以概括為：歧視性算法決策→（接觸人或資源后形成）算法權力→（動態運行）算法操縱→（操縱結果）算法歧視。
而公權力領域的算法權力則間接作用于當事人，它受到公權力機關的控制和約束。只有經過公權力機關認可后，算法決策才能以公權力的形態影響當事人。此時的算法歧視形成過程可以概括為：歧視性算法決策→公權力機關認可→（接觸人/資源而形成）算法權力→算法歧視。
在明晰了二者的差異后，便可知并非所有的歧視性算法決策都必然引發算法歧視。只有當前者轉化為了算法權力且缺乏有效限制時，算法歧視才會滋生。在公權力領域，如果算法自動生成的決策帶有歧視性，公權力機關發現并避免了該決策轉化為最終決策，那么，影響行政相對人或訴訟當事人的算法歧視便無從產生。
因此，解決公權力領域算法歧視問題的關鍵并不在于技術層面如何避免產生歧視性算法決策，而在于權力層面如何避免歧視性算法決策直接作用于人或資源從而形成算法權力。
三、算法權力規制的回歸：算法正當程序
公權力領域的算法權力具有公權力屬性，因此仍應遵從公權力運行的基本要求：正當程序原則。當出現算法歧視時，相對人/當事人有權提出質疑或尋求申訴，此時被審查的對象并非單純的算法決策，而是算法決策參與構成的最終的公權力決策；審查關鍵也并非算法決策的技術運行過程是否透明，而是公權力決策過程是否公開透明。
（一）公權力領域算法權力的特殊性
相較于商業領域的算法權力，公權力領域的算法權力有兩方面特殊性：（1）權力生成的間接性；（2）公權力屬性。
從上文可知，不同于商業領域的算法權力直接作用于人或資源（算法決策→算法權力），算法權力在公權力領域的生成具有間接性。商業領域的算法實際享有“決策者”的地位，而公權力機關在大多數情形下僅將算法作為輔助決策的工具，算法決策是否以及在多大程度上參與到最終決策中，都由公權力機關決定。這意味著，算法自動化決策并非直接作用于人或資源，在算法決策接觸到公民而轉化為算法權力之前，需要經過公權力機關的認可或過濾。亦即：算法自動化決策→公權力機關認可或過濾→算法權力。
經過公權力機關認可或過濾的算法決策便以行政命令或司法裁判的形式作用于相對人/當事人。有學者將這一過程形象地描述為，算法技術事實上被公權力“收編”，算法權力披上了公權力的外衣而對相對人/當事人發生直接的法律效力，實質上具備了公權力屬性。
算法權力的以上兩個特點在公權力應用算法的各種場景中都有所體現。有的行政機關運用反應型算法來壓縮行政環節，提高行政效率。有的司法機關和行政機關運用預測型司法來推測未來趨勢，預測風險，為人工決策提供“專家咨詢意見”。反應型算法實際上成為了行政活動的一個組成環節，解決行政活動的信息不對稱問題；預測型算法僅存在于公權力機關的內部決策之中，旨在為公權力機關的決策層提供更全面的專業意見，以避免信息不充分而導致決策不完善或失誤。
反應型算法多適用于行政執法決定，最常見的例子是交通違章的自動識別。算法對監控數據進行識別分析，按照技術標準形成車輛違法數據，交警部門審核后發出處罰通知。簡單的事實認定和法律適用都由算法完成，相應的行政活動程序得到壓縮。但算法決策并不能直接成為行政決策，需要經過人工審核才能以行政處罰的形式送達違法者，亦即：算法決策→人工審核→行政執法決定。算法決策通過人工審核程序而受到監督，該程序發揮了把關糾錯的重要功能。
相較于反應型算法，預測型算法更普遍地適用于行政機關的預測性事項和司法活動中。例如，稅務機關應用算法預測稅務風險較高的相對人；上海市高級人民法院的“刑事案件智能輔助辦案系統”應用于刑事審判中的證據審查、事實認定、法律判斷以及審前程序中的逮捕社會危險性評估等領域，以幫助決策者作出判斷。司法裁判活動并非單純的事實認定和法律適用，其核心是法官的心證過程，這是算法無法替代的。因此算法在司法活動中只能提供參考意見，提供輔助決策、輔助支持、案件管理等功能，而不能像在行政執法活動中那樣替代人來完成事實認定和法律適用工作。正因如此，歐洲主要國家只是在審前程序有個別刑事司法人工智能應用，審判階段幾乎不存在司法人工智能應用。例如，德國警方除試用人臉識別、在個別地區使用預測性警務外，基本沒有引入刑事司法人工智能應用；法國禁止將基于人工智能技術的法律服務軟件應用于刑事案件，并且通過立法禁止基于法官和書記官成員的身份進行的人工智能裁判指引。可見，預測型算法的作用主要體現在，為公權力機關提供“專家咨詢服務”，至于“完全或部分采納算法決策，還是予以否決”，決定權始終在公權力機關手中。決策過程可以表示為：算法決策→提供咨詢→公權力決策。
綜上，在公權力領域，無論是反應型算法還是預測型算法的運用，算法權力對人的影響都是間接發生的，算法決策首先需要獲得公權力機關的監督審查或認可才能轉化為算法權力，正是這一中間環節使得算法權力成為了一種具有強制性的公權力（算法決策→公權力機關的審查認可→算法權力）。在明確這點的基礎上，進一步需要考察的問題就是，如何解決算法權力濫用問題。
（二）公權力屬性的算法權力仍應遵從正當程序原則
算法決策轉化為算法權力的間接性意味著，算法決策僅僅是公權力機關最終決策的影響因素或組成部分，從算法啟動運行到輸入數據都是由公權力機關發送指令進行控制的，決策內容表達的仍是公權力機關的意思。即便算法決策成為最終決策，也不意味著算法成為了真正的決策者，算法始終只是公權力機關的輔助工具。公權力機關與相對人/當事人之間原有的法律關系并沒有因算法的運用而被割裂或發生改變。因此，算法參與的行政行為或司法行為，并不會因缺乏意思表示要素而脫離行政/司法正當程序的約束。
無論是行政程序還是司法程序，都要求遵循正當程序原則。公權力運行程序包括工具性價值和程序性價值，前者關注具體流程，追求行政/司法效率，后者則關注相對人/當事人的聽證、申辯等程序性權利。借助算法的技術力量，公權力運行程序得以簡化，工具性價值得以提升。但程序性權利不能隨著算法的運用而被省略，否則會損害程序性價值，使相對人/當事人的程序性權利無法得到保障，導致“權力—權利”格局失衡。因此，從公權力運行角度分析，算法權力的公權力屬性意味著，算法權力運行必須遵從傳統的公權力運行規則——正當程序原則。
再從權力運行本身的角度看，鑒于權力濫用的危險總是存在，這種權力需要道德證成（moral justification）。道德證成必然包含著正當程序（due process）的要求，且需要結合價值目標進行審查，即實質性的正當程序（substantial due process）。
一言以蔽之，公權力運行理論與社會權力運行理論的分析都表明，在公權力領域形成的算法權力必須符合正當程序要求。
（三）算法權力的正當程序構建
現代法律程序所要實現的最低限度的正當程序至少包括公開性、不偏私和參與性要求。相應地，在公權力領域形成的算法權力由于具有公權力屬性，自然也應當遵從以上要求。本文側重于探討公權力機關在破解算法歧視問題中的作用，因此有關公民監督公權力的“參與性”內容在此不作展開。
正當程序要求權力擁有者公開權力運行過程，以此證明權力行使的正當性。這體現在兩方面：（1）權力運行的程序設計是正當的，沒有給權力的任意行使提供機會；（2）權力運行的整個過程是公開的。相應地，算法權力的正當程序應當包括兩方面內容：靜態方面，算法內部編程設計本身應當是中立的，摒除價值判斷的，且算法程序設計應當公開；動態方面，算法運行過程應當是公開的，且接受應用算法的公權力機關和公眾的監督。然而，這兩點都難以實現，因為他們違背了算法技術固有的偏向性和不透明性。那么，這是否意味著正當程序道路走不通？
正當程序的要求是針對算法權力，而非算法技術。即便技術層面的算法透明無法實現，也不會影響權力層面正當程序目標的達成。
就算法設計的中立性要求而言，正當程序雖然無法改變算法固有的技術性偏向，但可以限制非技術性因素，即那些刻意為算法編程制定歧視性標準的行為。這就要求公權力機關在應用算法時對算法程序的數據篩選標準有所了解。為此，算法開發者須作出相關說明或解釋。如果認為數據篩選標準不合理，可能侵害某些群體的利益，造成歧視性后果，那么公權力機關應有能力發現并要求開發者對標準進行調整糾正。
“不偏私”要求決定法律結果的法律主體應當處于中立地位，對參與程序的任何一方不得存有偏見或歧視。對于如何避免算法決策出現偏見或歧視，算法權力的間接性為此提供了啟示：在歧視性決策與相對人/當事人之間，公權力機關應扮演好主導者和監督者角色，保持對算法決策進行監督和否決的能力。
算法既可能出錯也并不“中立”，缺乏監督的算法決策可能出現歧視，缺乏限制的算法權力極易走向濫用。公權力機關對算法自動化決策的限制，根本上是對算法權力上升為公權力這一過程的控制。至于“限制”的度如何劃定，關鍵在于如何平衡效率（應用算法提高公權力運行效率）與公正（算法自動化決策導致算法歧視）之間的關系。對此本文認為，應從算法應用場景類型和算法自動化決策類型兩方面展開，根據不同的決策內容來決定采用何種類型的算法系統，進而制定具有針對性的適用規則。
公權力機關的決策類型名目繁多，但歸根結底無非三種類型：（1）有的決策只需要基于事實認定就可以作出，即“單純事實認定型決策”，例如根據車輛時速來決定是否開罰單；（2）有的決策需要在事實認定基礎上納入其它相關因素來綜合作出，即“裁量型決策”，例如行政罰款或司法裁判；（3）還有的決策面向未來，需要基于歷史相關數據和各種客觀因素，對未來可能發生的事項或人的行為作出預測，即“預測型決策”，例如城市未來的建設規劃和資源調配。
第（1）類決策運用了簡單的對比分析方式，只需要輸入待查找對象的信息（如犯罪嫌疑人的照片）或既定標準（如高速路的限速標準），并將實時獲得的數據（如公共場所的路人影像或高速路上每輛車的時速）與之進行對比，就可以得出清晰的結論：是或否。
第（2）類和第（3）類決策的過程就較為復雜，需要綜合多種因素分析，結論往往表現為發生概率的百分比。例如刑事量刑或行政處罰決定都需要綜合分析行為人的行為后果、動機、社會影響等因素后作出。那么，對于以上各類決策事項，不同類型算法可以在多大程度上參與決策呢？
本文認為，算法自動化類型與決策類型存在著一定的對應關系。根據算法是否獨立作出決策，算法自動化決策可分為全自動化決策和半自動化決策。算法全自動化決策應僅限于第（1）類決策；第（2）類和第（3）類決策宜采用算法半自動化決策。
就裁量型和預測型決策而言，人類應始終掌握決策權，算法只能處于輔助工具的次要地位，因此只能適用算法半自動化決策系統。算法半自動化決策為公權力機關提供類似專家咨詢的服務，但咨詢意見可能會因輸入的數據帶有偏向性，或因算法模型帶有某種價值取向而存在歧視甚至錯誤，因此算法決策不能直接成為具有法律效力的決策，只能為公權力機關提供參考。
結語
通常而言，解決問題的邏輯是“對癥下藥”：根據問題產生的原因來探索解決途徑。但該思路對于算法歧視問題卻難以奏效。算法歧視問題的產生原因在于技術層面，數據輸入、運行過程和輸出各環節的任何一個偏差都可能促成歧視性的決策結果。然而，純粹停留在技術層面的解決思路只能是“隔靴搔癢”，碰觸不到問題關鍵，旨在實現算法透明的算法排他權即是如此。算法歧視本質上是算法權力濫用的結果，因而，要解決公權力領域的算法歧視問題，有必要首先明確公權力領域的算法權力是如何生成的，以及這類算法權力的特殊屬性。公權力領域算法權力的公權力屬性決定了，這類權力必須納入權力運行的正常程序軌道中；否則，算法權力一旦走向濫用，就極易引發算法歧視。算法權力生成的間接性為正當程序的構建提供了基本思路：應用于公權力領域的算法須始終保持其工具地位，而不能像其在商業領域中那樣成為“決策者”；公權力機關須始終掌握對算法決策的質疑和否定權，阻斷歧視性算法決策向算法權力轉化。基于此，公權力通過介入算法設計來限制算法權力，以人的理性矯正機器運行中產生的偏見，并以公民權利監督算法權力，才能滿足正當程序關于“公開性”“不偏私”“參與性”的要求。
