人工智能時代算法歧視的程序法規制研究

李夢瑤

西安交通大學新聞與新媒體學院，陜西 西安 710048

國內學者對算法治理的探討觀點眾多，石穎從三維視野將算法歧視的規制挑戰分為技術建構上的結構性挑戰，算法運行上的功能性挑戰，平等權消減、算法權力擴張以及法律功能異化的隱藏性挑戰。曹博以二元邏輯從內外規制的體系結構、算法運行的“黑箱化”與內部規制的沖突、算法邏輯的相關性本質與外部規制的本質角度分析了傳統范式下算法歧視規制的結構缺陷和制度難題。已有的研究對算法失當治理和算法責任規制具有參考價值，但尚有不足之處：第一，缺乏從程序法角度科學界定算法責任的內涵、范疇邊界、內容構成；第二，缺乏從歧視生成全周期視角下的系統性、權威性的算法歧視程序法治理范式；第三，結合案例研究較少，對現實觀照不足。由此可見，現實困境、理論缺陷和政策風向都呼吁著算法責任治理的程序法規制進一步發展。程序法規制研究在算法倫理治理視閾下典型且聚焦，對算法倫理危機和算法歸責制度構建是一種有效思考。

一、人工智能時代算法歧視的內涵演進

（一）算法歧視的生成緣起

20 世紀，計算機科學之父艾倫· 圖靈開發出現代計算機的雛形并預見了現代算法的定義：在有限的步驟中產生問題的答案或問題解決方案的系統程序。而歧視指針對特定群體或成員的無理負面、有違公平的不道德行為，算法歧視是數據收集和分析過程本身的產物，即使設計者有最佳意圖，數據驅動的算法決策也可能導致歧視性做法和偏見結果。人類社會的歧視多來自消極態度（如歷史沿襲的陳舊價值觀、階級不平等帶來的差距等）和無意識偏見（如組織或群體文化），人際歧視有跡可循。算法系統中的歧視更抽象、更微妙、更無形，不存在人類歧視的等效信號機制（如憤怒和道德義憤）。帶有歧視的算法程序會復制和繼承現存的歧視模式，加劇、新增社會根深蒂固的偏見。

（二）算法歧視的類型界分

算前歧視即機器在執行設計者指令的過程中反映了人類的自身的意見和偏見，算法運行隱含著明顯的、可復制性的、程序性的缺陷，且這些缺陷導致輸出端不公平、歧視性的結果。

算中歧視歸咎于機器智能本身，使用者提前植入的算法邏輯和劃分規則是正當的，但通過計算機不為人所明析的算法運作，最終出現對不同群體的區別對待，“由數據分析導致的對特定群體的系統性的、可重復性的不公正對待［1］”，通常發生于計算機讀取、收集與分析數據時段，也被稱作自動化歧視［2］。

研究基于此視角將算法歧視分為歧視發生于算法前（人類建模）、歧視根生于算法（機器建模）、歧視發生于算法后（算法應用）三類，并深度分析算法歧視的滋生原因、規制困境，提出程序法規制策略。

二、人工智能時代算法歧視的滋生肇因

（一）歧視先行于算法設計——有限理性、社會規訓與數據偏差

第一，算法歧視是人類意識的延伸，是人類社會的偏見、歧視和刻板印象在計算機這一虛擬世界的映射和轉化，是對現有文化中存在的歧視進行歸納或“同構”后形成的數字社會下的文化禁錮和社會禁錮；第二，數據樣本質量參差不齊是算法外來歧視的另一重要源頭。在算法系統中，數據大多被默認采集，缺乏對最終用途或集體含義的明確取向，從而走向普遍數字行為主義。

（二）歧視根生于算法設計——標簽化歸納的技術邏輯、算法黑箱與人機差異

第一，算法的智能化體現在對新數據的歸類預測功能，這一功能的底層邏輯是從現有的樣例特征中提取、歸納、總結出普適規則。算法歧視就生發于系統不完全歸納和不合理歸納行為下。

第二，代碼的編寫和審閱高度專業化，技術壁壘會造成算法不透明。算法黑箱是造成算法歧視難以審計、難以監管的重要原因［3］。人工智能的學習能力有限，無法辨別并拒絕語料庫中的偏見，如族裔歧視、區域歧視、性別歧視等。算法決策的黑匣子在某種意義上剝奪了公眾的選擇權和參與權，侵犯了公民基本權利，而無需被問責。

（三）歧視后行于算法設計——數據雜糅、信息繭房與非中立性評估導向

算法在實際運行時會基于不同的數據條件或運行環境產生差異性決策結果。在數據動態交互情境即實施過程中，造成算法歧視的原因可歸納為數據雜糅、信息繭房和非中立的數據評估導向三類。

一是隱私信息和公開數據的雜糅使用。信息化時代，公民的人口學信息和隱私被商業算法平臺非法收集、存儲并用于開發營利。算法在運行中的決策已超出人為控制，系統會通過挖掘數據樣本的標志性特征進行匹配性歸納，并輸出差異化指令，將未經科學驗證的相關關系強加于主體；二是算法的信息繭房效應。算法通過個性化和差異化服務為平臺吸引黏性用戶，但過度投用戶所好剝奪了用戶全面了解信息的機會，平臺資本的逐利性不斷與算法進行著相互改造、協商與建構。精準刻畫用戶畫像、把握用戶心理的手段往往造成過度攫取用戶隱私信息，引發標簽化分類的算法歧視；三是算法應用主體的非中立性評估導向。信用評估通過交易記錄的批量分析來預測用戶的違約概率，這一思路多見于自然科學領域的概率統計（如工程師用一千座橋統計接下來可能會塌方的橋），調查結果對調查客體沒有影響，但測試違約概率的信用評估會影響評估客體（人）的違約概率。

三、人工智能時代算法歧視的程序法約束困境

（一）歧視生發于設計前——價值偏差、能力偏差與制度偏差難審查

來源于算法開發者、設計者、部署者和應用者（人或組織）的算法歧視均屬于人為型算法失當，算法開發行為主要受到主體價值認知、道德判斷和制度文化的影響。價值偏差上，算法使用平臺多秉持純粹自立原則，追求自我利益最大化，完全忽視算法對利益相關方訴求和社會價值的關切，甚至不惜踏破社會道德底線牟取暴利；能力偏差從算法設計者出發，要求其不僅要有算法編碼技術，還有具備審視算法是否符合社會利益的能力，對于敏感議題、引誘型設計、倫理缺陷設計有感知力，減少問題算法程序的誕生。制度審查上，當前廣泛部署的算法多采用商業邏輯，缺乏社會責任制度約束，算法開發者完全處于相對“自由”狀態。

（二）歧視生發于設計中——算法邏輯與商業秘密難公開

在數據保護適用懲罰性賠償案中，數據類經營信息符合商業秘密構成要件的，應予保護，審查中應結合數據組成和行業特征認定其保密性、秘密性、商業價值。網絡原始數據組成的衍生數據或大數據，或網絡公開數據結合其他尚未公開的內容組成新的數據信息，可依據秘密性要件審查其是否構成商業秘密。數據類信息應結合行業現實狀態及載體的性質，保密措施的可識別程度，認定保密措施應以適當為標準。直播平臺中獎數據反映經營者特定經營策略及經營效果，體現用戶打賞習慣和消費習慣等深層信息，可為經營者提供用戶畫像，吸引流量，獲得競爭優勢，具有商業價值。

1.先期的完全成本保險試點。2018年4月，按照我國農業農村部、財政部發布的2018年財政重點強農惠農政策，玉米、小麥、水稻三大糧食作物完全成本保險試點已經正式實施啟動，與之配套的《中央財政農業保險保險費補貼管理辦法》也明確了對三大糧食作物的更大支持力度。在原有農業保險風險保障主要覆蓋直接物化成本的基礎上，先期于13個糧食主省200個縣試點保障金額納入地租的完全成本類型農業大災保險基本已經成為共識。

（三）歧視生發于實施中——算法損益與責任主體難明確

規制算法歧視最基本的考慮是歸因和責任分配，讓相應實體對其決策和算法輸出負責。算法歧視層面的約束難度在于：第一，算法歧視造成損失傷害難以具象量化；第二，跟蹤算法歧視的輸出路徑不易，當前技術無法對算法黑箱徹底解密；第三，責任分配不易，全球化背景下，算法的設計涉及多方主體的共同努力，在負責設計算法的實體沒有預料到的情況下，其他實體可以出售、復制、修改或使用算法的核心源代碼。一旦算法造成傷害或損失，往往難以劃分、識別和追究算法相關責任主體的責任。

四、人工智能時代算法歧視的程序法規制路徑

（一）針對算前歧視的倫理審計與公平性約束

1．正當程序原則

公權力領域，智能化進程加快也催生了算法歧視。提高公權力領域算法運行的正當程序要求是從制度偏差規制算法歧視的有效途徑。在算法決策參與司法活動時，不同應用場景的算法要遵循嚴格適配的程序要求，例如犯罪風險預測算法會導致犯罪治理活動啟動時點前移，對偵查前帶有預測性證據的使用應當作出嚴格限制；在審判電商平臺檢索服務的算法是否公平時應充分考慮電商平臺的功能定位、人工智能的發展階段等因素，既要考慮到消費者對平臺推薦結果的依賴性進而嚴格審查檢索算法的合理性，也要充分尊重電商平臺的經營自主權。

此外，算法黑箱的善意使用應該被尊重和允許，例如為保護高校貧困生的自尊而利用算法黑箱進行的扶貧助學，高校通過后臺算法來監測學生每月在食堂的消費頻次、每頓消費金額來判定是否貧困，依據算法結果為貧困生打入補助。即利用算法“歧視”規避公開評定與資助引起的歧視。

2．實施過錯舉證責任倒置

在我國民事糾紛中，商品交易中的訴訟一般由被侵權人舉證，但是人工智能下的算法歧視糾紛，公民相較于開發者、使用者處于弱勢地位，算法歧視訴訟程序的取證步驟難以實現，可以嘗試利用舉證責任倒置原則，從“法無規定不可為”到“法無禁止皆可為”，讓算法程序的設計者來舉證證明自己算法程序的正當性，通過自己披露各項信息、報備數據以及其他平臺條例，證明自己設計的算法是合理正當地獲取數據，幫助用戶決策，并對可能出現的算法歧視自律自查。如果設計者不能充分證明，就存在違法的可能。

大數據產品或服務提供者使用公共數據時，應遵循來源合法原則、注重信息時效原則、保障信息質量原則、敏感信息校驗原則。對公共開放數據的不正當使用沒有盡到必要的注意義務，導致法人或自然人等原始數據主體的合法利益受損，公共數據使用者應承擔相應的法律責任。平臺可以通過委托鑒定的方式推演算法邏輯，必要時可通知鑒定人和雙方的技術輔助人員出庭做出專業解釋，輔助司法程序順利運行。

（二）針對技術本身的涉密證據保護制度與算法解釋制度

1．建立涉密證據的保密制度

第一，如有必要法院要依據實際情況限制證據交換范圍。如果平臺或者算法設計者提供的證據包含了企業機密，這部分證據可以規定不允許原告，即對方當事人查閱、摘錄或者以任何方式復制。但法院作為司法機關有權裁決證據的證明力，這在一定程度上可以打消被告方公開數據的擔憂，又能保證事關算法歧視的證據不因既定的交換程序而給企業帶來損失。

2．算法解釋制度

保證公私領域算法決策的可見性，即數據主體享有“知情同意原則”，數據主體應當充分意識到自己的法定權利，數據控制者應當充分遵守自身的法律義務。平臺行使算法需事先披露治理機制、管理規則以及算法相關技術原理，而且應當保障用戶的知情同意，同時亦應賦予用戶對算法自動化決策提出質疑和申訴的權利。當事人對算法參與環節、干涉方式和程度有知情權，且有權合理懷疑算法歧視的存在，算法必須征得當事人對于自身數據的合理采用的明確同意。

（三）歧視生發于算法設計后——引入庭前會議、認定責任主體、擬行公益訴訟

1．引入庭前會議制度

庭前會議適用于“證據材料較多，案情重大復雜，控辯雙方對事實、證據存在較大爭議的以及社會影響重大的案例”中，算法歧視訴訟案可以借鑒這一思路。庭前會議的工作涉及明確當事人訴求、調查收集證據、組織交換證據、歸納爭議焦點、進行庭前調解等等。考慮到算法歧視案件的特殊性，法官可以通過庭前會議制度梳理基本案情，對于有意思自治的雙方當事人可以進行調解，當算法歧視訴訟案件的雙方當事人爭議過大，或案件較復雜需進一步審理，再將案件轉入審理程序。

2．認定算法歧視的責任主體

明確算法歧視案件的責任主體是規制算法歧視的必要步驟，但由于算法領域本身的復雜性，責任主體認定難以落實。參考《中華人民共和國民法典》侵權責任編的思路，算法歧視案例的責任主體可以分為三類，即算法開發者、算法使用者和侵權責任人。

糾紛因算法內部造成時，責任主體為算法開發者；糾紛起于算法使用過程，甚至是使用者惡意濫用算法，需追究算法使用者責任。在利用程序法規制時，單獨數據利用行為，應當結合行為的方式、手段、目的、后果等綜合分析。適用《中華人民共和國反不正當競爭法》“一般條款”判斷數據不正當競爭行為，可以結合原告主張保護的數據類型及程度、被控行為給原告造成的損害程度、數據獲取行為突破原告限制措施的情形、數據利用行為的創新程度進行判斷。若算法的開發者即使用者，二者一致，那就基于《中華人民共和國電子商務法》來追究經營者，即使用者的責任。

3．建立算法侵權公益訴訟制度

主觀上，大數據算法歧視的技術門檻決定了大多數用戶群體難以真正深度了解和直接接觸，甚至對于事后的救濟途徑都缺乏了解。所以開通算法救濟渠道、建立行之有效的算法訴訟公益制度、為算法歧視受害者提供專業的救濟是直接且行之有效的解決辦法。

客觀上，我國程序法的當事人適格理論，是指對于特定的訴訟可以自己的名義成為當事人的資格。適格當事人就具體的訴訟作為原告或者被告進行訴訟的權能。算法可能因未實際享有實體權利、承擔實體義務被判定為非正當當事人，算法歧視案件難以被受理。在現有法律救濟手段存在盲區的環境下，公益訴訟制度立足于啟動對特定侵權公益行為的國家追訴。在現今算法歧視治理法律缺位及失靈情況下，算法歧視公益訴訟有望成為人工智能時代公益訴訟制度在算法歧視治理層面的預設性嘗試。

在我國，公益訴訟制度分為民事公益訴訟和行政公益訴訟兩類，當算法設計者和使用者的算法侵權行為被起訴，原告要求被告停止侵權行為、賠償相關損失、消除或者降低算法歧視帶來的消極影響時，適用民事公益訴訟；當算法歧視行為的過錯更多在于行政管理部門的不作為甚至放任，原告要求追究管理部門責任，要求管理部門履行職責時，適用行政公益訴訟。

在立案模式上，算法歧視公益訴訟可仿效環境公益訴訟采取綜合立法與分散立法相結合的立法模式，算法歧視的公益訴訟可以對兩部基本法的司法解釋進行延伸應用；受案范圍要結合層出不窮的新型算法歧視不斷擴展，學者劉玉綽主張應該將以催化算法歧視為目的的個人信息侵犯行為，算法產生的族群歧視、性別歧視、年齡歧視、大數據殺熟、算法定價共謀納入算法歧視公益訴訟范圍。啟動主體資格層面，因為我國現行程序訴訟法未賦予公民公益訴訟的原告資格，且權力下放可能導致濫訴，故將啟動主體限定為法定機關、有關社會組織和檢察院，同時結合《中華人民共和國網絡安全法》《中華人民共和國數據安全法》《中華人民共和國電子商務法》等單行法，將算法歧視公益訴訟的啟動主體及“轄區”判定標準具體化、標準化。算法歧視公益訴訟的訴前程序應采取公益行政公益訴訟訴前程序優位，給予行政機關更多自主權，從而實現經濟、效率和尊重。

五、結語

在算法日益涉足人類決策尤其是司法決策的時代，盡快建立相應法律責任機制，預防、削弱或杜絕算法歧視乃當務之急。本文從程序法規制視角出發，從算前歧視、算中歧視、算后歧視三個階段總結規制困境，提出倫理審計與公平性約束、涉密證據保護與算法解釋度、設立庭前會議、認定責任主體、擬行公益訴訟等路徑，在司法實踐中構建更加具體可行的應對措施，避免算法成為異化的決策體系，讓公平公正照進虛擬，實現科技進步與平等權保護的平衡。