信息系統自動決策機制中的算法歧視

向 杰

西南科技大學，四川 綿陽 621000

一、問題的提出

自動化決策在為我們帶來公正、客觀、高效的同時，也伴隨著難以覺察、難以獲知、難以證實等特點。但由于其本身會帶來的歷史數據偏差，以及算法設計者本身的主觀性［1］，算法會不可避免地出現歧視性，甚至錯誤的決策。如2008年的B公司“競價排名”事件、2016年的“魏某西事件”，再到2018年的“網約車價格歧視事件”等。信息系統的自動化決策機制正在通過各種領域，直接或間接地影響著人們的各項基本權利。

大數據時代，自動化決策機制得到了廣泛的運用，但現實社會的迫切法律需求是：當自動化決策機制作出了錯誤的或歧視性的決定時，處于不利地位的相對人如何獲得有效的救濟?與之對應的是所產生的責任由誰進行承擔?在利用算法進行決策的領域，哪些應該得到開放，哪些則應該進行限制，算法決策的邊界在哪里?在我們對算法進行審查的同時，對于企業的商業秘密如何進行有效的權衡?

為此，通過法律途徑［2］保證算法自動化決策機制的合理性、公共性以及正當性，減少算法歧視造成的群體極化現象，應該成為當前法律關注的焦點問題。在對自動化決策造成的現實問題進行剖析的同時，應結合我國當前的法律制度，以及歐美的人工智能治理經驗，以期在算法歧視的背景下，尋找出應對自動化決策機制的法律途徑。

二、算法歧視的類型性分析

（一）算法歧視的含義

算法一詞，起源于《周髀算經》，而Algorithm（算法）則來自于9世紀的波斯數學家alKhwarizmi，由其在數學上提出了算法這一概念。算法，指的是為了應對解題方案的完整且準確的描述，是解決問題的一系列指令，即用系統方法解決問題的機制。算法通常具有五個特性，即：可行性、有窮性、確定性、輸入性和輸出性。而算法通常用來解決結構化問題與非結構化問題，即定義良好的問題與定義不清的問題。

歧視，是由偏見的態度和認識引起的，是指對于偏見目標和受害者所采取的否定性的行為表現。其中，由全國人民代表大會常務委員會所批準的《1958年消除就業和職業歧視公約》的決定第一條表明：歧視是由于個體的身份屬性，表現出來的不合理的評價和主觀的區分，主要表現為三個要素：不合理對待、造成不良后果以及欠缺法律理由。

算法歧視，是指算法在運行過程中所出現的重復性的、系統性的錯誤，同時基于這些錯誤對某些群體或個體產生了不公平的算法結果，由此損害其正當利益。算法歧視的發生，在主觀性上既可以表現為無意識也可以表現為有意識，其主體既可以是算法本身，也可以是算法設計者或算法使用者，而對于結果的發生通常都是難以覺察、難以獲知和難以證實的。

（二）算法歧視的特征

隨著算法在大數據時代的應用，算法歧視也發生了日新月異的變化，而算法歧視本身也被賦予了鮮活的時代特征。

1.算法歧視的隱秘性。隱秘性需要從兩個角度進行解讀，一方面，從內部特征而言：算法本身具有“黑箱”特性，而它在運行過程中所表現出來的“相關性”難以被社會大眾所理解，所輸出的結果是無法追溯的，在此過程中算法被理解為一種“黑箱”。從外部角度而言：算法本身所涉及的內容，大都為一個公司的商業秘密，因此算法的使用者往往基于信息程度上的強弱差異，對算法的結果進行掩蓋，而這種掩蓋的結果往往難以被發現。

2.算法歧視的復雜性。算法歧視之所以復雜，一是基于算法技術本身的復雜性，算法是基于底層決策的模型而進行運作的，同時算法模型可以進行“自主學習”，隨時間的變化而日趨完善，其復雜性不言而喻；二是算法的運作邏輯在于“人機互動”，不同類型的數據在不同的環境中，會表現出不同的差異性，而算法最終的結果增加了算法歧視的復雜性。

3.算法歧視的類型性。由于“數據池”基數的龐大，在算法運作過程中需要根據算法的使用目的以及數據特征，進行有序的數據排列，從而對數據值進一步的賦予權重比例。于是算法標簽與歧視性結果便產生了關聯，而這類算法對特征性的群體則具有類型性的特征。

（三）算法歧視的類型表現

算法歧視根據是否涉及身份關系，大致可以分為兩類：身份性歧視與非身份性歧視。前者指的是社會集群的身份屬性［3］，后者指的是不涉及身份屬性的算法歧視。

1.身份性歧視。此種類型劃分下，包括性別歧視與種族歧視。在數據化的時代背景中，由于性別觀念以及種族偏見等逐漸演變成了算法的內在運作機理［4］，而在數字化的作用下，其偏見正在不斷地固化與加深。同時由于技術的“非中立性”，在“黑箱”效應的影響下受歧視的群體難以察覺，更難以得到救濟。

2.非身份性歧視，包括價格歧視與排名歧視等。此種類型的歧視，主要指的是雖然個人不受到身份的影響，但卻仍然遭到了不公平的對待。算法的使用者通過搜集有關顧客的終端操作系統以及個人喜好等個人資料，通過算法搭建模型，從而實現對每一位客戶的“精準營銷”，以及在算法的作用下，利用“算法排名”壁壘，進行不正當的競爭，破壞市場競爭秩序。

三、算法歧視的法律適用難題

（一）《電子商務法》適用上的不足

算法歧視作為大數據時代的產物，在使用環境上也屬于線上交易，但在《電子商務法》中，卻存在適用上的不足，具體而言：

1.《電子商務法》第十八條對算法做出了針對性措施，但未禁止算法的使用。這樣的做法，雖然使消費者的選擇權得到了保護，但是并沒有賦予信息主體算法的拒絕權，算法的使用者以及設計者仍然可以通過算法來造成算法歧視這一現象的產生。

2.《電子商務法》第二十四條規定了信息主體對于其個人信息的收集使用以及使用方式的決定權，學界統稱為“知情—同意權”［5］。但在實際的使用過程中，很難得到貫徹落實。信息的收集使用往往是通過隱私政策的方式進行實現的，但在實際情況中，用戶往往未實際閱讀其中的內容，便同意了相關的條款。同時，信息的收集者在信息的搜集過程中也未預料到信息的全部使用方式，無法切實完全履行告知義務。

（二）《消費者權益保護法》適用上存在爭議

在《消費者權益保護法》上的爭議，主要是來自于對算法歧視在法律上如何定性的爭議。一方面，經營者有義務向消費者表露商品或服務的價格，但卻在同一情況下以另外的更高或更低的價格，展示給另一消費者。

這種價格上的差異，打破了我們對于“同一價格”的傳統認知，但這一行為是否違反了法律，還需要進一步的解釋。另外一個爭議，則是算法歧視行為是否侵犯了關于消費者的知情權。這一爭議的關鍵在于經營者是否有義務向消費者提供其他人交易時的價格信息，這一問題在法律上還未做出規定。

（三）《個人信息保護法》在實踐運用上的不足

《個人信息保護法》第二十四條規定：在自動化決策中，個人信息處理者在利用個人信息時，應當遵守相應的規則，其設立目的在于自動化決策的特殊性，在個人享有知情同意權的同時，個人信息處理者應當保障個人知情同意權，以及履行相應的法定義務。但問題的關鍵在于，當算法侵害了個人信息權益，造成了算法歧視時，在實踐中應當如何運用《個人信息保護法》的規定，保障個人的合法權益呢？首先，違反《個人信息保護法》第二十四條關于透明度與結果公平合理的要求時，可以直接要求算法使用者承擔相應的責任。但是，此時仍然存在著一個新的難題，即決策透明度的標準為何，以及如何判斷結果的公平合理？其次，《個人信息保護法》第六十九條規定了信息處理者應當負的民事賠償責任，但值得細究的是，此條規定的侵權損害賠償，是否包括精神損害賠償責任以及如何認定相應的數額呢？同時，我國的《民法典》對侵害個人信息權益的侵權責任適用哪種歸責原則并沒有進行明確。

四、算法歧視的認定及其民事責任

（一）算法歧視的認定

進入大數據時代，數據資料的生產為我們帶來了巨大的便利。但是，如若對算法歧視采取一個嚴格的審查標準，無疑會扼殺掉大數據的創新價值。為此，在司法和監管的這一層面，建立起對算法歧視的認定標準［6］就顯得尤為重要。目前，學界關于算法歧視的認定標準主要有三大類：

1.在主觀態度上，著重分析算法歧視這一行為是基于使用者的錯誤感知還是基于使用者的偏好。如果算法的設計條件是根據客戶的不同喜好而設置的差異化選擇，這種情況下是有利于資源的優化配置。反之，歧視的發生導致了使用者的錯誤感知，這種算法則屬于一種歧視，損害了使用者的利益。

2.在使用環境上，需要觀察市場的透明度。即算法主體是否知曉或者能否知曉自身受到了歧視，這種情況下更能被認定為違法行為。

3.在具體的行為上，需要分析這種具體的算法行為是屬于歧視性算法還是屬于歧視性杠桿［7］。從而判斷算法的使用者或者設計者對自身的產品或服務是否附加了歧視性的算法在其中。

在當前的法律中，這一思路能夠一定程度上對算法歧視進行認定。但是，隨著算法隨時代不斷變化這一趨勢，我們可以嘗試通過一些原則性的認定標準，來更好地對算法歧視進行認定，具體而言：一是差別性的影響標準。通過觀察算法的最終結果是否產生了差異性的影響，而在此過程中，不需要考慮算法的使用者或設計者是否有歧視意圖。二是不同待遇標準。當算法的使用者或設計者有主觀的歧視故意時，通過不同的待遇標準來對算法歧視進行認定。

將兩者進行綜合考慮，顯然前者的認定標準更有利于算法主體來維護自身的合法權益，在算法歧視中，使用者或設計者的主觀意圖具有很強的隱蔽性，往往不會表現出強烈的意圖，這使得對其認定十分困難。在不強調使用者或者設計者是否存在歧視意圖的前提下，重視算法所產生的結果是否具有歧視性，能夠對司法和實際的審查提供更好的參考價值。

（二）算法歧視的民事責任

隨著算法決策在日常生活中的廣泛應用，算法歧視也引起了普遍的關注。從時間維度的角度上來看，目前學界應對算法歧視主要有事前預防和事后救濟兩種模式。顯然，事前預防較之后者更為重要，但是在欠缺統一標準的情況下，事前預防這一舉措會受到很多的限制。為此，在傳統民事的框架下，通過事后追責的救濟模式，是最為可行的方式。

自動化決策，是指計算機算法依據個人信息進行自動化決策。在此過程中，算法的使用者或設計者違反了相關的義務，應當承擔相應的民事責任。

1.違法性。個人信息的處理者或設計者在自動化決策中，一旦違反了法定義務，就具備了違法性，反之，如若是依法進行的自動化決策，即使產生了損害，也不承擔相應的責任。具體而言：一是違反了公平合理性。這是基礎性的要求，行為者在自動化決策中，沒有履行相應的告知義務，導致了不公平的后果，造成了個人權益的損害。二是提供了個人特征的權利選項。使用者在商業活動中，向不特定的公眾在選項中提供了真實且具有可識別性的個人特征，而沒有進行隱私保護。三是沒有提供拒絕方式。個人沒有辦法拒絕行為者在此過程中所提供的商業推送或服務，使用戶無法依據自身的真實意思表示而進行拒絕。四是未經信息主體同意，公開決策結果。未經個人同意的授權，向公眾公開了自動化決策的個人信息，具有違法性。五是泄露個人信息的決策結果后未采取補救措施。一旦個人信息泄露，行為者必須及時采取補救措施，防范風險的進一步擴大，未及時通知相關部門和權利主體的，可認為具有違法性，沒有履行有關的義務。

2.損害事實。自動化決策的行為主體在實施了相應的違法行為之后，造成了權利主體的利益受損，就產生了相應的損害事實，其中包括財產利益和精神利益。一方面，財產利益的損失可依據行為主體所擁有的財產和因其自動化決策所獲利益來進行判斷。另一方面，精神利益的衡量則可以依據《民法典》第一千一百八十三條的“嚴重損害”來進行判斷。

3.因果關系。在利用自動化決策，造成算法歧視的案件中，應適用“相當因果關系說”。即自動化決策中的行為主體利用自動化決策實施了某種違法行為，造成了某種損害后果，同時自動化決策主體正好實施了此種行為，且造成了該種后果。則兩者之間具有因果關系，成立該要件。

4.主觀過錯。這是其主觀要件，當權利主體要求自動化決策的行為者承擔賠償責任時，適用過錯推定原則。通常情況下，自動決策的行為主體在其決策過程中，無視了權利主體的合法利益，實施了違法行為，放任了結果的發生，在主觀方面具有過錯。反之，如若行為人證明了自身已經盡到了合理的注意義務，則無需承擔責任。