算法歧視的法律規制

周先偉

（東華理工大學，江西南昌，330000）

一、算法歧視現狀

（一）事例導入

1.2016年，劉某在某機場通過網約車平臺預約“普通型車輛”，實際來的卻是七座商務車。盡管網約車平臺特殊時期實行“調換車型，費用不變”舉措，但實際卻按商務車型收費。

2.廖某因出差需要經常預訂國內某知名酒店。廖某用自己和朋友的賬戶在相同條件下查詢的房價居然相差50元。酒店平臺回復稱可能是手機后臺緩存的問題。

3.2014年，亞馬遜公司上線了一款名為“算法篩選系統”的程序，設計人員發現該算法程序識別出“女性”或“女生”相關詞匯的時候，會給該份簡歷相對較低的分數。

（二）問題歸納

上述事例共同點體現為當事人受到算法不平等的對待。事例1中，網約車針對同一客戶給出不同價格，盡管網約車平臺給出“服務升級，費用不變”的解釋，但實際仍按升級后的車型計費；事例2中，不同用戶查詢的客房價格不同，按常理，回頭客都會有相應的優惠待遇，然而廖某不僅沒有享受到優惠反而因為“特殊身份”收到了更高價格待遇[1]；事例3中，“算法篩選系統”在無形之中對女性產生歧視。分析可知，造成該結果的原因在于程序設計員輸入的原始數據存在片面性，缺少足夠數量的女性求職者簡歷。

三事例顯然違背了企業經營應遵循的公平誠信原則，同時也違背了正當程序要求。舉例言之，當下線上購物狂潮火熱，愈來愈多人選擇線上購物，消費者在特定網站平臺購物，網站顯示的商品價格比同一平臺其他用戶查詢的價格高，此種行為即違背正當程序的要求；專門用來預測罪犯在未來再次犯罪的概率和對社會危險性程度的COMPAS算法人工智能程序，對不同膚色測試者給出的結論各異，由此，可以認為無論此預測結果是否對測試者有利，皆表明該算法程序違反正當程序之要求[2]。

二、算法歧視表現及影響

結合國內相關學者研究，算法歧視本質是大數據悖論，是互聯網時代算法程序對數據收集、分析、整合、輸出過程中產生的同現實世界表現一致的歧視，形式為性別歧視、年齡歧視、種族歧視、政治歧視、弱勢群體歧視、價格歧視[3]等。價格歧視是經濟學中的術語，指商品或服務的提供者在向不同的消費者提供相同級別、相同性能和質量的產品或服務時，所對應的價格或者制定的收費標準存在差異。

（一）大數據殺熟

算法歧視已滲入到社會生活方方面面，購物、租房、出行等領域都有其身影。主要表現為隱性歧視和顯性歧視，顯性歧視極易被察覺。例如，公司招聘員工時設置身高、性別、年齡等敏感選項，由于勞動法等法律明確禁止歧視，故此類歧視較少存在。狹義上的算法歧視指隱性歧視，現階段大有不斷擴張之勢。于現實世界，基于不同生活經歷、認知能力、教育背景，對同一事物形成的印象存在差異，僅依據上述特征形成的看法存有片面性。此類似“刻板印象理論”，即人們對某個事物或物體形成一種概括固定的看法，并把這種看法推而廣之，認為該事物或者整體都具有該特征，從而忽視個體差異。換言之，任何人在任何地點針對同一事物都有可能產生片面性的看法，這點是不可避免的[4]。隱性歧視通常體現為大數據殺熟。即商家運用算法程序，對平臺內消費者瀏覽、購物記錄進行匯總分析，產生囊括消費者個人偏好、購物習慣、消費水平的畫像，再經由差異化定價測試，最終得到消費者最大支付意愿信息，進而針對不同人設計不同價[5]。

1.亞馬遜差異化定價

2000年，一位亞馬遜用戶反映，自己在亞馬遜購物平臺瀏覽一款產品之后，將其刪除，再次瀏覽該產品卻發現曾經瀏覽過的DVD商品銷售價格由原來的26.24美元下降為現在的22.74美元。對此不少用戶反映自己也曾遭遇過亞馬遜平臺這種區別定價行為。一經報道，一時間亞馬遜平臺成為眾矢之的，此事發生后不久，亞馬遜CEO貝索斯針對此事公開道歉，稱這只是平臺進行的一項差別定價實驗，并非專門針對某一用戶，也絕不存在竊取用戶數據信息行為，這僅僅是測試[6]。亞馬遜的這一行為無疑是利用搜集來的用戶數據，使價格歧視成為了可能。

2.線上企業店大欺客

2018年，中國青年報社社會調查中心聯合問卷網對2008名受訪者進行的一項調查顯示，有51.3%的受訪者明確表示自己遇到過互聯網企業利用“大數據殺熟”的情況，59.2%的受訪者指出信息不對稱在大數據時代愈演愈烈，處于弱勢一環的消費者最易受到不平等對待，59.1%的受訪者希望價格主管部門盡快出臺相關規定以此規范互聯網企業歧視性定價行為[7]。

線下購物環節明碼標價，故難成差異化定價之格局，然互聯時代到來，使商家差異化定價變為可能。2018年，人民日報發表評論稱“殺熟”是“店大欺客”的表現，不利平臺發展也損害消費者利益。古人做生意講以誠相待，誠信經營，對新用戶和老客戶提供的價格應相同，即使存在差異也應明示，且皆應盡可能提供優質服務。買賣雙方往往經多次交易才建立互相了解、彼此信賴關系，本應更加悉心維護[8]。但大數據“殺熟”的到來，顛覆了普通人的常識，此模式下越熟悉的客戶越要付出更高的代價。商家借助算法實施差異化定價顯然是利用顧客的信任度來追求短期的超額利潤。

（二）算法歧視影響

人民日報稱算法歧視本質為隱藏型差別化定價，即“大數據殺熟”歸根結底是一種“店大欺客”行為。企業商家通常經濟實力雄厚，具有一定業內影響力，依仗自身在行業中所占主導地位，自認為擁有客戶的信任度，實施隱藏的差別化定價，如此導致客戶獲得有瑕疵的服務。與線下差別化定價行為比較，線上“殺熟”行為更具隱秘性、維權之路更艱難。隨著互聯網發展，引發線上消費井噴之勢，隱藏型差別化定價套路給消費者帶來的消極影響逐漸加深。有學者言，差別化定價，實為老客替新客的差價買單。長此以往，差別化定價不僅損害老顧客，更斷送了企業長久發展之資源。這種殺敵八百，自損一千行為實則愚昧至極。

1.損害公平交易權和隱私權

算法歧視對消費者的公平交易權和隱私權造成不利影響。差異化定價導致消費者在購買商品時不能得到與他人相同價格的待遇，是對消費者公平交易權的損害；算法平臺將收集到的用戶數據在不同平臺間互換，借此給用戶推送特定廣告，損害用戶隱私權。與誠實、守信、公平等原則背離的算法歧視通過自身發展進化，逐漸發展為一種與現代社會相隔離的“黑箱社會”。凱茜·奧尼爾在《數學毀滅武器：大數據增加不平等和威脅民主》中強調，我們逐漸依賴的算法已被證明具有不透明、可擴展且不公平的特性，如不加規制，可能會給我們造成更大的毀壞，算法歧視會加深民眾對黑人的歧視、強化種族歧視和加劇人與人之間的不平等。公共領域算法判斷某人是否具有危險性,可能恰巧與恐怖分子同名,便被算法系統標記為疑似恐怖分子而受到警方詢問查驗,此事例在美國已經發生多起[9]。

2.損害經營者合法利益

Page Rank算法是運行在Google的網頁排序算法。Page Rank將每個目標網頁進行附權值，網頁越靠前表明該網頁權重越大，網頁越靠后則權重越小。另言之：誰被引用的次數多，誰就越重要。Google Shopping服務業務進入歐洲市場初期，Google公司為增強該業務競爭力，將Google Shopping所含商品排除在Page Rank算法等網頁排序算法審查范圍之外，并將上述商品信息置頂于搜索頁面。歐盟競爭和反壟斷事務調查人員經過調查表明，Google濫用了它在搜索引擎方面的市場主導優勢——在歐洲，Google的市場占有率超過90%。自從Google Shopping在搜索結果中的顯示位置被突出之后，其他比價服務網站（例如英國的Foundem）流量應聲下降。Google公司這種以算法為工具，限制其他經營者的正常經營行為，是不正當的[10]。經營者運用算法技術限制其他經營者正常經營的行為，損害了正常經營者的合法利益，破壞了市場秩序。

三、域外規制現狀

（一）美國：司法審查算法與賦予算法“可解釋性”

1973年，聯邦最高法院審理了一件算法歧視案。原告訴稱麥克唐納道格拉斯公司在雇傭算法中刻意設置種族、膚色、宗教、性別或國籍等因素限制應聘者就業權。法院經過審理查明，麥克唐納道格拉斯公司雇傭算法程序確實存在限制應聘者平等就業權行為，故判決公司行為構成歧視[11]。2010年“岡薩雷斯訴谷歌”案中，法院通過對“95年《指令》的適用范圍、95年《指令》的適用地域、搜索引擎的經營管理者在95年《指令》下的責任范圍、95年《指令》確認的數據主體的權利范圍”綜合審查后認為谷歌公司以獲取利潤為目的，借助早已過時數據來提高自身搜索引擎能力的行為侵害了原告隱私權，給原告造成了歧視性影響，其行為違法。故此判決谷歌公司刪除搜索結果列表中的鏈接[12]。賦予算法“可解釋性”，加州伯克利大學研究人員針對算法歧視性問題提出，在設計A算法程序時加入B算法作為對前者的監測記錄算法。

（二）德國：數據采集行為雙重規制

1977年德國聯邦立法機關頒布《德國聯邦數據保護法》（BDSG），該法規定，對公共領域和私人機構數據采集行為進行統一規制，公共領域和私人機構按要求必須對個人數據盡到謹慎保護義務，法定機構和人員負責對保護工作跟蹤監督，以減少數據濫用行為，實現個人數據保護工作全面覆蓋為目的。

（三）歐盟：禁存“算法偏見”

《通用數據保護條例》（General Data Protection Regulation，簡稱GDPR）在前言中對profiling系統中的算法偏見進行定義，并在其后規定一系列用于減少甚至消除算法偏見的方法。為保證在處理數據過程中始終保持公平和透明，特定情況下數據掌握者應盡量避免人為因素干預，應借助計算或統計程序，采用組織化與技術化相結合的方法，一定程度上將個人數據中的不確定性和風險影響性減少到最低水平；數據主體的利益和權利是否遭受潛在風險、數據主體的個人基因或健康等敏感數據同樣需要嚴格保護。此外，GDPR為數據擁有者設置一項義務：對數據保護風險進行識別和最大程度減少，即“數據保護影響評估”（Data Protection Impact Assessments，DPIA）。

四、法律規制建議

為更好地貫徹落實《中華人民共和國網絡安全法》規定的個人信息收集、使用的“合法、正當、必要”基本原則，2020年10月1日實施的《信息安全技術個人信息安全規范》，對APP安全認證問題作出規定。該規范旨在解決公眾反映強烈的APP“任意索權、關聯授權、任意收集信息”等問題。同時，對現階段各類APP在運行期間存在的不合理現象，例如，未對用戶盡合理告知義務、APP賬戶注銷困難、任意索要用戶照片、個性化信息推送難關閉、第三方未經授權隨意接入等問題，制定了一系列規制舉措，指導APP設計、運行標準，進一步完善個人信息保護體系。

（一）拓寬《反壟斷法》主體范圍

部分學者認為，國內算法歧視行為的立法技術尚未成熟，為避免立法失誤，現階段不適合貿然立法。一項法律從孕育至誕生，離不開與現實社會的結合，算法歧視雖產生消極影響，然現階段遵循底線思維，結合當前社會實際，修正完善現有法律，使其對算法歧視更具針對性，對其實行可“保守規制”更符合實際。通過對大量實例分析可知，算法歧視實施主體有時并不具有市場支配地位。根據《反壟斷法》第六條之規定，構成不正當競爭之主體必須具備以下特征：具有市場支配地位。依據該條規定，不具市場支配地位的經營者主體所實施的行為不構成不正當競爭。然而，算法歧視本質上即為經營者依托算法程序建立優勢地位，濫用算法技術和消費者數據，實施侵害消費者合法利益、損害其他經營者利益及擾亂正常社會秩序的行為。借助該種不正當競爭行為，經營者獲取了超額利潤。因此，應當適當拓寬《反壟斷法》中“支配市場地位的經營者”范圍，認定“經營者濫用算法技術實施差異化定價，導致消費者和其他經營者合法權益受損失的行為”同樣構成不正當競爭。

（二）對算法源數據實行安全監管

首先，對算法源數據作恰當分類。將算法源數據分隱私數據和普通數據。細言之，針對隱私數據（姓名、住址、聯系方式等）應盡特別謹慎之義務限制使用：禁止商家將消費者隱私數據儲存流轉；就普通數據則只需盡一般注意義務即可。如此規定可在一定程度減少平臺“大數據殺熟”行為，又可以最大程度提高源數據的利用率。其次，應完善源數據分析技術，該技術應由政府掌握并行使，針對平臺“大數據殺熟”，源數據分析技術對消費者的消費行為作出整合后，及時將可能產生殺熟之預測反饋給消費者，目的是最大程度避免消費者受到算法歧視的損害[13]。

（三）建立平臺算法審核機制

由政府人員、算法技術員、高校老師和普通人員組建“算法審查委員會”，定期或不定期對平臺算法運行情況進行審查監督，減少企業利用算法實施算法歧視行為。“算法審查委員會”人員配比最大程度保證其公平合理性：政府人員的參與可保證其權威性，算法技術人員的參與可解決技術問題，高校老師的參與有利于向學生普及算法相關知識，普通人員的參與可在一定程度落實公民參與權。“算法審查委員會”要求企業定期對平臺算法開展復查，并將復查報告對外界公布（涉及機密的算法應做技術處理），以復查報告作為企業是否存在算法歧視的重要審核依據之一，針對復查結果中可能存在不當使用算法的企業，“算法審查委員會”有權將其公示在國家企業信用信息系統；對于確定存在運用算法擾亂市場秩序的企業，市場監管部門可依據《反壟斷法》《消費者權益保護法》或其他既有法律法規作出處罰[14]。

（四）算法解釋權

賦予數據主體算法解釋權。即數據主體認為平臺算法輸出之結論偏離自己預期且該結論與自己合法權益關系密切時，有權要求平臺對該算法工作原理（相關數據分析處理過程）解釋。杜宴林教授認為，設置算法解釋權一方面賦予數據主體在算法程序得出的結論與自我預期差異過大時有知悉真相之權利；另一方面，當平臺算法存在設計不合理、源數據表現偏差，數據主體有要求救濟的依據。于此需要說明的是，算法解釋權并非意味將平臺算法所有運算代碼公開，這既違反《反不正當競爭法》等相關法律規定同樣也違背公平性，多數算法運算代碼涉及商業機密，數據主體完全知悉算法的運算原理及過程缺乏現實操作可能性。另言之，算法解釋權最終目的乃通過有針對性的開放以可被理解的方式提升平臺算法的透明度，在保證合法公正前提下不干擾企業正常運行[15]。賦予數據主體算法解釋權能夠明確平臺管理者算法解釋義務，增強算法透明性，維護數據主體知情權，增強算法可責性。

五、結語

算法歧視涉及到個性化定價，殺熟是通俗表述，針對算法歧視問題需要根據我國現階段國情來解決。“大數據殺熟”本身是一個中性詞，并沒有好壞之分。運用大數據殺熟實施不正當競爭和損害消費者利益的行為，有規制之必要性和急迫性。算法歧視是否形成競爭損害可從消費者福利和社會總福利兩方面分析。消費者福利標準以保護消費者利益為原則，認為差異化定價行為比統一定價更加損害消費者利益,即消費者無任何義務為高低價“買單”；整體福利標準以提高社會總體福利為原則，允許經營者運用差異化定價方式最大程度吸引消費者,借此補償經營者因低價銷售環節之損失。故此應以消費者福利標準作為違法審查標準基礎，防止算法歧視行為野蠻生長。《反壟斷法》《消費者權益保護法》《民法典》等不同部門法應相互協調，尤其要發揮《反壟斷法》在殺熟行為中的特別作用。針對消費者群體，市場監管機構要及時通過監管規則向市場釋放信號，通過進一步提升算法透明度來解決算法歧視引起的問題。算法歧視規制體系的完善不僅有助于人工智能的良性發展，人工智能輔助下的科技發展對我國建設現代化的科技強國也大有裨益。