999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

數字正義論:理論內涵與實踐機制*

2022-11-25 19:10:18周尚君羅有成
社會科學 2022年6期

周尚君 羅有成

引 言

正義是法治的底色和永恒的價值追求,同時也是時代的反映,其理論內涵和存在形態隨著時代的發展而有所變化。隨著以互聯網、大數據、人工智能和區塊鏈等為代表的新一代科技革命不斷邁向縱深,數字技術正在以前所未有的方式重新構造社會行為、社會關系和社會結構,同時也引發了正義理念的深刻變革。數字社會的這種改造,是價值、制度與技術的系統性結構化重建。(1)參見周尚君:《數字社會對權力機制的重新構造》,《華東政法大學學報》2021 年第5 期。大數據和算法不只關乎思維和技術,更重要的是它已經變成一整套知識生產和建構體系;不僅塑造了一種全新的社會適應機制,還改變了法律的價值導向和人類的正義認知。數字正義、數據正義、算法正義、代碼正義等概念頻頻出現,成為現代性正義價值體系中的新形態。(2)參見馬長山:《智能互聯網時代的法律變革》,《法學研究》2018 年第4 期。

數字正義的提出,正是基于大數據和算法嵌入社會生活過程中所誘發的諸多不正義。其中,表現最為突出的是算法黑箱和算法歧視。從形式上看,算法黑箱的形成是由于信息不對稱,數據輸入與數據輸出之間存在“隱層”,這也進一步導致決策過程不可解釋;算法不透明形成偏好,忽視甚至強化已有的不平等和不正義,加劇數據歧視。但從根源上看,問題不在于大數據和算法,而在于人的意志及其行為。算法自動化決策本質上仍是人為編制的解決問題的過程,人的設計意圖和價值取向決定了它的運算法則。也就是說,自動化算法決策,看似屏蔽了“主觀人為”,但其形成決策的知識、邏輯、邊界和價值基準是被預置的。(3)參見齊延平:《數智化社會的法律調控》,《中國法學》2022 年第1 期。因此,數字正義的本質是社會正義而非“機器正義”。它表面上看是“機器與人類”的關系,但實質上仍是人與人之間的關系。(4)參見鄭戈:《數字社會的法治構型》,《浙江社會科學》2022 年第1 期。換言之,人類自身的價值偏見和不正義行為構成數字正義出場的實質理由。在數字社會,僅僅追問代碼是否正確執行是遠遠不夠的,我們還需要繼續追問,它對社會而言意味著什么?是好(善)是壞(惡)?也正因如此,杰克·巴爾金教授提出,“規制的核心問題不是算法,而是使用算法的人,以及允許自己被算法支配的人。我們需要的不是阿西莫夫定律,而是控制和指導人類創造、設計及使用機器人、人工智能體和算法的法則”。(5)杰克· 巴爾金:《算法社會中的三大法則》,劉穎、陳瑤瑤譯,《法治現代化研究》2021 年第2 期。這個“法則”指向的就是數字正義,即如何以正義原則引導新興數字技術對社會、法律與倫理進行重塑,以及如何為算法自動化決策劃定正當邊界。

數字化轉型背景下法治建構的目標之一,是建設一個能對算法自動化決策進行有效規制的法律體系,通過“更新或構建新的正義原則”,(6)韓水法:《人工智能時代的人文主義》,《中國社會科學》2019 年第6 期。以數字正義的實現推動更高水平的社會正義的實現。數字社會條件下,數字正義是社會正義不可或缺的有機組成部分,直接關乎社會主體享有數字技術發展成果的機會、條件、能力和實效。圍繞數字正義的現實命題,尤其是面對國家提出的“實現算法公平和算法向善”的治理目標,如何通過法律規制保障數字正義,是法學理論亟待解決的重大時代命題。基于此,本文擬對數字正義的內涵、形態、實踐及優化等問題進行探討,以期為數字正義的實現提供理論指引。

一、數字正義的理論內涵

數字正義的理論內涵可凝練于兩個核心問題:一方面,要對數字正義指向的問題域及其基本內涵予以明確,這是理解數字正義的邏輯起點;另一方面,要對數字正義的表現形式予以歸納,這是判斷數字正義是否實現的有效依據。

(一)數字正義的基本內涵

學界對數據正義、算法正義和計算正義等概念展開過專門探討。有學者認為,數據正義是一種關于如何公平合理地生成、分配、解釋和使用數據的價值觀,核心要求是數據使用的“可見性、事先約定和防范不公平對待”;(7)參見Linnet Taylor,“What is Data Justice? The Case for Connecting Digital Rights and Freedoms Globally”,Big Data & Society, Vol.4, No.2, 2017, pp.1-14; Elizabeth Joh,“Data Mistakes and Data Justice”,Jotwell:The Journal of Things We Like(Lots), 2016, pp.201-202。算法正義更多強調算法設計、應用過程中應遵循的理性道德原則和價值期待,既涵蓋實體和程序,也包括過程和結果;(8)參見李曉輝:《算法商業秘密與算法正義》,《比較法研究》2021 年第3 期;林曦、郭蘇建:《算法不正義與大數據倫理》,《社會 科學》2020 年第8 期。計算正義是在人工智能的計算思維與人類價值世界碰撞的背景下,為了維護共同善而建構的一系列價值原則。(9)參見鄭玉雙:《計算正義:算法與法律之關系的法理建構》,《政治與法律》2021 年第11 期。數字正義則有更豐富的規范背景及正義要求。如果我們采用一種假定人權、正義和法治的先驗價值的公理學方法,從數字技術維度對社會關系、社會結構和社會問題予以評價,其指向的便是數字正義問題。(10)參見Yulia Razmetaeva, Sergiy Razmetaev,“Justice in the Digital Age: Technological Solutions, Hidden Threats and Enticing Opportunities”,Access to Justice in Eastern Europe, Vol.2, No.10, 2021, pp.105-106。廣義上的數字正義,既包括對因機器人、人工智能體和算法應用產生的算法歧視、算法霸權、人權受損等社會問題的規范指引,也包括對數字技術是否符合人類社會正義要求的價值評判。有學者將數字正義理解為依托一系列數字技術來提升司法的效率和公平,以數字化方式“接近”正義。(11)參見伊森·凱什、奧娜·拉比諾維奇·艾尼:《數字正義:當糾紛解決遇見互聯網科技》,趙蕾、趙精武、曹建峰譯,北京:法律出版社2019 年版,第74 頁。也有學者提出,數字正義是建立在人類固有的尊嚴之上,指導數字時代美好生活的內在價值。(12)參見克利福德·G. 克里斯琴斯:《數字時代的新正義論》,劉沫瀟譯,《全球傳媒學刊》2019 年第1 期。盡管數字正義指向的內容十分廣泛,但它首先是一個關乎人類自身的價值定位問題,它的目標仍是根本性的社會正義。因此,本文以數字技術開發、設計和應用中的不正義作為數字正義指向的問題域,將數字正義定義為數字技術應用,尤其是算法應用滿足人權、正義、法治價值的一種理想狀態。

從數字正義的內涵來講,首先,數據資源的合理分配是數字正義實現的根本依據。在數字社會,分配正義更多體現在大數據資源的合理分配上,因為其直接與資源、機會、財富、能力和權力等相聯系。將大數據資源的合理分配置于數字正義的框架下,就要求政府建立一個公平公正的數據收集、使用和存儲體系,消解不同數據主體之間數據占有、使用的不平等,確保每個數據主體從數據輸入到數據輸出過程的參與平等和結果正義。當然,數據資源的合理分配還內蘊了對個體數據權益、平臺數據權益、數據市場秩序和數據行業發展等多種利益進行協調的要求,其中不僅包括數據權益的分配,也包括數據隱私保護、數據風險提示以及數據安全維護等義務的分配。

其次,數字權利的充分配置是數字正義實現的基本保障。數字正義問題是新興數字技術與人類價值原則產生沖突的產物,也是算法權力擴張、異化產生的危害后果。從權利視角來看,數字權利是以大數據和算法為依據的利益,(13)參見徐梓文:《論新興權利的證立標準——以權利概念的學說為切入》,《法律和政治科學》2021 年第1 輯。而大數據和算法利益是數字正義的實質表達。權利可以有效對抗數據和算法掌握者對數據主體正當利益的剝奪,同時也將數據主體的正當利益轉化為法律權利予以明確保護。新型的數字權利并不是一個扁平的權利單元,而是一個寬廣豐厚的權利束,其中包括數據訪問權、數據更正權、數據刪除權、算法解釋請求權、人工接管權、免受自動決策權等一系列數據權利和算法權利。它一方面強化了數據主體的自主性和責任性,另一方面也通過傾斜性的權利配置保障數字正義的實現。

再次,算法決策的公開透明是數字正義實現的外在表征。與AI 自主學習相關的算法包含了大量的隨機性和不確定性,它能夠根據自主積累的數據自動學習并生成高級的決策結果。在此決策過程中存在著不可見的“隱層”,從而導致算法黑箱問題。按照現代正當程序的預設,“黑箱”之內可能隱藏著算法不公或算法操縱,應讓那些對結果抱有懷疑的人可以打開“黑箱”看個究竟。但由于人工神經網絡(ANN)的機器通過一個復雜的分層結構進行算法學習,它們的決策規則不是預先編程的,而通常是人類無法理解的。(14)參見Cary Coglianese, David Lehr,“Transparency and Algorithmic Governance”,Administrative Law Review, Vol.71, No.1, 2019, p.14。即便算法完全透明化,用戶或公眾也未必能理解其運作邏輯。因此,算法決策流程的公開需要符合普通用戶的常識判斷和理解能力,必要時應用通俗易懂的方式向被決策對象解釋,即“用可理解的術語向人類表達”。(15)Cynthia Rudin,“Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead”,Nature Machine Intelligence, Vol.1, No.5, 2019, p.206.算法的可解釋性是在算法透明基礎上的自然延伸要求,二者共同構成了數字正義實現的外在表征。

最后,代碼規制的規范有效是數字正義實現的內在要求。代碼是架構在網絡空間的基礎表現形式,它與算法具有天然的緊密聯系。算法運作取決于代碼如何設計,故代碼也可以對算法進行逆向治理。機器學習模型所依賴的代碼本身不具備規范性,也并不包含正義的元素。但它一旦確定并伴隨算法廣泛應用于社會權力運行系統之中,就能夠持續地引導、改變和塑造人們的網絡空間行為,由此可見“代碼即法律”(16)勞倫斯· 萊斯格:《代碼2.0:網絡空間中的法律》,李旭、沈偉偉譯,北京:清華大學出版社2018 年版,第6 頁。之論斷所言不虛。盡管代碼對傳統法律及其產生的正義空間造成一定沖擊,但不能因此否定代碼,而是要在代碼創造的新型技術空間中構建規范有效的代碼治理方案,并通過法律的基本價值來抑制代碼規制的偏好,這構成了數字正義實現的內在要求。

(二)數字正義的表現形式

從表現形式來看,數字正義主要表現為分配正義、程序正義、互動正義和信息正義四種形式。(17)參見Sason A. Colquitt, et al., “Justice at the Millennium: A Meta-Analytic Review of 25 Years of Organizational Justice Research”,首先,分配正義涉及信息處理者與大數據生產者之間數據資源的合理分配,以及如何在數字技術應用中為個體提供平等參與的機會。一方面,分配正義是一種關于“應得”的正義。個人信息和數據直接相關的利益的合理分配,以及在此基礎上產生的權利義務的合理配置,是在數字社會中實現分配正義的前提。同時,數據收集、數據存儲、數據處理和數據應用等環節,涉及數據主體、數據控制者和數據監管者等多元主體,因此分配正義的實現程度取決于多元主體的利益需求的滿足程度。②另一方面,分配正義也是一種讓每一個體享有公平機會的正義,比如獲取和使用數字技術的機會公平,訓練數字技能的機會公平,以及在“用戶畫像”過程中用戶享有的平等進入機會。

其次,程序正義涉及數字技術應用背后的過程和邏輯,具體是指透明、準確、參與、可問責要素在大數據、算法、云計算、區塊鏈等數字技術中的滿足程度。③例如,數據清洗、分類、處理和分析過程是否具有透明性,又在多大程度上能夠保障用戶獲得通知、聽取意見和說明理由的權利;瞬時完成的算法自動化決策能否保證當事人的權利救濟和事后問責;依托云服務來傳輸、存儲和處理的大規模數據是否得到有效的監管或控制;去中心化的區塊鏈技術能否滿足用戶最大程度參與的需求,能否允許每個用戶自行決定數據內容、目的和形式;等等。盡管傳統程序正義理論應用于數字技術的方式發生了重大變化,技術正當程序、程序性數據正當程序、算法正當程序等概念頻頻出現,但程序正義的核心價值理念并沒有改變。用計算機科學的術語來講,正當程序的價值理念具有“魯棒性”,即在受到持續擾動時仍保持原有的性能,只不過其更加凸顯對數字技術綜合應用過程的深度技術介入。④

再次,互動正義涉及個體的尊嚴,旨在通過協商和對話,為公民多種權利、利益和負擔的公正處理提供指引。“一種正義觀的恰當特征是它應當公開地表示人們的相互尊重。”⑤在數據挖掘過程中,計算機系統基于差別對待的底層邏輯,會對不同人群實行分類,根據他們的特征進行編碼和賦值,用以表明其優先等級、風險程度和商業價值。并且,自動控制系統建立起一套自我參照體系,完全不需要與外界的用戶進行溝通和協商,而這種自我指涉的體系往往傾向于強化現實社會中的不平等。因此,互動正義要求在數字技術應用過程中為個人、技術團體、行業協會等構建商談程序和機制,讓用戶或受決策者擁有提出異議和陳述理由的機會。個體應當既能夠對計算機系統提出異議,也能夠在專業審查人員的協助下開展審查并及時糾正錯誤,這被視為一種直覺性的個體尊嚴需求。⑥

最后,信息正義涉及向用戶提供相應的信息與解釋。在數據采集、分析和應用環節中,大數據公司、算法平臺所使用的數據庫和算法并不對用戶開放,由此用戶無法檢視計算機系統的正當性和合理性,這可能會造成整個數據化過程缺乏“透明度”。這種“不透明”如果嵌入大數據運行的基礎設施之中,就會使知情選擇權、個人信息自決權、算法質疑權、免受自動決策權等一系列重要的數字權利變得毫無意義。⑦因此,信息正義要求攻破數據黑箱和算法黑箱,實現數據化過程的可見性、可解釋性。歐盟2019 年發布的《人工智能倫理準則》(Ethics Guidelines for Trustworthy AI),對大數據系統的可見性和可解釋性作出了明確要求,比如要求大數據公司和算法平臺向用戶提供數據處理及其自動化決策的相關信息與解釋理由。數據和算法控制者提供的信息與解釋符合信息正義的程度,在很大程度上也影響到用戶對程序正義實現程度的評估。

Journal of Applied Psychology, Vol.86, No.3, 2001, p.427.

② 郭春鎮:《數字化時代個人信息的分配正義》,《華東政法大學學報》2021 年第3 期。

③ 參見Thomas B. Nachbar,“Algorithmic Fairness, Algorithmic Discrimination”,Florida State University Law Review, Vol.48, No.2, 2021, pp.556-557.

④ 參見劉東亮:《技術性正當程序:人工智能時代程序法和算法的雙重變奏》,《比較法研究》2020 年第5 期。

⑤ 約翰· 羅爾斯:《正義論》,何懷宏、何包鋼、廖申白譯,北京:中國社會科學出版社1988 年版,第177 頁。

⑥ 參見Andrew D. Selbst , Solon Barocas,“The Intuitive Appeal of Explainable Machines”,Fordham Law Review, Vol.87, No.3, 2018, p.1085.

⑦ 參見Margot E. Kaminski,“The Right to Explanation, Explained”,Berkeley Technology Law Journal, Vol.34, No.1, 2019, p.213.

二、數字正義的形態變化

人類已不可避免地邁入“無處不計算”的數字社會,數字化構成了人們理解社會關系、分析社會問題的重要維度,也成為評價社會主體生存狀況的關鍵依據。同時,數字化塑造正義空間,使正義的存在形態發生了從“比例正義”到“計算正義”、從“個體正義”到“群組正義”、從“契約正義”到“場景正義”、從“接近正義”到“可視正義”的深刻轉型。

(一)從“比例正義”到“計算正義”

自古希臘以來,如何實現對條件相等的人分配相等的利益,一直是正義理論的中心問題。畢達哥拉斯用數的平方來說明正義,把正義理解為事物之間一種和諧穩定的比例關系。后來亞里士多德提出,在社會成員與其他成員的關系上,正義是某些事物的“均等”觀念。(18)參見亞里士多德:《政治學》,吳壽彭譯,北京:商務印書館1965 年版,第148 頁。霍布斯也認為正義就是將個人的本分額按合理比例分配給每一個人。(19)參見霍布斯:《利維坦》,黎思復、黎廷弼譯,北京:商務印書館1985 年版,第114—115 頁。正義就是合比例,不正義就是破壞比例。這一正義理念延續至今,不僅構成了社會主體認同實踐行動的標準,還進而塑造了現代法治的內生狀態。

但在數字社會,隨著云計算、知識圖譜技術和神經網絡深度學習算法的出現,人類通過代碼設置、數據運算與機器自動化判斷可以呈現出更精確、更客觀的“正義”。人工智能的本質在于“計算”,(20)參見Sarah Valentine,“Impoverished Algorithms: Misguided Governments, Flawed Technologies, and Social Control”,Fordham Urban Law Journal, Vol.46, No.2, 2019, p.364.“計算”處理的基本元素是大數據。機器通過對全樣本數據的清洗、分類和結構化處理,將“正義”的構成成分拆解為以計算元素為基本單元的微分形態,并用0 和1 的特殊語言組合系統來表達。(21)參見蔡星月:《算法正義:一種經由算法的法治》,《北方法學》2021 年第2 期。除了對正義進行技術上的分解之外,算法還對具體場景中的正義進行賦值和數字轉換,并通過數學建模對正義展開分布式運算。算法沖擊了人們的價值世界,同時促使新的正義空間和價值形態產生。人的生存狀態可以轉換為數字化的在線生存狀態,大數據集的完備性、算法模型的科學性和計算結果的正當性逐漸成為人類實踐行動的評價標準。因此,數字時代的正義建立在數理邏輯的基礎之上,正義的數據化和計算化正逐步替代傳統上對正義的比例衡量。

(二)從“個體正義”到“群組正義”

現代社會結構建立在個體正義的基礎之上,強調個人的自由、平等權利的不可侵犯性,以及不同個人利益之間的不可替代性。個體的集合組成了社會,法律通過盡可能保障個體的正義來維護整個社會的正義。正是通過保護個人權利,人們才保護了共同的善,從而服務了大多數人的利益。

然而,大數據、云計算、無監督式機器學習等數字技術的發展突破了以個體正義為核心的正義觀,而代之以一種效率優先的“群組正義觀”。(22)參見鄭智航:《人工智能算法的倫理危機與法律規制》,《法律科學(西北政法大學學報)》2021 年第1 期。“群組正義觀”是建立在相關關系分析基礎上的正義觀,其實質是從正義決定論跳躍到正義概率論。計算機并不是“思考”,而是依據邏輯處理數據。算法通過數據模型或代碼表達意見,在相關性的概率計算基礎上認識現實世界的規律,并從適當的大概率事件出發來論證決策的正當性。它將群組而不是個人作為分析單位,在展開分布式運算時,機器會對貼上“標簽”的不同群組作同質化處理,以相關性分析的均等性去逼近群組的正義性。同時,在深度學習算法的加持下,機器學習模型的數據分析能力得到進一步提升。它不僅可以根據多層次特征信息進行分組,還能憑借希爾排序算法、聚類算法、C4.5 分類算法等不同算法系統的相互疊加,自行從輸入信息中獲得最合理的輸出結果。因此,算法在海量大數據中高效篩選出最能體現正義維度的信息,并對其進行分組排序、邏輯嵌套與循環遞歸,以尋求建立全新群組正義的各種可能性。

(三)從“契約正義”到“場景正義”

傳統工商業社會強調主體平等、意思自治和忠誠允諾。正義所要求人的“規定地位”和“規定義務”并不是以固定身份的形式出現的,而是可以根據自己的意愿以契約的形式出現。自羅馬法以后,對這種“契約正義”理念的認同,一直都是人類理解正義的主流方式。正如后來羅爾斯所總結的,“正義的原則是一種公平的協議或契約的結果”。(23)約翰· 羅爾斯:《正義論》,第12 頁。

進入數字社會,人工智能擁有了場景化的“思維方式”,能夠根據不同的場景和情形進行差異化數據分析、程序建模,最終實現精準畫像。諸如量身定制的醫療方案、個性化的資訊推薦、一事一議的商業交易等場景化決策方案成為常態,人們對公正的期待從傳統的契約平等開始轉換到新型的“場景正義”。機器學習模型能夠在海量大數據中篩選出不同場景的“更優解”,通過高頻次的擬合或仿生嘗試,甚至可以提煉出完全符合個體現實條件的規則。例如,神經網絡深度學習算法在處理數據的同時,也時刻在具體場景中產生新數據,持續不斷地更新和優化原始數據,以確定原始數據與輸出結果的“最佳判斷”。算法改變了人們對傳統契約正義理論的理解,正義價值在滿足契約公平的條件下,也應在場景化的決策方案中得以展現和接受檢驗。雖然基本的契約正義原則仍然在數字社會發揮重要的引導作用,但很多具體的正義權衡則需要基于定制場景來完成。這既構成人工智能發展的重要動力,又使得數字社會的正義呈現出新的維度。

(四)從“接近正義”到“可視正義”

“接近正義”,也稱為“實現正義”,主張司法應向更容易理解、更容易利用、更加親民的方向發展,強調公民尋求司法救濟的便捷。(24)參見Deborah L. Rhode,Access to Justice, Oxford: Oxford University Press, 2004, pp.4-5。在進入數字社會之前,對于尋求司法救濟的普通公民來說,供給正義的法律之門莊嚴而神秘。人們很難接近司法,不僅受到物理時空、技術設備和知識能力的制約,還面臨司法決策機制、信息和流程不透明的物理障礙。

在數字社會,大數據、算法和算力的深度融合為更加接近正義奠定了現實基礎。數字技術可以有效化解實現傳統社會正義的各種物理障礙,使物理空間上的“接近正義”邁向跨越物理—虛擬雙重空間的“可視正義”。集約高效、線上線下交融、覆蓋性整合的司法平臺建設實現了信息的分享可視;網絡庭審、ODR 模式、“移動微法院”等軟件系統實現了超時空的場景可視;案件信息庫、電子卷宗庫、司法區塊鏈實現了全要素的數據可視。(25)參見馬長山:《司法人工智能的重塑效應及其限度》,《法學研究》2020 年第4 期。在全新的“可視正義”樣態之下,正義女神摘下了蒙眼布,戴上了柏拉圖所隱喻的“古各斯戒指”,全方位窺視著“法律之門”內的審理數據、司法業務和決策機制等信息。(26)參見李晟:《略論人工智能語境下的法律轉型》,《法學評論》2018 年第1 期。同時,“可視正義”能夠實現效率和公平的結合,促進程序正義和實體正義的雙重實現。(27)參見周尚君、伍茜:《人工智能司法決策的可能與限度》,《華東政法大學學報》2019 年第1 期。算法在極短時間內自動處理海量的司法數據和文書,發掘出具有重要意義的隱藏規律,并通過簡潔的語言予以呈現。然后,它在“生成式學習”的操作層面下根據給定條件進行客觀的行為評估以及規范續造,可以為每個當事人量身定做“接近”正義的過程。

三、數字正義的實踐機制

大數據和算法沖擊了傳統的價值世界,同時促進新的正義形態產生,以“計算、群組、場景、可視”為核心特征的數字正義應運而生。無論是數字正義的理論內涵還是形態變化,都需要置于具體的制度實踐中加以分析,也需要法律實踐充實其內容。當前,在我國數字化戰略實施過程中,復合型規范制度體系已初步建立,數據源頭規制、算法賦權制衡和平臺算法問責等制度,已成為我國法律規制保障數字正義的實踐基點。在這一規范框架及其實施體系下動態地探尋數字正義的實踐機制,可以形成關于數字正義的價值論分析資源和圖景。

(一)數字正義的基本規范框架

我國目前尚未針對大數據和算法制定系統性的法律,相關規定和制度設計散見于不同層級的法律規范、政策性文件及技術標準中,它們共同構成了我國保障數字正義實現的規范依據。總體來看,涉及大數據和算法規制的規范體系可分為基礎性規范、專門性規范和補充性規范三個層次。基礎性規范為數字正義的實現創造了外部環境,提供了基本的法律規制依據;專門性規范直接且明確指向算法自動化決策,重點解決算法歧視、算法歸化、算法操縱等算法不正義問題;補充性規范則進一步細化了大數據和算法規制的基本原則和具體制度,構成了保障數字正義實現的有益補充。

1.基礎性規范

基礎性規范主要包括《個人信息保護法》(以下簡稱《個保法》)《數據安全法》《網絡安全法》《電子商務法》《互聯網信息服務管理辦法》《網絡數據安全管理條例(征求意見稿)》《互聯網信息服務深度合成管理規定(征求意見稿)》等。這些法律規范針對大數據和算法應用的不正義情形進行了基礎性規定。其中,《個保法》第24 條專門引入自動化決策概念,不僅明確了算法決策透明和結果公正兩項基本原則,還在部分借鑒歐盟《一般數據保護條例》(General Data Protection Regulation)的基礎上,規定了算法解釋權、算法拒絕權兩項新型算法權利。(28)參見王瑩:《算法侵害類型化研究與法律應對——以〈個人信息保護法〉為基點的算法規制擴展構想》,《法制與社會發展》2021 年第6 期。《電子商務法》第18 條和第40 條則針對大數據殺熟現象,對平臺的明示告知、為用戶提供選擇權、保障用戶隱私等義務作出了基本規定。此外,《數據安全法》《網絡安全法》立足“安全”的治理目標,與《個保法》合理分工、相輔相成,通過建立安全管理制度、安全審查制度、安全問責制度和安全應急處理機制保障我國網絡運行安全和數據安全。

2.專門性規范

2021 年9 月17 日,國家互聯網信息辦公室、中央宣傳部等九部門聯合發布了《關于加強互聯網信息服務算法綜合治理的指導意見》(以下簡稱《算法治理指導意見》) 。 2021 年12 月31 日,國家互聯網信息辦公室等四部門聯合發布了《互聯網信息服務算法推薦管理規定》(以下簡稱《算法推薦管理規定》)。 《算法治理指導意見》和《算法推薦管理規定》的最大特點在于首次直接以“算法”命名,是針對算法出臺的專門性規范。《算法治理指導意見》從宏觀上明確了“逐步建立治理機制健全、監管體系完善、算法生態規范的算法安全綜合治理格局”的目標,以及提出了“堅持權益保障,引導算法應用公平公正、透明可釋,充分保障網民合法權益”的原則。 《算法推薦管理規定》一方面從“算法推薦服務”著手,針對算法黑箱、算法歧視、信息繭房、輿論操控、不正當競爭、用戶權益保護等問題作出了明確規定,另一方面也充分體現出算法安全、算法公平和算法向善的內在規制價值。(29)參見許可:《算法規制體系的中國建構與理論反思》,《法律科學(西北政法大學學報)》2022 年第1 期。可以預見,隨著算法應用實踐的不斷深化以及算法規制理念的更新,我國將來還會出臺直接針對算法的法律基礎規范,例如“算法安全法”“算法問責法”甚至“算法法”。

3.補充性規范

我國保障數字正義的法律規制在其他規范、政策性文件和技術標準中也有較為清晰的呈現,比較具有代表性的是《App 違法違規收集使用個人信息行為認定方法》《網絡音視頻信息服務管理規定》《網絡信息內容生態治理規定》(以下簡稱《網絡治理規定》)《信息安全技術個人信息安全規范》(以下簡稱《信息安全規范》)。這些規范針對大數據和算法在不同領域應用過程中產生的算法侵害現象,具體規定了認定標準、監管路徑、責任追究和處置措施等內容。例如,《網絡治理規定》第12 條對設置平臺的算法推薦模型、建立人工干預機制和用戶自主選擇機制進行了規定; 《信息安全規范》第7、8 部分分別對“用戶畫像”的使用限制和個人信息主體的權利作出了詳細規定。另外,我國《新一代人工智能倫理規范》《新一代人工智能治理原則》還對人工智能提出了“增進人類福祉、公平公正和可控可信”的倫理要求。

(二)數字正義的法律實踐基點

《算法治理指導意見》提出的“構建算法安全綜合治理格局”,以及《新一代人工智能治理原則》確立的八項基本原則,(30)我國《新一代人工智能治理原則》突出了發展“負責任的人工智能”這一主題,強調和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔責任、開放協作、敏捷治理等八項原則。是通過法律規制手段保障數字正義實現的基本遵循。但這些綱領性的治理目標和原則,難以滿足數字正義實現過程中法律規制在主體、工具、內容、程序等方面的復雜要求。通過法律實現數字正義,既需要規制目標的宏觀指引,也需要具體制度安排的落實。從上述大數據和算法規制的基本法律框架來看,我國保障數字正義實現的實踐主要圍繞源頭數據規制、數據賦權制衡和平臺算法問責三個維度及其聯結關系來展開。

1.源頭數據規制

由于算法從源頭上依賴數據“喂養”,所以可通過規范數據的收集、使用來對算法施加影響,確保算法決策結果公正。為實現這一目標,我國通過多部法律規范架構起了“基本原則+具體權利”的規制模式。首先,《網絡安全法》第41 條明確了網絡運營者收集數據的合法正當、知情同意和公開收集原則,《數據安全法》第32 條重申了數據收集的合法正當原則。其次,《個保法》設置了多個條款全面規定數據處理者的合法正當、合理、誠信、最小化、公開透明、保證質量等原則。最后,《個保法》第四章引入一套個人數據權利體系來保障數據正義的具體實現。它以個體對數據的自決權為核心,在《民法典》個人信息相關條文的基礎上細化了知情權、查閱復制權、更正補充權、要求刪除權等具體權利形態。(31)參見王利明、丁曉東:《論〈個人信息保護法〉的亮點、特色與適用》,《法學家》2021 年第6 期。同時,為了確保賦予數據主體的各項權利得以充分實現,《個保法》第52、55、56 條通過個人信息保護負責人制度和個人信息保護影響評估制度的構建,給個人信息處理者施加了更多的義務。因此,我國通過數據收集、處理和使用原則的確立以及數據權利義務的設置,既形成了保障數字正義實現的基本框架,又從數據源頭上初步構筑起了算法規制的規范起點。

2.算法賦權制衡

《個保法》在借鑒歐盟《一般數據保護條例》的基礎上,專門設置條款(第24 條)規定了算法解釋權和免受自動決策權。算法解釋權基于公開透明的正當程序要求,旨在消除算法黑箱下隱藏的信息不正義和程序不正義情形。但《個保法》對算法解釋權的規定較為簡單化和模糊化,并未進一步規定解釋權對象、內容、啟動時間點以及解釋方式、程度等具體問題。對此,《算法治理指導意見》初步明確了解釋的對象,將算法的“結果解釋”作為算法解釋的中心,第13 條提出“督促企業及時、合理、有效地公開算法基本原理、優化目標、決策標準等信息,做好算法結果解釋”。“算法結果解釋”具體是指提供決策結果理由的說明。因為算法解釋權并不要求算法控制者提供決策樹、預定義模型和底層代碼的解釋,而是提供一種有意義的理由說明,使得決策結果的依據能夠為用戶所理解。(32)參見Bruno Lepri, et al.,“Fair, Transparent, and Accountable Algorithmic Decision-Making Processes”,Philosophy & Technology, Vol.31, No.3, 2018, pp.614-616。免受自動決策權則充分體現了互動正義的要求,它能夠在法律規制中發揮尊重用戶個體自治和避免算法歧視擴散的優勢。另外,免受自動決策權的適用前提是算法決策對個人權益具有重大影響,但是否對個人權益構成重大影響的客觀判斷標準,還有待后續法律或司法解釋進一步明確。

3.平臺算法問責

網絡平臺的崛起,一方面創造了新型的社會互動結構,另一方面也帶來了大數據殺熟、算法霸權、算法操縱等一系列社會不正義問題。我國以平臺規制為抓手,通過要求收集數據、構建系統和應用的平臺承擔相應法律責任,初步確立起了以平臺算法問責為核心的制度框架。有學者將這種框架提煉為平臺“穿透式監管”。(33)參見張凌寒:《平臺“穿透式監管”的理據及限度》,《法律科學(西北政法大學學報)》2022 年第1 期。具體來看,《電子商務法》第18、40 條規定了平臺的明示義務和個性化推薦算法的消費者保護義務,第38 條要求平臺承擔事前的資質審查義務與安全保障義務。 《數據安全管理辦法》第23、24 條分別規定了平臺的“定推”標識義務和算法“合成”信息標識義務。 《網絡治理規定》第12 條對網絡平臺建立健全人工干預機制和用戶自主選擇機制的義務作出了規定。同時,《個保法》不僅明確了平臺追責的直接指向是自動化決策,還在平臺責任的追責機制中,將平臺注意義務從簡單的“明知應知”擴張至算法設計、應用、輸出結果全流程。在此基礎上,《個保法》第66 條和《算法推薦管理規定》第31 條則進一步落實了平臺的信息保護責任,具體包括警告、責令改正、強制執行、罰款甚至刑事處罰等責任。

四、數字正義的治理結構優化

數字正義的實踐機制表明,我國已經初步搭建起多層級的復合型規范制度體系,在法律和政策層面為針對數字技術濫用的執法、司法提供了有力支撐。但是,隨著數字技術的迭代更新以及算法權力的不斷擴張,新技術新領域新問題迫使我們仍舊需要不斷思考“算法與法律的互動方式和正義空間”,(34)鄭玉雙:《計算正義:算法與法律之關系的法理建構》,《政治與法律》2021 年第11 期。思考如何促進算法公平實踐形態的實現和法律規制效能的提高。關于數字正義治理結構優化的探討,還需要結合數字正義的理論內涵和具體實踐,圍繞基礎機制、實施機制和保障機制等方面展開。

(一)基礎機制的優化:以數字權利的充分實現為中心

從上述數字正義的理論內涵來看,保障數字正義的基本前提是充分配置數字權利。每一個具體的數字正義問題能否解決的背后,都或多或少隱含著公眾數字權利是否充分配置的事實。而且,法律規制的本質就在于保護權利和正當利益。由此,數字正義和法律規制因數字權利而聯結,數字權利機制構成了法律規制保障數字正義的基礎性機制。圍繞這一基礎性機制展開對數字正義治理結構優化的討論,主要包括如下兩個方面:

首先,實現公眾數字權利配置的充分性和全面性。數字正義通過權利機制來成就自身,在數字社會,正義同樣集中體現在權利體系上。從數字正義的實踐機制來看,《個保法》雖然首次規定了算法解釋權和免受自動決策權,但并未明確其行使方式、程度、標準和時間點等具體內容。以算法解釋權為例,其解釋方式是人工解釋還是機器解釋,解釋時間點是事前還是事后,解釋程度是系統性解釋還是個案性解釋,都存在解釋爭議與適用困境。(35)參見丁曉東:《基于信任的自動化決策:算法解釋權的原理反思與制度重構》,《中國法學》2022 年第1 期。因此這兩項數字權利的具體內容亟待后續法律及司法解釋作出具體規定。同時,算法解釋權是數字權利的核心,需要法律的充分配置。算法解釋權通過個體對自動化的知情與控制來保護公眾的合法權益,但是它也會和個人隱私權、商業秘密權發生沖突,因而需要在立法中限定其解釋對象、條件和范圍,平衡算法解釋權的保護和社會多元利益的保護。在立法形式上,可由專門機構發布統一解釋指南予以精細規定,在解釋指南中充分明確解釋權的具體內容和技術要求。另外,單憑算法解釋權和免受自動決策權還不足以應對深度學習算法的復雜化趨勢,有必要在以后出臺的相關法律中增設人工干預權、算法質疑權與表達觀點權,進一步豐富數字權利束。算法質疑權和表達觀點權提供表達數字正義訴求的機會和條件,同時也可以通過公眾共同理解的嵌入提升算法決策的合法性、有效性和科學性。(36)參見Margot E. Kaminski, Jennifer M. Urban, “The Right to Contest AI”,Columbia Law Review, Vol.121, No. 7, 2021, pp.1961-1963。人工干預權則強調在人工智能系統的整個生命周期建立人類審核監督程序,它是防止算法不正義情形發生和維護人類尊嚴的重要保障。

其次,建構多元的權利救濟方案。數字權益不同于一般的權益,它具有特殊性。傳統單一救濟方案可能無法應對數字權益侵害的復雜性,(37)參見Julie E. Cohen,“Information Privacy Litigation as Bellwether for Institutional Change”,DePaul Law Review, Vol. 66, No.2, 2017, p.548。因此有必要引入平臺救濟、個人司法救濟以及公益訴訟救濟相結合的多元方案。在大數據和算法侵害公眾合法權益的情形下,公眾可先通過用戶申訴渠道提出意見,要求平臺公開算法的基本原理、優化目標和決策標準等信息,并對算法結果作出相應解釋。平臺則應規范處理用戶申訴并及時反饋,切實保障用戶的合法權益。如果平臺救濟無果,公眾可通過司法程序維護其數字權益。法律規制保障數字正義所依據的相關數據權利,如數據資源公平分享權、算法解釋權和免受自動決策權等權利類型,其可訴性已在我國《個保法》中得到承認。(38)參見我國《個人信息保護法》第50 條。公眾可以上述權利為依據,請求法院為保障數字權益而作出特定的判決,要求對因大數據和算法應用造成的合法權益損害予以賠償。另外,行政機關對算法負有法定的監管職責,同時行政機關也是算法的開發者、使用者,在公共治理領域中廣泛應用算法決策,因此可通過行政公益訴訟制度的充分運用來實現數字正義。行政公益訴訟的范圍應進一步拓展,將數字正義指向的公共利益也納入保護范圍。檢察機關可根據自動化決策導致公共利益受損的事實,向負有監管職責的行政機關提出檢察建議,或者向人民法院提起公益訴訟。(39)參見我國《行政訴訟法》第25 條。總之,多元權利救濟方案是數字權利機制的基本保障,也是上述程序正義、信息正義的實質表達和具體呈現。

(二)實施機制的優化:以算法規制的系統實施為中心

如前文所述,保障數字正義的規范依據散見于法律、規章、政策性文件和技術標準中,這種立法狀況必然導致我國對算法的法律規制系統性不足,規制主體、規制工具和規制對象之間的聯系不夠緊密。同時,鑒于算法的技術復雜性,要想達到數字正義所要求的規制效果,需要調整規制思路,形成整體意義上的規制效用。也就是說,算法規制應具有整體性,能夠合理聯結不同規制主體和規制工具,更需要容納發展變化的社會要求和正義價值,將系統化的實施機制有機融入整個法治體系中,以保障數字正義的最終實現。

首先,提升算法規制實施主體的協同性,形成多元共治的規制主體系統。算法規制問題是一個特殊且復雜的問題,其中不僅存在廣泛的公共風險,而且事后追責的效果有限。如何建立多元化的風險控制體系,如何在算法系統的整個生命周期中落實不同主體的責任,又如何平衡不同主體間的利益沖突,這些都需要借助規制主體的系統化安排來解決。而且,《算法治理指導意見》明確提出建立“多元協同、多方參與的治理機制”。下一步應從這一基本要求出發,既強調政府政策倡導與科學監管,也重視公民、社會、企業、行業組織等主體的互動,通過不同規制主體法律地位的確認、權利義務機制的安排以及社會監督機制的構建,形成多元協同的算法規制主體系統。這不僅與數字正義的理論內涵相契合,也增強了數字正義實現過程中法律規制的實施效能。

其次,強化算法規制實施工具的系統性,形成功能互補的規制工具系統。算法規制工具的應用不單要考慮法律,還要考慮技術、倫理、自律等規制工具的組合適用,以此來完成算法規制的系統化實施。具體而言,一是在法律制度的頂層設計基礎上,構建代碼逆向治理機制,深入機器學習算法的核心內部展開動態化監管。例如,可根據社會需要的動態變化將算法誘發的風險劃分為不同等級,并通過代碼一一設定對應的動態因素閾值,從而以低成本方式實現對算法運行全過程的動態監管。(40)參見郭哲:《反思算法權力》,《法學評論》2020 年第6 期。代碼逆向治理機制的構建,也是上述數字正義實現的內在要求。二是注重倫理規制,制定一套人工智能的道德規范。首份人工智能倫理問題全球性協議《人工智能倫理問題建議書》(Recommendation on the Ethics of Artificial Intelligence)和我國《新一代人工智能倫理規范》均強調了人工智能的倫理規制原則。算法設計者和開發者應對算法前置性地施加以人為本的整體倫理負載,在人機關系中注意凸顯數字正義所要求的人的尊嚴和價值優先原則。(41)參見陸幸福:《人工智能時代的主體性之憂:法理學如何回應》,《比較法研究》2022 年第1 期。三是推進行業內部制定自治規范和技術標準。在算法應用相關規范和標準制定中,應強化算法安全可控、可解釋、可問責和公平公正的價值指引。另外,企業自行制定的自治規范和技術標準經實踐檢驗成熟時,可將其納入法律標準或通用技術指南中,進一步推廣應用。總之,數字正義具有包容性和整體性,不僅需要法律、技術、倫理和自律機制的協同共治,還需要形成算法規制的合力,以此促進其在保障數字正義中發揮最佳作用。

(三)保障機制的優化:以算法評估的科學設計為中心

算法是否達到了上述數字正義所要求的分配合理、程序正當、尊嚴優先和可信可控,又是否會誘發安全、倫理、責任等多元風險,需要通過算法影響評估制度來判斷。(42)參見Andrew D. Selbst,“Disparate Impact in Big Data Policing”,Georgia Law Review, Vol.52, No.1, 2017, pp. 168-182。同時,通過算法影響評估制度來理解、研判算法究竟反映何種規則,又會產生何種經濟社會效應,在保障數字正義目標實現上具有重要作用。實踐中,《個保法》第55 條初步明確了利用個人信息進行自動化決策時,應當事前進行個人信息保護影響評估,并在第56 條規定了評估的主要內容。但是,算法影響評估結構體系有著自身的獨特要求,其具體設計和實施機制需要在《個保法》基礎上進一步優化。

首先,就評估理念而言,算法影響評估應堅持整體性、動態性的評估理念。一方面,不能僅限于算法的技術或政策評估,而應對算法應用的技術、意識形態、社會公平和道德倫理等風險展開全面評估,從整體性和全局性出發考察算法潛在的不正義情形,并設定多層次、多元價值觀的評估指標。另一方面,算法影響評估應采取動態的評估理念,結合上述“場景正義”的要求,根據算法的具體應用場景設置動態的評估標準,并隨算法技術的變化及時更新。另外,考慮到算法影響評估的道德倫理要求,在評估過程中要兼顧對算法本身以及對應數據集的評估。尤其要對可能產生系統性歧視風險的“污染”數據集進行重點評估,仔細審查算法模型在輸入與輸出之間的非因果關系,并嚴格設定其倫理信任閾值。

其次,就評估主體而言,算法影響評估需要專業技術人員的介入。數據源的挑選是否公平,分析和預測工具的選取是否恰當,算法模型和運算法則的設計是否合理,以及計算結果的解讀是否正確等,需要通過專家知識來研判。實踐中可借鑒美國聯邦《2019 年算法問責法案》(Algorithmic Accountability Act 2019)的規定,設立專門的“算法師”,對算法的公平性、準確性、可控性和安全性進行評估。(43)參見維克托· 邁爾-舍恩伯格、肯尼思· 庫克耶:《大數據時代:生活、工作與思維的大變革》,盛楊燕、周濤譯,杭州:浙江 人民出版社2013 年版,第226—230 頁。對于高風險或對公眾權益有重大影響的自動化決策系統,則有必要在“算法師”的基礎上,吸納政府、科研機構、具有專業知識的社會公眾、同行評審等多方力量展開組合性評估。

最后,就評估方法而言,算法影響評估需要重視評估工具的智能化賦能。數字正義具有不同層面的社會正義要求,其實現與否需要綜合法律、技術、倫理和代碼才能判斷,加之神經網絡深度學習算法日益復雜化,傳統評估方法顯然無法滿足算法影響評估的需要。對此,應對評估工具進行智能化賦能,用“算法評估算法”。簡單來說,可設計出一種算法影響評估模型,通過該模型就能夠向算法監管機構和社會公眾證明算法隨機選擇輸入數據的公平性,以及自動化決策是根據一套統一規則做出的且不存在任何歧視性輸出結果。(44)參見Joshua A. Kroll, et al., “Accountable Algorithms”,University of Pennsylvania Law Review, Vol.165, No.3, 2017, p.637。實踐中已經有了新的探索。例如,加拿大《自動化決策指令》(Directive on Automated Decision-Making)規定,算法掌控者應當運用動態編程語言開發開源性算法影響評估模型,并依據該指令附錄C 的評估要求為其設置權重、配比風險系數和設定評分編碼。(45)參見Government of Canada, “Directive on Automated Decision-Making”, https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=32592, 2019-02-05。

結 語

數字技術正在塑造人類文明的新實踐,它既對傳統價值世界造成了沖擊,也使正義的理論內涵與存在形態發生了深刻變化。數字正義成為社會正義一種新的重要機制,作為指導和約束人類開發、設計、應用數字技術的價值準則,其出發點和落腳點是社會正義而非“機器正義”。數字正義的實踐機制及其優化問題應在這一基本理解下進行討論方具有意義。未來已來,但邁向數字正義之路道阻且長。當前和今后很長時期內,大數據和算法無疑將呈現出更大的現實力量,也必然給人類價值體系造成更大的沖擊。它“可能會從根本上改變我們與法律的關系,機器而非人類終將成為正義的仲裁者”。(46)Ann Kristin Glenster,“Privacy, Due Process, and the Computational Turn: The Philosophy of Law Meets the Philosophy of Technology”,Cambridge Law Journal, Vol.76, No.1, 2017, p.208.無論如何,怎樣接受和使用這種力量依然取決于人類自身,依然取決于人類在通往正義之路的進程中所做出的倫理判斷。也就是說,人類所構建的關于大數據和算法的法律規制體系,包含著規制的價值沉淀、意義結晶化和客觀化過程,無論哪種規制路徑,都無法回避數字正義這一價值治理維度。(47)參見周尚君:《地方政府的價值治理及其制度效能》,《中國社會科學》2021 年第5 期。只有在清晰明確的數字正義的指引下,才能在算法崛起誘發的一系列社會困境和挑戰中厘清方向。而且,數字正義不僅來自算法的數學邏輯,更來自我們的社會經驗,以及我們如何協調算法決策的效率、精度與人類正義價值的法律保障。(48)參見PRB. Fortes,“Paths to Digital Justice: Judicial Robots, Algorithmic Decision-Making, and Due Process”,Asian Journal of Law and Society, Vol.7, No.3, 2020, p.467。因此,歸根結底,“誰編碼、如何編碼以及如何使用編碼并不只是一個技術問題,而是一個實實在在的社會正義問題”。(49)董青嶺、朱玥:《人工智能時代的算法正義與秩序構建》,《探索與爭鳴》2021 年第3 期。

當然,數字正義的實現機制是一個包含法律、技術及倫理等諸多要素的系統工程,法律規制是保障其實現的主要手段,但僅僅依靠法律規制尚不足以解決數字正義實現過程中的所有問題。本文雖然強調規制實施工具的系統性,統籌考慮不同規制工具的功能優勢和作用機理,把技術與倫理要求融入法治體系之中,但是如何在數字正義的實現機制中促成多種制度的銜接和協調,如何最大化發揮技術和倫理交互作用的效能,還有待進一步研究。

主站蜘蛛池模板: 亚洲Av综合日韩精品久久久| 一级毛片在线直接观看| 性色一区| 99这里只有精品在线| 2019国产在线| 国产手机在线小视频免费观看| 精品久久国产综合精麻豆| 亚洲国产精品不卡在线| 无码内射中文字幕岛国片| 午夜成人在线视频| 亚洲狠狠婷婷综合久久久久| 亚洲天天更新| 88av在线看| 国产精品久久久久久久伊一| 亚洲国产av无码综合原创国产| 亚洲成a人片77777在线播放 | 中美日韩在线网免费毛片视频| 天天综合天天综合| 成人字幕网视频在线观看| 久久久久88色偷偷| 天堂va亚洲va欧美va国产 | 午夜丁香婷婷| 操操操综合网| 亚洲午夜天堂| 精品伊人久久久香线蕉| 国产免费看久久久| 亚洲日韩精品欧美中文字幕| a在线亚洲男人的天堂试看| 国产国语一级毛片| 青青青视频91在线 | 又黄又爽视频好爽视频| 又爽又黄又无遮挡网站| 亚洲综合色婷婷| 中文字幕啪啪| 国产91丝袜在线播放动漫| 国产第八页| 手机在线国产精品| 久久99精品久久久久纯品| 成人在线综合| 亚洲人成人伊人成综合网无码| 亚洲三级色| 欧日韩在线不卡视频| 色网在线视频| 欧美精品另类| 18禁影院亚洲专区| 韩国v欧美v亚洲v日本v| 亚洲无卡视频| 久久一级电影| 四虎国产精品永久一区| 99精品在线看| 日本高清免费一本在线观看 | 精品无码一区二区在线观看| 国精品91人妻无码一区二区三区| 日本午夜视频在线观看| 岛国精品一区免费视频在线观看| 亚洲日本一本dvd高清| 狠狠色狠狠综合久久| 精品久久久久无码| 青青草国产一区二区三区| 黄色片中文字幕| 午夜性爽视频男人的天堂| 国产乱肥老妇精品视频| 亚洲九九视频| 狠狠干欧美| 2022国产91精品久久久久久| AV不卡无码免费一区二区三区| 超薄丝袜足j国产在线视频| 国产永久无码观看在线| 露脸国产精品自产在线播| 亚洲国产天堂在线观看| 色综合国产| 国产成人无码AV在线播放动漫| 成人在线不卡视频| 亚洲一级毛片免费看| 麻豆精品在线| 9cao视频精品| 日韩国产黄色网站| 欧美综合成人| 一本色道久久88| 亚洲国产AV无码综合原创| 国产一区二区三区免费观看 | 青青草国产一区二区三区|