999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

“共同善”維度下的算法規制

2019-03-29 06:28:09
法學 2019年12期
關鍵詞:人工智能

●王 聰

在討論算法的倫理含義及其規制時,我們實際上是在討論“決策支持系統”(Decision Support Systems, DSS),它分析數據并為行動提供建議。〔1〕See Daniel Staemmler, “Ethics in AI: Are Algorithms Suppressing Us? ”, https://www.elsevier.com/connect/ethics-in-ai-arealgorithms-suppressing-us, visited on Nov.2, 2019.在技術上,算法可以復雜到連設計者都難以明晰其具體運作過程的程度,〔2〕See Davide Castelvecchi, “Can We Open the Black Box of AI”, 538 Nature 20, 20-23 (2016).這就產生了所謂的“算法黑箱”及其解釋難題。在法律視野中,“黑箱”掩蓋并可能在一定程度上加劇了算法偏見和對基礎數據的使用問題。由于算法可能將歧視編碼到算法設計中去,其實也進入我們未來的生活中。“如果這一問題不能得到解決,那它將會摧毀我們的社會。”〔3〕《美參院將評估AI算法偏見提上立法日程:“算法黑箱”迎來光明?》, https://baijiahao.baidu.com/s?id=1630578771816661 322&wfr=spider&for=pc.https://36kr.com/p/5123323,2019年10月20日訪問。《新一代人工智能發展規劃》將人工智能上升至國家戰略,發揮法律保障功能,促進人工智能的健康有序發展,規制人工智能核心驅動力——算法成為法律亟待解決的議題。〔4〕《國務院關于印發新一代人工智能發展規劃的通知》(國發〔2017〕35號)(以下簡稱《規劃》)指出,人工智能的迅速發展將深刻改變人類社會生活、改變世界,但人工智能可能帶來改變就業結構、沖擊法律與社會倫理、侵犯個人隱私、挑戰國際關系準則等問題,要求在大力發展人工智能的同時,必須高度重視可能帶來的安全風險挑戰,加強前瞻預防與約束引導,最大限度降低風險,確保人工智能安全、可靠、可控發展。《規劃》提出了人工智能法律(倫理)發展三個階段的目標:到2020年,部分領域的人工智能倫理規范和政策法規初步建立;到2025年,初步建立人工智能法律法規、倫理規范和政策體系;到2030年,建成更加完善的人工智能法律法規、倫理規范和政策體系。《新一代人工智能治理原則——發展負責任的人工智能》進一步強調了在數據獲取、算法設計、技術開發、產品研發和應用過程中消除偏見和歧視的重要性。目前的算法規制研究剛起步不久,忽視了算法規制的共同善(Common Good)維度。在規制的視野下,〔5〕對于“法律規制”一詞的使用,較為混亂。本文在通過法律進行規制的意義上使用該詞。較有意義的討論,參見宋華琳:《邁向規制與治理的法律前沿——評科林·斯科特新著〈規制、治理與法律:前沿問題研究〉》,《法治現代化研究》2017年6期;沈伯平:《管制、規制與監管:一個文獻綜述》,《改革》2005年第5期。文章將探討對算法規制的法哲學根基——共同善及其介入算法規制的具體途徑。

一、問題的提出:算法規制為何需要公共善維度

大數據技術讓整個世界逐漸數據化,人們生活的方方面面都轉成數據。〔6〕See Kenneth Cukier and Viktor Mayer-Schonberger, “The Rise of Big Data: How It’s Changing the Way We Think about the World”, 92 Foreign Affairs 28 (2013).數據成為描摹世界的工具,人們掌握的數據及其規模直接決定了人類對世界的認識程度。正如舍恩伯格所說,數據正在成為我們所有生活領域的世界觀。〔7〕參見[英]維克托·邁爾·舍恩伯格、肯尼斯·庫克耶:《大數據時代:生活、工作與思維的大變革》,盛楊燕、周濤譯,浙江人民出版社2013年版,第207頁。在這一背景下,數據主義呼聲再起,似乎缺失了數據的言說和行為,即缺乏正當性和善的基礎。然而,技術變革在形塑了人類社會數據化生存狀態的同時,也進一步為算法權力的擴張提供了空間。〔8〕參見陳鵬:《算法的權力:應用與規制》,《浙江社會科學》2019年第4期。

(一)透明社會的形成與算法權力的崛起

1.透明社會的形成。20世紀,互聯網、移動通信等技術的發展與應用,為人類生存的數據化提供了條件。人們的生活呈現出線上與線下的分野。尤其是到了大數據、云計算、萬物互聯的時代,隨著在數據采集、存儲、傳輸和處理等方面的革命,越來越多元的傳感器或軟件正在不斷產生大數據內容。〔9〕參見張憲麗、高奇琦:《透明人與空心人:人工智能的發展對人性的改變》,《學術界》2017年第9期。人類的生活線上化速度加劇,線上影響輻射到線下,個體的絕大部分行為亦可在線上發生。在此背景下,個體的行為被理解為數據流,其行為的效果自然要經過算法的揀選、過濾和審視。在大數據精確分析的前提下,政府或公共服務提供者可以更加靈活地根據個體的不同情況因人而異地自動提供公共物品和更為細致的公共服務,以滿足個體的正當利益需求和社會需求。由生產的角度觀察,我們在網絡世界無償為數據企業從事數據生產,其結果是我們的生活被數據記載、表達、模擬、處理、預測,數據企業通過大數據的比對和信息還原可以精準地復原主體在一定時間段的所有行為,每個人成為透明的個體,整個世界也從難以認識的黑箱世界逐漸變成透明世界。〔10〕所謂透明世界是相對于黑箱世界來說的,指的是事物失去了任何遮蔽,人們可以看見其內部的一切,既可以知曉其過去的歷史軌跡,又可以預知其未來變化。參見黃欣榮:《大數據、透明世界與人的自由》,《廣東社會科學》2018年第5期。

2.算法權力的崛起。與大數據相伴而生的大規模數據分析催生了數字社會新的權力格局。在人工智能時代,具有自主學習與決策功能的智能算法超越了工具化范疇。所謂人工智能本質上也僅是在海量數據基礎上依據算法和統計模型進行的自動化。〔11〕參見胡凌:《網絡法的政治經濟起源》,上海財經大學出版社2016年版,第230頁。由此人工智能技術平臺利用自身在數據處理和深度學習算法上的技術優勢,基于海量數據運算配置社會資源,直接作為行為規范影響人的行為,輔助甚至取代公權力決策,形成了對政府、公民、社會組織等的影響力,從而發展為一支新興的技術權力,即所謂的算法權力。算法權力(Algorithmic Power)根源于數據主權(Data Sovereignty),即互聯網信息巨頭們對海量數據的占有和使用,〔12〕同前注〔11〕,胡凌書,第34頁。本質上是控制算法設計和研發過程的資本的權力。與傳統權力不同,算法權力更為理性、客觀和高效,具有無邊界、分散化的特點,無遠弗至。人類處于其監控之下,卻不知所以,不知其所來。這為規則的應用拓展了一個前所未有的空間。

如果我們采取數據主義的觀點來理解世界,算法就是數據世界的律法。無論從算法的制定、算法的執行還是算法技術的監管角度,算法作為數據世界的律法將與現代法律表現出截然不同的特征。如果現代法律規范以普遍性為特征,那么算法將以特殊性為首要考慮。〔13〕參見鄔蕾:《算法與法秩序的重塑》,《中國社會科學報》2019年02月20日第5版。算法權力以處理海量數據的機器優勢、基于復雜算法生態的架構優勢與對社會權力運行的嵌入優勢為基礎,形成了以下特征:一是跨越性,包括跨越網絡和物理空間、跨越公私兩個領域;二是隔離性,即算法權力與民眾理解和現有法律體系的隔離。〔14〕參見張凌寒:《算法權力的興起、異化及法律規制》,《法商研究》2019年第4期。

3.算法權力崛起帶來的問題。算法本身并非純粹客觀的數據處理手段,各種數據的量化采集有其前提和假定,存在諸多不透明的因素。由于缺乏有效規制,在商業領域,算法權力形成與消費者的不公平交易,催生了監視資本主義;在公權力領域,算法權力嵌入公權力運行的各個環節,正挑戰著正當程序制度和權力專屬原則。算法的崛起引發了公共領域結構性轉變。〔15〕See Frank A.Pasquale, “The Automated Public Sphere”, 31 U of Maryland Legal Studies Research Paper 1, 1-18(2017).這導致了網絡權力的失衡、信任的減低和平等包容網絡環境的破壞,而這些恰是網絡公共空間賴以存在的基礎性要件。〔16〕See Lincoln Dahlberg, “Computer-Mediated Communication and The Public Sphere: A Critical Analysis”, https://onlinelibrary.wiley.com/doi/full/10.1111/j.1083-6101.2001.tb00137.x, visited on Oct.20, 2019.

首先,基于算法的數據挖掘和分析所做出的預測,有助于控制并干預其現實與未來的可能性。對于群體行為來說,“預測現在”意味著通過對主體能動性的引導對群體的行為進行動態干預,而這會對群體的未來行為產生影響。以劍橋分析事件為例,2013年劍橋大學研究員Kogan通過創建Facebook應用,陸續收集了數千萬用戶信息,將這些信息轉手給了劍橋分析(Cambridge Analytica)的母公司SCL。劍橋分析運用機器學習算法發掘出更深層次的關聯,并將其用于“心理變數營銷”(Psychographic Targeting)性質的政治營銷活動,從而影響多國選舉情況,這其中就包括特朗普贏下的2016年美國大選。〔17〕參見[英]大衛·哈維:《新自由主義方案依然活著但其合法性已然喪失——英國馬克思主義學者大衛·哈維專訪》,禚明亮譯,《吉首大學學報》(社會科學版)2019年第3期。

其次,某些行業的傳統職權已被算法取代。《2016年中國互聯網新聞市場研究報告》顯示算法分發新聞數量已經超越編輯分發成為網絡新聞主要的分發方式。〔18〕參見中國互聯網絡信息中心:《2016年中國互聯網新聞市場研究報告》, http://www.fdi.gov.cn/1800000121_35_1610_0_7.html,2019年9月20日訪問。在此背景下,專業記者和編輯的諸多職權已被算法取代。而且,可以預見隨著技術優化,算法權力的范圍仍將不斷擴張。〔19〕參見張淑玲:《破解黑箱:智媒時代的算法權力規制與透明實現機制》,《中國出版》2018年第7期。有學者甚至擔憂,人工智能對人類的技術優勢很可能會發展成為人工智能技術對人類的霸權。〔20〕同前注〔8], 陳鵬文。像Facebook和Google這樣的公司已經在很大程度上自動化了電視網絡經理或報紙編輯所做的決策類型,而且效果顯然要良好得多。

最后,個人隱私權利被算法權力侵蝕。在互聯網企業對于利潤的追求和“大數據”科技的無所不能面前,弱勢的消費者在進入互聯網世界的第一步時,就已經在“大數據”面前幾乎毫無隱私可言,各種網站、APP等的協議內容形同虛設,消費者同意信息和數據的收集使得網絡平臺可以對數據主體進行“精準畫像”。所以,信息泄露和大數據殺熟為代表的信息的不當收集、不當使用等不能有效禁止。〔21〕參見《“大數據殺熟”死灰復燃 誰還敢再相信攜程?》,https://baijiahao.baidu.com/s?id=1627793955806650154&wfr=spider&for=pc,2019年10月21日訪問。一方面,信息巨頭憑借架構設計權,直接在微觀上對用戶的行為施加影響。另一方面,在算法的自動化決策中,〔22〕較早對自動化決策進行分析的成果,參見Nicholas Carr, “The Glass Cage: Automation and Us”, W.W.Norton & Company,2014, pp.153-177.人類只是被分析的對象,我們并不知道數據何時被采集,哪些信息將會被分析。〔23〕See Lawrence Lessig, “Code: And Other Laws of Cyberspace”, Basic Books, 2006, p.1.網絡巨頭利用技術優勢可以輕易探知用戶的操作習慣和偏好,對用戶進行精準的畫像,形成了大數據時代的“網絡監視”。〔24〕同前注〔11〕,胡凌書,第177頁。生活中隨處可見的商品或服務的推送、大數據殺熟等情況即反映了這種“監視”的深度和廣度,在根本意義上消解了隱私的意義。

(二)算法黑箱加劇數據歧視

1.算法黑箱下的信息侵害。伴著人工科學的發展,人類對人工世界和人工物的認知已經取得了長足的進步,〔25〕參見[美]司馬賀:《人工科學:復雜性面面觀》,武夷山譯,上海科技教育出版社2004年版,第3~5頁。但不能否認,人工世界的相當部分仍不為人知。控制論者將人們無法從外部觀察其內部狀態的這部分內容稱為“黑箱”。〔26〕參見陶迎春:《技術中的知識問題——技術黑箱》,《科協論壇》(下半月)2008年第7期。多年來,以深度學習為代表的人工智能算法即被計算機專家描述成一個無人理解的“算法黑箱”。〔27〕同前注〔2〕,Davide Castelvecchi文。正是由于技術上難以解釋算法如何決策,加之其在人類生活中的逐步擴展,人們對算法“黑箱”及其公平性引發了普遍的擔憂和反思。以大數據殺熟為例,平臺公司根據用戶經常瀏覽或消費的商品類型、價格區間、購物歷史,結合用戶的地理位置、移動情況、常去消費地點等,推測用戶收入水平,分析用戶當下或潛在的消費欲望,對用戶進行精準的“畫像”并制定溢價措施。〔28〕參見《大數據“殺熟”又來了,如何反殺卻是個技術活》,http://dy.163.com/v2/article/detail/ECG5L14L05118B5G.html,2019年10月21日訪問。

算法“黑箱”的核心問題在于信息不對稱和不公開。“黑箱”掩蓋了算法對于數據的利用,用戶無從得知算法的目的和意圖,不可能獲悉算法設計者、實際控制者以及機器生成內容的責任歸屬等信息,更談不上對其進行評判和監督。〔29〕不過,對于技術能否識破算法黑箱存在不同認識。參見張吉豫:《打破人工智能算法黑箱》,https://36kr.com/p/5123323,2019年10月21日訪問。這就導致算法的某些負面影響和潛在問題被掩蓋,比如算法的核心要件——數據和算法模型兩個方面均存在數據歧視,也就提出了對這種不透明的算法權力進行有效規制的議題。但黑箱背后存在復雜的利益關系,在根本上加劇了對算法進行規制的難度。在我國司法實踐中也曾發生一系列涉及算法的案件,〔30〕參見上海市楊浦區人民法院(2015)滬楊民三(知)初字第1號判決書;上海知識產權法院(2015)滬知民終字第728號判決書;廣東省高級人民法院(2016)粵行終492號判決書等。反映了這一問題的復雜性。〔31〕參見[美]莫里斯·E.斯圖克、艾倫·P.格魯內斯:《大數據與競爭政策》,蘭磊譯,法律出版社2019年版,第32~33頁。

2.算法自動化決策的監管難題。對算法規制的難點還在于,算法的自動化決策不同于工業時代的機械自動化,信息時代的自動化一定程度上更有彈性,更能彌補人性的弱點。這決定了對于算法的治理思路與傳統自由主義和法治強調個人理性完備、自主、獨立、自我負責意識形態截然不同,轉而強調理性受限,需要外界加以“輕推”。〔32〕同前注〔11〕,胡凌書,第200頁。不過,自動化公共領域的缺陷如此明顯,消費者保護和媒體監管機構必須進行干預。但新的監測和監管方法應該像它們所瞄準的自動化公共領域一樣,在技術上成熟和全面。然而,我國現行法律體系尚未針對算法規制問題做出具體回應,尤其是在人工智能發展對法律提出挑戰的背景下,對此問題的討論顯然不能脫離網絡法這一整體框架,只有建基于網絡法律規制的語境之下,才有可能發現算法的整體哲學背景。

(三)算法規制的價值基礎:“共同善”的出場

數據的運算并非一個與價值無涉的中立客觀過程,而是蘊含著特定的價值判斷。況且由于算法黑箱的存在,算法運行的不可預測與審計一直是問題。在這一意義上,算法的設計者或者控制者也不能完全左右,在某種意義上稱之為“技術無意識”。但是算法作為代碼世界的規則,為人類的線上和線下生活提供了數據化框架,對人和世界產生著決定性的影響。因此,我們需要由更為根本的維度——共同善來審度算法權力,規制算法偏見,防止權力異化,迫使其修正與改進。

1.公共空間的網絡轉化。網絡法構成了算法及人工智能法律調整的整體背景,網絡公共領域構成了共同善出場的現實基礎。互聯網是哈貝馬斯所稱的現實“公共領域”的網絡體現,“公共領域”主要由三方面要素構成:一定規模具有自愿性且擁有共同利益的公眾;以批判意識為核心,以對國家權力進行批評與監督、控制為主要目標的“公共意見”或“公眾輿論”;公眾賴以表達、傳播自己意見并使之對以國家權力為主體的公共權力形成影響、約束乃至監督、控制的媒介和場所。〔33〕參見[德]哈貝馬斯:《公共領域的結構轉型》,曹衛東等譯,學林出版社1999年版;另見《在哈貝馬斯八十九歲壽辰回顧經典的“公共領域”理論》,http://www.sohu.com/a/236443226_736480,2019年10月20日訪問。按照這一界定,公共領域并不僅僅具有物理空間的意義,其前提是自由參與,具有開放性,人們可以平等地、理性地討論公共議題,通過批判性的討論,克服分歧和差異以達成共識。因此,這一理論可以用來討論網絡公共空間的問題,從私人領域中發散開去,在國家和市民社會中具有某種獨立的媒介地位。

2.網絡公共空間的異化。TCP/IP協議和萬維網將計算機緊密相連,商業資本由此在更大范圍的平臺上組織勞動力和生產資料,創造全新的生產模式。然而,互聯網已不是理想中的分布式網絡,隨著少數互聯網巨頭控制了核心節點,被譽為開放之地、互動之區的互聯網演化為具有少數核心節點的貴族式網絡,這些巨頭搭建網絡交流溝通的接口與標準,并欲借此成為中心的信息中介,從而掌握一切生產性資源的流動。〔34〕同前注〔11〕,胡凌書,第326~331頁。這些互聯網巨頭憑借排他權力,為了自身的經濟利益使用網絡數據,原本被期待更為開放的網絡公共領域逐漸被不同的信息巨頭瓜分。〔35〕同上注,第36頁。當這些大平臺控制了互聯網架構的代碼層、應用層和內容層,就會產生為自己利益服務和排他競爭等問題,這就產生了對物理層之外的技術中立的爭論。

技術價值中立的觀點長期盛行也深入人心。但維納(Winner)早在20世紀八十年代即提出,技術具有政治屬性。〔36〕See Langdon Winner, “Do Artifacts Have Politics?”, 109 Daedalus 121, 121-136 (1980).后來的學者更是系統提出技術本身內嵌價值的觀點,〔37〕See Mary Flanagan, Daniel C.Howe and Helen Nissenbaum, “Embodying Values in Technology: Theory and Practice”,Cambridge University Press, 2008, pp.322-353.即在技術工程設計階段就有一些價值被有意無意地嵌入其中。互聯網興起后,網絡隱含的價值偏見和利益取向也引起了廣泛關注。普通人即很難發現軟件所隱藏的有限性、許可、特權和障礙。〔38〕See Astrid Mager, “Algorithmic Ideology: How Capitalist Society Shapes Search Engines”, 15 Information Communication &Society 769, 769-787 (2012).算法同樣如此,數據自動化處理本質上仍是人為編制的運算法則,其中的回報函數體現著工程師的設計意圖和價值取向。〔39〕參見姜野:《算法的規訓與規訓的算法:人工智能時代算法的法律規制》,《河北法學》2018年第12期。就算法的設計過程來看,作為其要素的基礎數據和推理假設都有可能隱含設計者的偏見、價值觀和意識形態取向。〔40〕同前注〔19〕,張淑玲文。算法的價值偏見構成了共同善出場的基本理由。

共同善的出場促使法律對算法等技術的規制不得不轉變立場,即由通常的單純事后責任追究擴及事前的合法性考察。具體而言,在設計階段就考察其所欲實現之價值是否合法,即算法的價值敏感性成為先期審查內容。〔41〕參見王小偉:《作為一種價值的互聯網——一個比較哲學的思路》,《自然辯證法研究》2016年第11期。不過,借助現有法律調整新技術帶來的價值問題,似乎永遠不能得到最佳的結果,原因是新技術多以嶄新的方式影響著人類的存在。這就要求我們改變頭痛醫頭、腳痛醫腳的做法,改變從外部進行評估技術的傳統路線,轉而從內部進行價值賦予,〔42〕參見[荷]彼得·保羅·維貝克:《將技術道德化:理解與設計物的道德》,閆宏秀、楊慶峰譯,上海交通大學出版社2016年版,第1頁。在網絡法的整體背景下,探討法律規制算法技術的價值基礎。此時,共同善作為規制算法的哲學基礎就進入我們的視野。

由公共善維度討論算法的規制,旨在建立內部和外部配合、事前和事后勾連、限權與賦權并舉的制度體系,最終防止算法權力的異化。賦權相對于算法規制是外部路徑,屬于事后調整,是數據生產者審視算法對數據利用情況的權利,即算法解釋請求權。限權在算法規制體系中屬于內部路徑,是事前介入,即遵循技術規律,針對算法的本身,追求算法有意義的透明化和道德化。

二、共同善介入算法規制的內部路徑:技術面向下的算法透明

作為算法規制基礎的共同善,從根本上要在遵循算法技術規律的前提下,通過符合共同善的算法本身的設計發揮作用,這構成了共同善介入算法規制的內在路徑。

(一)共同善與算法規制的技術面向

學者們在兩種意義上使用“共同善”概念。一種觀點認為共同善即公共利益,或者說公共利益是共同善的具體體現;〔43〕參見[美]菲利浦·佩蒂特:《共同善》,曹欽譯,《政治思想史》2015年第2期。另一種觀點認為共同善是共同體的倫理價值,我們可以把它認定為共同體追求的至善目標,〔44〕參見[美]約翰·菲尼斯:《自然法與自然權利》,董嬌嬌等譯,蘇苗罕等校,中國政法大學出版社2005年版;See John M.Finnis, “What Is the Common Good, and Why Does It Concern the Client’s Lawyer?”, 40 South Texas Law Review 41 (1999).正如古希臘城邦這一政治共同體的目標是為了追求最高的善一樣。無論采取哪種觀點,共同善概念與我們的社會生活和目標緊密相連,一方面構成權利主體利益存在與判別的背景和價值支撐,另一方面又構成了我們自身目的或者利益的核心內容。共同善介入算法規制的路徑設計,大致也無外乎循此兩種意義進行。

為了更為清晰地理解共同善的概念,我們簡要勾勒政治哲學上社群主義與自由主義對權利與善的爭論。對于權利與善何者優先這一焦點議題,康德和羅爾斯為代表的自由主義學者以個人主義作為立論基礎,把個人“權利”放在比其所處的社會環境更高的位置。社群主義的代表人物桑德爾對此提出批評,提出“善優先于權利”的觀點。這里的“善”即根植于具體共同體的“共同善”。〔45〕參見[美]邁克爾·J.桑德爾:《自由主義與正義的局限》,萬俊人等譯,譯林出版社2001年版,第162~211頁。原因是,人類對善的追求總是在一個社會共同體中進行的,權利的追求應維護既定的社會秩序,使之有效率并能夠和諧有序,這就是共同體的“共同善”,亦即共同體的共同利益。〔46〕參見葛紅梅:《桑德爾公共哲學思想研究》,復旦大學2009年博士學位論文,第51頁。在根本上,這是由人類的類群性、社會性之天性決定的。

如何評判一個制度或者一項技術是否符合共同善的要求,是其介入算法規制是否有效的判別標準。對于更廣泛意義上的制度設計是否符合共同善這一問題,大衛·施密特提出具有啟發性的觀點。他認為,一個制度能讓所有人都過得更好,通常即意味著服務了公共的善。但是,從嚴格意義上講,很難有哪個制度實際符合這一標準。因此,作為另外一種可能,施密特提出“假設我們知道,一個制度至少使得它所影響的一半人過得更好。”〔47〕[美]大衛·施密特:《個人 國家 地球——道德哲學和政治哲學研究》,李勇譯,上海人民出版社2016年版,第143頁。對于包括算法在內的技術的共同善的符合性判斷,大致亦不外此類判別標準。在具體手段上,算法規制內在路徑要求自覺主動地把有益于共同善的價值融入到技術設計中去。這需要重視并尊重算法的技術面向。

算法、數據結構、編程語言構成了計算機科學的三大要素,算法又與大數據、算力共同構成了人工智能三個推動力。由此可見,算法與數學和計算機科學存在密切關聯,其在計算機領域發揮著核心作用。算法本質上是一種解決問題的方式,它用數學語言建構數學模型來描述現實世界,是以數學方式或者計算機代碼表達的意見。具體來說,算法是包含一系列復雜的數學規則、能通過預先設定的步驟解決特定問題的計算機程序。〔48〕參見高學強:《人工智能時代的算法裁判及其規制》,《陜西師范大學學報》(哲學社會科學版)2019年第3期。算法邏輯是將人類解決問題的過程分解為若干步驟,再通過程序設計,將這一過程模擬化或公式化,借助系統化的計算機程序來求解更復雜的問題。〔49〕參見王紅梅、胡明:《算法設計與分析》(第2版),清華大學出版社2013年版,第6頁。算法的這種技術面向決定了普通的數據主體很難了解算法運算所涉及的大體量數據的復雜程序,日常自動化決策多種算法的疊加更加劇了解釋黑箱的難度。

美國學者迪亞克普拉斯提出了算法黑箱的兩種常見情形。〔50〕See Nicholas Diakopoulos, “Algorithmic Accountability: Journalistic Investigation of Computational Power Structures”, 3 Digital Journalism 398 (2015).第一種情形對應監督式機器學習技術,多見于結構化數據豐富的領域,也是目前國內運用比較多的算法形式。這一過程有固定的模板,輸入和輸出都是已知信息。第二種算法“黑箱”中,算法輸入側挖掘、收集數據等環節具有不透明性,對用戶而言是未知的,但符合某種統計學規律,只有輸出側是已知的。有學者稱這兩種情形是算法黑箱的初級形態和中間形態。該學者進一步提出,還存在對應無監督式機器學習的第三種形態,這一黑箱形態無須固定的輸入輸出模板,算法在沒有任何人為干預的條件下,憑借自主學習能力自動地從數據中抽取知識。這種情形下輸入和輸出兩側組成了一個閉環的黑箱,諸多流程均是不透明的,是算法黑箱的高級形態。〔51〕同前注〔19〕,張淑玲文。

(二)道德算法:共同善介入的內部路徑

1.數據正義下的算法透明。數據存儲、收集、分析成本的降低提高了物理行為的數據轉化,數字化生活將物理世界行為網絡化,這為算法透明提供了一定的現實可能性和外部環境條件。正是在此基礎上,有網絡連接的組織和個人均有可能借助數字技術對政府和機構進行監督和問責,這構筑了算法規制的前提。規制算法的努力和嘗試不斷出現。美國計算機學會公眾政策委員會(ACM Public Policy Council)制定了算法治理的指導細則,比如知情原則、質詢和申訴原則、算法責任認定原則、數據來源披露原則、可審計原則等。〔52〕See U.S.Association for Computational Mechanics, “Statement on Algorithmic Transparency and Accountability”, https://www.acm.org/articles/bulletins/2017/january/usacm-statement-algorithmic-accountability, visited on Oct.20, 2019.《歐盟一般數據保護條例》(GDPR)是對算法解釋的最新立法嘗試。〔53〕GDPR賦予消費者自動化決策“解釋權”,這幾乎成為該條例最具爭議性的條款之一。參見《歐盟〈一般數據保護條例〉》,胡嘉妮、葛明瑜譯,許多奇校,載《互聯網金融法律評論》2017年第1期。本文所引用的GDPR條文均出自此中譯本。我國《電子商務法》第40條及《個人信息安全規范》第7.10條也作出了探索。比如,《個人信息安全規范》第7.10條賦予個人提出申請的程序性權利,但并未涉及對平臺的實質約束。上述立法雖然路徑不一,但均觸及并強調了算法透明或對算法的解釋。

在一定意義上,推進算法透明與規制算法權力是一體兩面的關系。將人工智能算法開源,并公開相關數據一直被認為是可以解決算法黑箱的重要方案。〔54〕See Bruno Lepri, et al.“Fair, Transparent, and Accountable Algorithmic Decision-Making Processes”, 31 Philosophy &Technology 611 (2018).從生產主體的角度來看,提升算法透明度至少可以從算法要素透明、程序透明和背景透明等方面進行嘗試。首先,算法背景透明,即平臺應向用戶交代算法設計者及其所在機構的目標和意圖,將算法在實際運行中可能帶有的偏見、易犯的錯誤坦誠告知用戶。第二,算法要素透明。數據是算法運行的前提條件和基本要素。“數據透明”要求在數據生產和處理日趨復雜的形勢下,增強個人的知情權,以便讓偏向于平臺優勢的信息回復實現對稱。〔55〕參見許可:《人工智能的算法黑箱與數據正義》,《社會科學報》2018年3月29日第6版。算法程序的高效運行對數據量級和質量均有很高的要求。此外,模型輸入的變量及其特征,特別是關鍵變量值、特征權重和建模工具等信息均有必要向用戶披露,從而使他們對算法的建模過程有較為全面的了解。第三,算法程序透明。生產主體應就算法的運算和決策過程予以必要解釋,以實現程序透明。算法程序的推理規則,如分類、數值推測、推薦等,其中包含的準確度、基準值、置信水平等統計數據均存在不確定性。還有外部接口的開關、輸入與權重的可調整性以及呈現給終端用戶的界面設計等,都需要考慮以便于用戶理解的方式予以充分披露。〔56〕同前注〔19〕,張淑玲文。

2.道德算法的提出。算法透明并不意味著對算法權力的有效規制。一方面,這一方案目前還不能適用于自動化決策的全部場景,原因是很多算法屬于涉及商業利益的專有算法,受知識產權保護,多數情況下還涉及個人隱私等問題。另外,代碼和數據開放本身并不意味著滿足了社會對于算法可解釋性的需求,本質上,算法透明只能是有限度的透明。因此,我們需要多角度立體建構算法規制的制度體系。同時,現實中很多擁有數據和代碼的企業亦無法直接對自己的算法做出充分解釋。〔57〕同前注〔29〕,張吉豫文。

在上述背景下,將符合共同善的倫理價值編入算法并形成道德算法,成為共同善介入算法規制的必然路徑。首先,共同善要求更為科學地界定對社會秩序、公共利益或國家安全有嚴重危害或影響的算法,這類算法一般被稱為公共利益算法。〔58〕參見孫益武:《規制算法的困境與出路》,《中國社會科學報》2019年4月24日第5版。由于其直接指向公共利益,因此立法要對這類算法進行特別的規制。其次,道德算法是嵌入在算法體系中有待完善的算法程式。但如何在算法內嵌入道德,無論在技術上還是在學理上都有爭論。有學者認為,設計者應該將這一問題留給使用者,當這不可能實現時,對算法的倫理要求至少應當是透明的且易于用戶識別。〔59〕See F.Kraemer, K.Van Overveld and M.Peterson, “Is There an Ethics of Algorithms?”, 13 Ethics Inf Technol 251, 251-260(2011).當這些算法導致錯誤決策時,創建或在使用這些理解的算法(Inscrutable Algorithms)的開發人應承擔責任。〔60〕See Kirsten Martin , “Designing Ethical Algorithms”, 18 MIS Quarterly Executive 129, 129-142 (2019).這一路徑的理論預設前提是,賦予機器人道德能力,這呼應了 James H.Moor提出的三種道德主體(Ethical Agent)。〔61〕See James Moor, “The Nature Importance, and Difficulty of Machine Ethics”, 21 IEEE Intelligent Systems 18 (2006).申言之,由于道德在情感的基礎上得以生發,如果機器人具有情感能力,機器之良心——道德心即得以生成。算法只有體現或遵循人類主體模式下的“善法”,才能以有責任感的方式推進道德算法的進化及其在機器中的嵌入。讓機器人在一個道德判斷情境中模仿人類的決策過程,首先需要機器人能意識到道德判斷情境,接著依循所布建的推理策略──包括道德原則、基準與價值等。這是人工智能時代的道德建構應遵循的基本原則,即算法遵循“善法”。〔62〕參見田海平:《讓“算法”遵循“善法”》,《光明日報》2017年9月4日第15版。不過,需要指出,正如我們已經提示的那樣,道德算法雖然在技術上可能得到支持,目前對賦予人工智能道德能力的算法仍有不同意見。如欲真正實現共同善的要求,至少還應克服算法賴以存在的數據的倫理困境,治理或防范數據失信和失真,遵循“善法”,實現“善智”。讓算法遵循“善法”需要先期的規范性構建,這種規則建構的努力方向是將共同善的倫理價值融入算法規則設計之中。

三、共同善介入算法規制的外部路徑:算法透明下解釋請求權的設置

算法規制應從增強算法透明度與可解釋性兩方面努力。〔63〕同前注〔39〕,姜野文。除了前文的內部路徑外,設置算法解釋請求權構成了共同善介入算法規制的外部路徑。

(一)權利的共同善向度

在政治學對“善”與“正當”的爭論之外,不容忽視的是拉茲的“共同善權利觀”。拉氏認為,在對權利的證成中,個人利益與共同善通常是“雙重和諧”關系。具體來說,除了保護個人的利益之外,通過保護個人權利來保護共同善或者通過保護共同善來保護個人利益也是證成權利的部分正當性理由。一方面,保護共同善同時也是保護公共利益,因為個人“是團體中的一員”;另一方面,保護個人利益同時也是保護共同善,因為“正是通過保護個人權利,人們才保護了共同善,從而服務了大多數人的利益。”〔64〕彭誠信:《現代權利理論研究》,法律出版社2017年版,第89頁。拉氏較早關注了權利的共同善屬性,并以此反駁那種認為個人權利具有優越性并以之反對普遍善或共同善,或者一般性地反對其他人的主張、需求、需要或要求的觀點。合理評價拉氏權利觀的關鍵是如何認識權利的本質。在權利理論上,拉茲顯然屬于利益論者,但毫無疑問其對“利益”進行了更為廣義的解讀,他認為權利的分量或重要性等于權利人的利益再加上其他人的利益,后者即是 “共同善”。如此在拉茲的權利理論中,共同善構成了權利正當性的理由,在一定意義上也強化了權利保護的力度。〔65〕參見朱振:《共同善權利觀的力度與限度》,《法學家》2018年第2期。

斯皮爾坎普先生辯稱,應將自動化決策系統用于實現共同利益、增加參與和提高司法公正。〔66〕See Daniel Staemmler and Eva Podgor?ek, “Ethics in AI: Are Algorithms Suppressing Us?”, https://www.elsevier.com/connect/ethics-in-ai-are-algorithms-suppressing-us, visited on Oct.21, 2019.在從數據主權到算法權力形成的背景下,要求解釋算法的權利背后反映的正是一種公共利益,即共同善。具體而言,在互聯網的整體架構中,全民免費的數據生產換來的是算法權力的崛起,甚至是對于數據生產者的監視。數據生產者要求平臺解釋算法即代表著社會對于算法世界的調整和規制,其背后公共利益支撐著個人請求解釋的權利。這一權利的設置構成了共同善介入算法規制的外部路徑。

(二)算法解釋請求權的設立

有學者提出增設算法解釋權,即當相對人對算法得出的自動化決策存疑時有權請求算法的制定者及使用者進行解釋說明,甚至可以要求在消除歧視因素后重新進行自動決策。根據這一界定,算法解釋請求權可謂是對數據主體事后有效的救濟。〔67〕參見張凌寒:《商業自動化決策的算法解釋權研究》,《法律科學》2018年第3期。一般認為,算法解釋的權利肇源于GDPR,但學界對GDPR中是否存在算法解釋請求權仍存在爭議。在GDPR中與算法解釋可能相關的條文有第13條、第14條、第15條和第22條,哪一條文為算法解釋請求權的規范基礎需要具體分析。

1.算法解釋請求權的規范基礎。首先,第15條規定的是數據主體的訪問權,〔68〕GDPR第15條第1段規定:“數據主體有權從控制者處獲得確認,確認與他或她相關的個人數據是否已被處理,以及其是否有權訪問個人數據和以下信息:……(h)存在自動化數據處理,包括第22(1)條和第(4)款提及的數據畫像以及與算法邏輯相關的有意義信息(至少在該等情況下),該等處理對數據主體的重要性與針對該等數據主體的運算結果。”并非算法解釋請求權的基礎。其次,第13條第2段〔69〕GDPR第13條第2段規定:“除第1款提及的信息外,控制者應在獲取個人數據之時向數據主體提供為確保公正透明處理所必需的下列其他信息:……(f)存在自動化數據處理,包括第22(1)條和第(4)款提及的數據畫像以及與算法邏輯相關的有意義信息(至少在該等情況下),該等處理對數據主體的重要性與針對該等數據主體的運算結果。”和第14條第2段〔70〕GDPR第14條第2段規定:“除第1段提及的信息外,控制者應向數據主體提供為確保公正透明處理所必需的下列信息:……(f)存在自動化數據處理,包括第22(1)條和第(4)款提及的數據畫像以及與算法邏輯相關的有意義信息(至少在該等情況下),該等處理對數據主體的重要性與針對該等數據主體的運算結果。”規定了(第三方)數據控制者的通知義務,即在符合第22條第1段和第4段的規定條件時,控制者須向數據主體提供有意義的信息,并就進行此類處理的重要性和預設后果進行解釋。這一解釋屬于面向未來的事前通知義務。〔71〕See Sandra Wachter, Brent Mittelstadt and Luciano Floridi, “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”, 7 International Data Privacy Law 76 , 82(2017).再者,根據歐洲數據保護委員會(以下簡稱EDPB)解釋,有意義的信息為“提供決策過程中考慮的主要特征、信息來源和相關性的詳細信息”,〔72〕The Working Party on the Protection of Individuals with Regard to the Processing of Personal Data, p.25.這一義務顯然無法解釋具體決策,因此第13條、第14條和第15條的規范意旨均不是賦予數據主體算法解釋權。

最后,第22條第3段可以作為算法解釋請求權基礎。第22條第3段規定,在第2段〔73〕GDPR第22條第2段規定:當決策是基于合同必需的、聯邦或成員國法律授權的或者是數據主體明確的同意時,允許僅基于自動化處理(包括分析)作對數據主體有法律上影響或類似重大影響的決策。(a)和(c)這兩種情況下,數據控制者應當采取適當措施,保障數據主體的權利、自由和合法利益,至少有權獲得控制者的人身干預、表達其觀點和對決定提出異議。就文意來看,該條并未規定算法解釋,但結合GDPR序言第71段對第22條所作的解釋,即在任何情況下,此類處理都應遵守適當的保障措施,其中應包括向數據主體提供具體信息以及獲得人為干預、表達其觀點、對評估后達成的決定作出解釋和質疑該決定的權利。EDPB認為,序言第71段數據主體可以獲得評估后達成決定的解釋,要求解釋決定是否妥適的保障措施,理應包含在第22條第3段中。〔74〕也有學者指出,序言不具有法律效力,反對借助序言第71條解釋第22條的規定。參見前注〔71〕,Sandra Wachter等文。因此,從法律體系上來說,從第22條推演出算法解釋權是合理的,第22條第3段在實踐中可以作為算法解釋請求權的基礎。

2.算法解釋請求權的內在邏輯。由立法史考察,GDPR引入了新的規定來解決分析和自動決策所帶來的風險,是對其前身《1995年數據保護指令》(以下簡稱《指令》)中隱私權保護的維系和加強。隱私權的基本內容是作為自然人對屬于自己的私人生活范疇的事項依法自由支配,并排斥他人非法干涉。隱私權保護自然人對個人信息的支配,自然包含了處分和控制個人信息的權能。賦予數據主體算法解釋權的效果是,數據主體可主動明晰個人信息具體是怎樣被處理、使用的,在一定意義上這是對數據主體的數據處分和控制權利的保護,也是對隱私權的加強。我們也可以說,算法解釋權規范功能本來即是要解決算法自動化決策帶來的隱私權問題,或者說由隱私權自然而然可以延伸出算法解釋請求權。

采用算法自動化決策的機構有義務解釋算法運行原理以及算法具體決策結果,算法解釋請求權的立法目的肩負了保護數據主體的人格權的功能,然而數據財產權不需要算法解釋請求權。〔75〕至于人格權以外的財產權是否需要算法解釋權這一問題,涉及學界對個人數據的屬性是人格權還是人格財產權的爭論。參見陳吉棟:《個人信息的侵權救濟》,《交大法學》2019年第4期。數據控制者在算法自動化決策時,其應獲得數據的財產權利。〔76〕參見龍衛球:《數據新型財產權構建及其體系研究》,《政法論壇》2017年第4期;龍衛球:《再論企業數據保護的財產權化路徑》,《東方法學》2018年第3期。然而,隱私權賦予數據主體控制、處分自己信息的權利。〔77〕參見王克金:《權利沖突研究中需要進一步澄清的問題》,《法制與社會發展》2010年第5期。此時就產生了數據控制者的財產權利與數據主體人格權利的沖突。〔78〕這里的權利沖突是廣義上的,對于權利沖突的界定,可參見彭誠信、蘇昊:《論權利沖突的規范本質及化解路徑》,《法制與社會發展》2019年第2期。在權利沖突觀點外,還有一種觀點值得注意,這一觀點堅持理清個人數據與隱私的關系問題。當前學界對于“個人數據”與“隱私”關系問題的論斷主要有二:一為“包含說”,一為“交叉說”。“包含說”主張將個人信息權納入隱私權之內,通過隱私權救濟的途徑來保護個人信息權。“交叉說”認為,個人隱私與個人信息呈交叉關系,有的個人隱私屬于個人信息,而有的個人隱私則不屬于個人信息;有的個人信息特別是涉及個人私生活的敏感信息屬于個人隱私,但也有一些個人信息因高度公開而不屬于隱私。但區分的觀點則認為,個人信息與隱私二者實為彼此獨立的兩個法律概念:“個人信息”必須被“電子或者其他方式記錄”,脫離了載體,個人信息便不存在;而隱私作為一種人類的自然情感,無須載體。且個人信息權是指個人對于自身信息資料的一種控制權,是一種主動性的權利,除了被動防御第三人的侵害之外,還可以對其進行積極利用。但隱私權具有極高的私密性與人身依附性,又與私人生活空間的聯系過于緊密,因而除了對權利主體自身人格具有重要意義之外,一般情況下也無積極利用的必要,而只能在遭受侵害的情況下請求他人排除妨害、賠償損失等。財產權和隱私權本質上都是受法律保障的利益,法律并沒有明確規定哪種權利優先。如果從權利沖突的視角觀察,一般認為,由于法律價值的位階具有一定的流動性,需要在個案中結合具體的條件和事實確定。〔79〕參見林來梵:《論權利沖突中的權利位階——規范法學視角下的透析》,《浙江大學學報》2003年第6期。權利沖突的本質是法律所確定的價值“正當性”之間的沖突。權利沖突最常見的法律后果是一項權利超越與之對立的另一項權利,并由勝出的一方權利人實際行使權利。對于沖突雙方均主張行使權利的情形,權利人之間互不相讓,出現對峙“僵局”,唯有權利的超越方能使主體間的僵持關系得以破解,并有序運行。〔80〕同前注〔78〕,彭誠信、蘇昊文。回到算法解釋的背景下,屬于人格權的個人隱私顯然要比屬于財產權的數據權利價值位階高,但應進行更為細致的分析。一種常見的分類把個人信息分為個人敏感隱私信息(高敏感信息)和一般個人信息。〔81〕參見張新寶:《從隱私到個人信息:利益再衡量的理論與制度安排》,《中國法學》2015年第3期。個人敏感隱私信息密切關聯人的隱私權,涉及人格尊嚴,是人的最基本的權利,當它與數據控制者的數據財產權發生沖突時,理應保護人格尊嚴,數據財產權利讓位于人格權。一般個人信息雖也屬于隱私權,但和人格尊嚴聯系較小,即使泄露,一般對人的影響并不如敏感隱私信息那么大,當其與數據財產權利沖突時,為了社會公共利益和數據控制者的利益,此時的個人信息權利應當讓位于數據財產權利。基于此,“在個人敏感隱私信息與個人一般信息區分的基礎之上,通過強化個人敏感隱私信息的保護和強化個人一般信息的利用,調和個人信息保護與利用的需求沖突,實現利益平衡。”〔82〕同前注〔81〕,張新寶文。

四、結語

算法的自主迭代以及立法的科學性和專業性在根本上決定了算法規制滯后于科技的發展。〔83〕參見蘇力:《法律與科技問題的法理學重構》,《中國社會科學》1999年第5期;楊麗娟:《科技法歷史形態演化的哲學反思》,東北大學2005年博士學位論文。對于算法的規制應在網絡法的整體架構中進行討論方具有意義。從根本上解決算法規制問題,發揮法律價值對技術發展的引領作用,〔84〕參見鄭智航:《網絡社會法律治理與技術治理的二元共治》,《中國法學》2018年第2期。需要強調并型塑網絡空間的公共屬性,在算法內在設計中加入共同善的考量,這構成了算法規制的內在路徑。另外,在共同善的要求下,賦予數據生產者請求解釋算法的權利,這構成了算法規制的外部路徑。如此方能呼應人工智能時代網絡法體系發展要求,建構具有哲學根基,且事前事后配合、內外路徑協調又富于彈性的規制體系。當然,在算法規制的具體技術和措施上也可考慮一些具有操作性的事先規制方法,比如針對特定行業平臺或重要算法進行充分披露或選擇性備案等。〔85〕參見李文莉、楊玥捷:《智能投顧的信義義務》,載岳彩申、侯東德主編:《人工智能法學研究》,社會科學文獻出版社2018年版,第113頁。雖然文章探討了共同善作為算法規制的哲學根基及其實踐路徑,但正如薛瀾先生指出的,我們還必須清醒地認識到僅僅依靠法律框架難以支撐人工智能的發展,“這就需要相關的原則準則、行業規范,包括從業者的自律,來協同推進其健康發展。”〔86〕《我國發布〈治理原則〉發展負責任的人工智能》,https://baijiahao.baidu.com/s?id=1636636654850892827&wfr=spider&for=pc,2019年10月21日訪問。或許,在根本上,無論是算法的規制還是對人工智能的整體調整,我們需要建構一種信任關系,為上述制度作用的發揮提供妥適的語境。

猜你喜歡
人工智能
我校新增“人工智能”本科專業
用“小AI”解決人工智能的“大”煩惱
汽車零部件(2020年3期)2020-03-27 05:30:20
當人工智能遇見再制造
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
AI人工智能解疑答問
人工智能與就業
IT經理世界(2018年20期)2018-10-24 02:38:24
基于人工智能的電力系統自動化控制
人工智能,來了
數讀人工智能
小康(2017年16期)2017-06-07 09:00:59
人工智能來了
學與玩(2017年12期)2017-02-16 06:51:12
主站蜘蛛池模板: 亚洲Aⅴ无码专区在线观看q| 欧美视频在线观看第一页| 尤物成AV人片在线观看| 亚洲国产成人精品青青草原| 久久无码av三级| 亚洲电影天堂在线国语对白| 日本伊人色综合网| 又黄又湿又爽的视频| 亚洲黄色激情网站| 啪啪免费视频一区二区| 欧美一区国产| 国产剧情一区二区| 白浆视频在线观看| 国内a级毛片| 国产H片无码不卡在线视频| 又爽又大又光又色的午夜视频| 欧美a级完整在线观看| 亚洲人成在线精品| 国产女人在线视频| 国产精品林美惠子在线播放| 国产小视频免费观看| 国产视频自拍一区| 免费99精品国产自在现线| 尤物精品国产福利网站| 亚洲国产精品日韩av专区| 992Tv视频国产精品| 热99re99首页精品亚洲五月天| 亚洲精品午夜天堂网页| 国产在线自揄拍揄视频网站| 男人的天堂久久精品激情| 国产二级毛片| 欧美性猛交一区二区三区| 国产成人高清精品免费| 久久精品91麻豆| 无码国产偷倩在线播放老年人| 美女被操91视频| 国产免费怡红院视频| 精品欧美一区二区三区久久久| 欧美国产中文| 久久99国产乱子伦精品免| 亚洲无码高清一区| 中文字幕 欧美日韩| 国产精品污污在线观看网站| 欧美精品一区二区三区中文字幕| 思思热精品在线8| 国产第八页| 永久免费AⅤ无码网站在线观看| 亚洲av色吊丝无码| 91欧美亚洲国产五月天| 国产黄网站在线观看| 亚洲精品第五页| 国产欧美在线| 91视频区| 国产精品免费电影| 国产欧美专区在线观看| 国产网友愉拍精品视频| 91麻豆精品视频| 亚洲妓女综合网995久久| 亚洲女同一区二区| 黄色三级毛片网站| 一级做a爰片久久毛片毛片| 国产浮力第一页永久地址| 在线无码私拍| 99视频精品在线观看| 欧美中文字幕在线播放| 国产麻豆aⅴ精品无码| 欧美一级一级做性视频| 高清国产在线| 91激情视频| 高清不卡毛片| 日韩最新中文字幕| 欧美一区二区丝袜高跟鞋| 91成人在线免费观看| 亚洲国产精品一区二区高清无码久久 | 最新痴汉在线无码AV| 久久香蕉国产线看观看式| 日韩美毛片| 国产成年女人特黄特色大片免费| 久久久久久久久18禁秘| 国产精品女主播| 国产人成乱码视频免费观看| 2018日日摸夜夜添狠狠躁|