999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

對人工智能法學研究“偽批判”的回應

2020-03-23 04:49:48劉憲權
法學 2020年1期
關鍵詞:人工智能智能

●劉憲權

一、引言

隨著人工智能技術發展逐漸走向繁榮,以及各國對搶占人工智能技術“制高點”戰略規劃穩步推進,我們實際上已經跨入了一個全新時代——人工智能時代,這是繼蒸汽時代、電氣時代和計算機時代之后的第四次工業革命。應該承認,每一次新時代的出現都會給原有社會帶來令人震撼的沖擊和翻天覆地的變化,否則就不可能將其稱為“革命”。筆者認為,工業革命帶來的沖擊和變化不僅與科學技術的發展緊密相連,也必然要求包括法學在內的社會科學進行不斷變革才能與之相匹配。科學技術的發展與社會科學的變革在很大程度上需要保持同步,這是歷史發展的潮流所推動和決定的,是不以人的意志為轉移的,無論理解還是不理解,也無論接受或者不接受,社會發展的規律就是如此。

跟隨人工智能時代發展的步伐,學界掀起了人工智能法學研究熱潮。在社會科學領域,“百花齊放、百家爭鳴”是學術研究的理想境界,不同觀點的碰撞和討論能使學者對某一問題進行更加深入、系統的思考以實現邏輯上的自洽性,并修正先前觀點及論證中的缺陷和謬誤。作為社會科學的法學研究(包括刑法學研究)亦不例外。近年來,法學研究者對人工智能法學問題的關注越來越多,并在人工智能生成物的著作權歸屬、智能機器人是否應有人格權、涉人工智能犯罪刑事責任分配等方面展開了討論。其中,有關人工智能刑法學研究中的討論焦點主要包括涉人工智能犯罪的研究有無必要,在涉人工智能犯罪中如何分配智能機器人研發者和使用者之間的刑事責任,應否對智能機器人研發者和使用者的過失行為專門規定相應的過失犯罪,強智能機器人是否具有刑事責任主體地位等問題。例如,關于對涉人工智能犯罪的研究有無必要的問題,持肯定說的學者認為刑法學者有必要深入研究涉人工智能犯罪,明確不同類型的涉人工智能犯罪的刑法規制路徑;〔1〕參見劉憲權:《人工智能時代的刑事責任演變:昨天、今天、明天》,載《法學》2019年第1期;劉憲權:《涉人工智能犯罪刑法規制的路徑》,載《現代法學》2019年第1期。持否定說的學者認為無論發展到什么時候,智能機器人也始終是人類的工具,用現有刑法完全可以規制任何涉人工智能犯罪,沒有必要專門從事此項研究?!?〕參見劉艷紅:《人工智能法學研究中的反智化批判》,載《東方法學》2019年第5期。關于強智能機器人應否具有刑事責任主體地位的問題,持肯定說的學者認為強智能機器人具有在自主意識和意志支配下的辨認能力和控制能力,應具有刑事責任主體地位;〔3〕參見劉憲權:《對強智能機器人刑事責任主體地位否定說的回應》,載《法學評論》2019年第5期;王耀彬:《類人型人工智能實體的刑事責任主體資格審視》,載《西安交通大學學報》(社會科學版)2019年第1期。持否定說的學者認為強智能機器人所謂的“辨認能力”和“控制能力”并非自主的,智能機器人始終是人類的工具,因此,其不應成為刑事責任主體,只需讓智能機器人的研發者或者使用者承擔刑事責任即可。〔4〕參見儲陳城:《人工智能時代刑法的立場和功能》,載《中國刑事法雜志》2018年第6期;時方:《人工智能刑事主體地位之否定》,載《法律科學》2018年第6期;冀洋:《人工智能時代的刑事責任體系不必重構》,載《比較法研究》2019年第4期。諸如此類,不一而足。持不同觀點的學者互相之間反復進行著商榷、討論、回應乃至再回應。

不同觀點之間的碰撞和交流,使刑法學者們對上述問題的研究愈發深入,觀點愈加公允。這理所當然會不斷推進著人工智能刑法學研究的發展,也完全符合筆者最早提出開展人工智能時代刑事責任演變研究的初衷。但學術探討中觀點的交融和碰撞發生的前提是對研究課題所涉及的相關概念進行全面了解,總結、歸納前人的相關研究成果,從理性、客觀的視角出發,提出自己的觀點和見解,并盡力在論述時充分理解其他學者觀點基礎上實現邏輯自洽、自圓其說、言之成理。任何為了批判而進行的所謂“批判”,即使辭藻再華麗、言語再犀利、論證再巧妙,也終究會陷入固步自封,只能“自說其圓”的“偽批判”泥潭。筆者認為,人工智能時代是一個全新的時代,這一時代的產生、存在和發展已經并還將繼續會對傳統法學乃至刑法學研究形成巨大的影響和沖擊,這顯然是不言而喻且毋庸置疑的。法學研究者應有必要的心理準備,學會去蕪存菁,認真研讀和思考對于學術研究真正有價值的不同觀點和意見并與之進行商討;拒絕并剔除概念不清、張冠李戴、自相矛盾的觀點和論述。只有這樣,才能繼續保持(而不是扼殺)人工智能時代刑法學研究的良好態勢,修正人工智能法學研究的發展方向。依筆者之見,時下,我們應嚴格區分人工智能刑法學研究中的“批判”和“偽批判”。對于理性、客觀、以學術探討為目的的“批判”,我們理應取其精華以不斷完善自己已有的理論和觀點,并對這些批判中的不合理觀點予以及時回應,進一步闡明自己的理論和觀點。對于混淆概念、張冠李戴、自相矛盾的“偽批判”,應去其糟粕,明確指出其中存在的問題。筆者已在相關論文中對涉人工智能刑法規制問題的不同觀點進行了商榷與探討,在此不再贅述。本文著重對學界存在的人工智能刑法學研究的“偽批判”(筆者將所謂的“偽批判”分為混淆概念型、移花接木型和自相矛盾型等三種類型)進行回應。

二、對混淆概念型“偽批判”的回應

筆者認為,學說之間的商榷、反駁、批判或回應都應建立在統一話語體系之下。具體到人工智能法學研究領域,法學研究者在探討相關問題時,以學界達成基本共識的相關概念的內涵和定義作為探討的前提。否則,在模糊或雜糅了概念基礎上的學術探討會顯得毫無意義,在此基礎上提出的批判即是“偽批判”。筆者所論述的混淆概念型“偽批判”的主要特征是混淆了“人工智能”與“機械自動化”的概念。批判者〔5〕本文中將提出“偽批判”的學者統稱為“批判者”。提出關于“人工智能”的內涵難以界定,進而自創人工智能的“核心要素”,即交流溝通能力和自主性,以自創的概念作為依據,提出人工智能法學研究所涉及的大部分對象僅屬于“機械自動化”的范疇而不是真正的“人工智能”,得出人工智能法學研究中的大量研究成果是“概念附會”的產物。筆者認為,批判者建立在自創概念核心要素并在有意或者無意模糊核心概念邊界基礎上提出的“批判”,沒有真正揭示出人工智能法學研究中的爭議焦點,也不可能針對現有的人工智能法學研究成果提出有價值的學術批判。由此而產生的批判,筆者只能將其歸入“偽批判”之列。

關于人工智能的含義,開創者約翰·麥卡錫將其描述為“讓機器的行為看起來就像是人類所表現出來的智能行為一樣”。〔6〕[美]杰瑞·卡普蘭:《人人都應該知道的人工智能》,汪婕舒譯,浙江人民出版社2018年版,第2頁。雖然何為“人類所表現出來的智能”在科學、哲學、法學等領域內存在爭議,導致有關對人工智能概念的爭論從未停止,但是應當看到,“人類所表現出來的智能”并非“自然本能的必要伸展”,而是“自由意志的選擇性擴張”,〔7〕馮亞東:《理性主義與刑法模式》,中國政法大學出版社1999年版,第99頁。這是人與動物的本質區別所在。人的自由意志的來源應該是人的大腦。要使“機器的行為看起來就像是人類所表現出來的智能行為一樣”,人類必須制造出能夠替代自然人大腦功能的“機器”而非僅能替代自然人手腳等身體功能的機器。因此,能在一定程度上替代自然人大腦功能是人工智能不同定義之間的共同點。進行人工智能刑法學研究時,刑法學研究者對于人工智能的概念應求同存異,在基本統一的概念下展開相關研究,否則就缺乏研究或討論的基礎。筆者曾經提出,從普通機器人到弱智能機器人再到強智能機器人的“進化”史,即人工智能時代產生和發展的歷史是一部智能機器人的智能從無到有、從少到多的歷史;而因為只有自然人才具有智能,所以我們又可將人工智能時代中的智能機器人的發展稱之為是一部 “機器”的因素逐步弱化而“人”的因素漸進增強的歷史;同時也因為智能與人的意識、意志直接相關,所以我們還可將人工智能時代中的智能機器人的發展稱之為是一部智能機器人的“智能”逐漸增強并對自己“行為”的影響和作用逐步達到“自控”的歷史。進而言之,我們完全可以說,隨著智能機器人的不斷進化,自然人與智能機器人在對“行為”的控制與決定能力上存在著此消彼長的關系。具體而言,“智能”本來是人所特有的,人工智能技術便是人類創造了本來只有自然人才具有的“智能”的技術。將本來只有自然人才具有的智能賦予“機器”,從而使傳統意義上“機器”能夠在很大程度上,從簡單地替代自然人的手腳等身體功能而發展到逐漸替代自然人的大腦功能,以開展相關活動。而此時的“機器”便不同于以往任何時代的“機器”,也即此時的“機器”實際上已經演變成了“智能機器人”。這也就是為什么會有“智能機器人”這一概念出現的根本原因。由此可見,“人工智能”技術與“機械自動化”技術的本質區別就在于是否能夠替代自然人大腦的功能。能替代自然人大腦功能的技術是“人工智能”技術,不能替代自然人大腦功能而只能替代自然人手腳等身體功能的技術則是“機械自動化”技術。

批判者從“人工智能”與“機械自動化”的非本質區別出發,將“機器是否具有自主性”作為區分標準,將“人工智能”的范圍縮小,將“機械自動化”的范圍增加,進而否定當前人工智能法學研究的成果。批判者甚至認為人工智能技術沒有在我國普及,因為自動取款機、手機銀行等沒有社會溝通能力,沒有自主性。筆者對此不能茍同。即使不考慮生產領域或者國防安全領域,僅考慮生活領域,我們也無法得出“人工智能技術遠遠沒有在我國普及”的結論。時下,一個不爭的事實是,人工智能技術已經并還將進一步滲透至我們日常生活的方方面面。對此,筆者在相關文章中已進行過詳細論述,〔8〕參見劉憲權等:《涉人工智能犯罪的前瞻性刑法思考》,載《安徽大學學報》(哲學社會科學版)2019年第1期;劉憲權等:《涉人工智能犯罪刑法規制的正當性與適當性》,載《華南師范大學學報》(社會科學版)2018年第6期。在此不再贅述。事實上,即使按照批判者提出的區分“人工智能”與“機械自動化”的標準為“是否具有溝通能力和自主性”,其想要論證的內容也是不能成立的。舉例說明,當人們在購物平臺購物時,購物平臺會利用大數據分析方法探求用戶的潛在需求并為用戶提供個性化商品或服務,而在這一過程中發揮作用的便是人工智能技術。在這一過程中,智能機器人雖然沒有與購物者進行面對面的溝通交流,但是其通過“觀察”和“分析”購物者的購物情況,掌握了購物者的喜好,并據此向購物者發布、推送相關信息,吸引購物者再次在此平臺購物,這種非面對面的溝通其實也是一種交流,而且是建立在智能機器人“洞察”購物者喜好基礎上的交流。而智能機器人對購物者喜好的“觀察”和“分析”并據此發布、推送相關信息便是其發揮自主性的行為。不可否認,筆者描述的上述現象是普遍存在的。由此可見,人工智能技術已深入到我們的日常生活之中,絕非“遠遠沒有普及”。再以ATM機為例,批判者認為其不屬于智能機器人,因為“它只是銀行人類柜員的一種替代設施,它只有自動化而沒有自主性”。如果我們認真分析ATM機的工作原理,就不難發現,ATM機完全可以被稱為“人工智能”而非“機械自動化”。筆者無意否認ATM機是一種主要用于替代銀行自然人柜員的設施,但問題的關鍵是,ATM機替代的是銀行自然人柜員的什么功能,是自然人柜員手腳等身體功能還是大腦功能?抑或兩種功能同時替代?其實這些問題涉及到是將ATM視為“機器”還是“人”的判斷上。對于ATM機的性質,學界歷來存在不同的看法。有學者將ATM機完全等同于普通“機器”,〔9〕參見張明楷:《許霆案的刑法學分析》,載《中外法學》2009年第1期。也有學者認為應將ATM機作為“人”來看待。〔10〕參見劉明祥:《再論用信用卡在ATM機上惡意取款的行為性質——與張明楷教授商榷》,載《清華法學》2009年第1期。而筆者在很多文章中均認為,以上看法均有失偏頗,ATM機既非“機器”也非“人”,而是“機器人”。這是因為,ATM機替代的不僅是銀行自然人柜員的手腳等身體功能,而且還在很大程度上替代了銀行自然人柜員的大腦功能。正是由于ATM機具備識別功能等替代銀行自然人柜員的“大腦功能”,同時又可以在電腦編程的控制和支配下代替自然人柜員的手腳等身體功能從事勞動,即具備機器的特征,所以,將ATM機視為“機器人”可以準確、全面地反映其特點和本質。這也正是ATM機與一般純機械運作機器的主要區別所在。例如,當使用者去ATM機取錢時,ATM機需要識別信用卡是否真實有效以及使用者輸入的密碼是否正確,并以此判斷使用者是否就是信用卡的持卡人?從中我們不難發現,具有識別功能無疑是ATM機區別于一般純機械運作的“機器”之關鍵所在。更由于識別功能本身是自然人大腦具備的功能,所以,在識別功能這一方面能夠替代銀行自然人柜員大腦功能的ATM機符合了“人工智能”的內涵,理應被作為智能機器人看待。

筆者在討論金融犯罪行為的定性時指出,ATM機既不是“機器”也不是“人”而是“機器人”,這并非是文字游戲,相關字詞的變換有著特殊的意義。如果行為人利用ATM機具有的“識別”功能中的認識錯誤獲取財物,就應對行為人的行為按冒用型信用卡詐騙罪認定;如果行為人是利用ATM機存在的“機械故障”獲取財物(許霆案件),則應該對行為人的行為按盜竊類的犯罪認定。從中我們不難發現,即便是作為犯罪對象的普通智能機器人,也可能成為對具體犯罪行為定性影響的重要因素。

需要指出的是,即便按照批判者的認定標準(是否能夠溝通交流以及是否具有自主性),ATM機實際上應被認定為智能機器人。理由在于,ATM機在驗證使用者插入的信用卡以及輸入的密碼時,是在識別使用者提供的信息是否真實有效,當認定使用者提供的信息真實有效時,會自動吐出錢款。ATM機驗證使用者提供的信息是否真實有效的前提是接收使用者提供的信息,吐出錢款是對使用者提供信息的行為作出回應,而是否作出吐出錢款的回應是由ATM機識別或判斷的結果決定的。接收信息并作出回應是溝通交流(溝通交流未必借助語言),是否吐出錢款由ATM機的識別或判斷的結果決定,就充分體現了ATM機的自主性。手機銀行、支付寶等的認定與ATM機類似,在此不作贅述。〔11〕同前注〔8〕,劉憲權等文,《涉人工智能犯罪的前瞻性刑法思考》。

筆者認為,學者在界定研究對象的概念時應站在客觀理性的立場上,不應以個人好惡為標準并忽視客觀規律和生產力發展水平,憑主觀臆斷得出的結論經不住推敲和考驗。人工智能法學研究的起點通常是阿爾法狗戰勝世界圍棋冠軍,或者利用人工智能技術實施撞庫打碼牟利犯罪。〔12〕同前注〔4〕,儲陳城文。批判者將人工智能法學研究的起點描述為大眾汽車制造車間的“機器人殺人事件”,以此作為人工智能法學研究的起點,則“農業社會耕田的拖拉機傷人也該劃入人工智能法律問題的話題范圍了”。我們暫且不提批判者有意或無意錯誤理解人工智能法學研究起點的事實,僅分析所類比的“農業社會耕田的拖拉機傷人”事件,批判者在這一類比的謬誤是顯而易見的。眾所周知,拖拉機是工業革命時代的產物,最初的牽引動力來自蒸汽機,第二次工業革命中,其牽引動力被改良為內燃機。機械化生產是工業社會的標志,因此,拖拉機是工業社會的產物。以生產力發展水平為標準,人類文明的發展是沿著“原始社會—農業社會—工業社會—信息社會—智能社會”的主線演進。換言之,農民用拖拉機在田間耕作時,人類已步入了工業社會,并不因為拖拉機用于農業,就認為當時仍是農業社會??梢?,批判者有關“農業社會的拖拉機”的提法,本身不太妥當。批判者以“淫穢物品”的含義不明確為例,說明無法給“人工智能”下定義。事實上,《刑法》第367條明確界定了“淫穢物品”的概念——“本法所稱淫穢物品,是指具體描繪性行為或者露骨宣揚色情的淫穢性的書刊、影片、錄像帶、錄音帶、圖片或者其他淫穢物品?!迸姓邽榱俗C明自己所論述內容的準確性,甚至對于法條的明確規定也可以視而不見。由此可見,批判者對概念界定的態度不夠嚴謹,這也從一個側面體現了對“人工智能”與“機械自動化”概念的混淆或界定的不可靠。進而言之,批判者對學界關于人工智能的內涵所達成的共識聽而不聞、視而不見,堅持自己“提煉出人工智能概念的核心要素”,似乎缺乏客觀理性的立場因而很難具有說服力。

三、對移花接木型“偽批判”的回應

如上文所述,人工智能技術的本質是人類生產只有自然人才具有的智能技術,智能機器人區別于純機械運作的機器,其在一定程度上可以替代自然人大腦的功能。在此基礎上,智能機器人被分為普通智能機器人(如ATM機)、弱智能機器人(如AlphaGo)和強智能機器人(尚未出現)。普通智能機器人與弱智能機器人的區別在是否具有深度學習能力;弱智能機器人與強智能機器人的區別在是否具有自主意識和意志。在人工智能刑法學研究中,研究者通常是對不同類型的智能機器人(即人工智能技術的不同發展階段)可能引發的風險以及對刑事責任演變的影響分門別類的研究和探討。概言之,對普通智能機器人而言,當其作為犯罪工具時,與普通工具無異,但其作為犯罪對象時,因具有一定的“智能”(如本來只有自然人才具有的識別功能)而改變犯罪的性質;對弱智能機器人而言,其深度學習能力的存在會拓展原有犯罪的“廣度”和“深度”,會產生新型犯罪;對將來可能會出現的強智能機器人而言,因其可能脫離人類設計和編制的程序控制而產生自主意識和意志,具有獨立的辨認能力和控制能力,會自主實施犯罪行為。〔13〕同前注〔3〕,劉憲權文;同前注〔1〕,劉憲權文,《人工智能時代的刑事責任演變:昨天、今天、明天》;劉憲權:《人工智能時代的“內憂”“外患”與刑事責任》,載《東方法學》2018年第1期。刑法學界對筆者上述觀點的爭議主要集中在:其一,普通智能機器人作為犯罪對象時,對行為性質認定的影響。其二,在弱人工智能時代,涉人工智能犯罪中研發者和使用者刑事責任應如何分配?以及對出現的新型犯罪是否應設立罪名予以規制?其三,強智能機器人是否具有刑事責任主體資格?針對這些問題,刑法學界展開了討論,并產生了大量學術成果。

有學者認為,上述學術成果是基于對“偽問題”進行研究而產生的“學術泡沫”,人工智能法學研究者的上述研究對象是基于夸張、炒作、娛樂為前提而制造、放大的“假問題”。批判者的觀點可被歸納為兩個方面:其一,人工智能技術帶來的刑事風險是法學研究者“依靠無數假想拼湊起來的幻影”;其二,智能機器人是人類的工具,其無法理解自己行為的外部意義或社會價值,因此不可能成為刑事責任主體。在論述第一個方面的觀點時,批判者提出,人工智能法學研究者“鼓吹”未來會出現具有自我意志的強智能機器人,智能機器人可能會取代人類,引發的風險足以對人類產生毀滅性的打擊。這種以未出現的風險作為前提的“居安思?!薄拔从昃I繆”的研究,不過是“用別人的噱頭嚇唬自己”。在論述第二個方面的觀點時,批判者提出,智能機器人像石器時代的石頭,始終是人類的工具,即使表現出了一定的自主行為能力,與黑猩猩等動物沒有任何區別。批判者還提出,人工智能法學研究者所宣揚的智能機器人刑事責任主體資格論完全借由與單位的類比,充分暴露了說理不充分的軟肋。

筆者無意對“幻影”“學術泡沫”“噱頭”“夸張、炒作、娛樂為前提”“暴露軟肋”等不太規范的非學術用語評述,筆者需要指出的是,上述批判者的觀點將普通智能機器人、弱智能機器人、強智能機器人(或普通智能機器人時代、弱人工智能時代、強人工智能時代)等概念糅合在一起,將人工智能法學研究者針對不同類型的智能機器人(或人工智能技術的不同發展階段)所分門別類的研究和探討予以雜糅,采用了“移花接木”的“技巧”予以“批判”。應該看到,這些建立在沒有全面了解“批判”對象觀點基礎上提出的“批判”,似乎是文不對題、答非所問的。具體而言,批判者將人工智能法學研究者針對強人工智能時代相關問題的探討“嫁接”到對普通人工智能時代或弱人工智能時代的刑事風險的探討上,借由論述強人工智能時代的到來是“未知數”,從而全盤否定人工智能法學研究者對前述刑事風險的探討。同時,批判者將普通智能機器人或者弱智能機器人的特征“嫁接”到對強智能機器人刑事責任能力的探討中,借由論述普通智能機器人或者弱智能機器人的特征,來否定人工智能法學研究者提出的賦予強智能機器人刑事責任主體資格的探究。筆者認為,“移花接木”的“技巧”可能暫時會令人“信服”,但這種有意或者無意“張冠李戴”的分析方法終因存在嚴重破綻而無法讓人接受。這些并非建立在客觀分析和研讀現有研究成果基礎之上的批判,不可能是真正的批判,我們只能將其歸入“偽批判”范疇之中。對于批判者提出的上述“偽批判”,筆者意欲從三個方面予以回應。

第一,人工智能時代的刑事風險并非人工智能法學研究者制造的幻影,是真實存在的。筆者在相關文章中論述過強智能機器人出現的可能性,在此不作贅述?!?4〕同前注〔3〕,劉憲權文;劉憲權:《人工智能時代刑法中行為的內涵新解》,載《中國刑事法雜志》2019年第4期;同前注〔9〕,劉憲權等文,《涉人工智能犯罪刑法規制的正當性與適當性》。批判者可對人工智能這一全新時代已經出現并將繼續的刑事風險視而不見,但將自己設想外的東西都理解為是“幻影”似乎不太妥當;更何況歷史不止一次地告訴我們,以往可能是“幻影”,而現在成真的情況比比皆是、不勝枚舉?,F在談到無人駕駛汽車,恐怕不會有太多人感覺是天方夜譚了,實際上在十年前,大多數人都認為無人駕駛汽車在我們生活中是遙不可及的。事實上,時對新時代多一點“幻影”總比“沒有想到”好得多。筆者意在說明,即使在當今弱人工智能時代,刑事風險也是實在存在的。例如,在2019年8月底推出的“爆紅”社交網絡的AI換臉軟件引發了嚴重的隱私爭議;在2019年8月初,“3D人頭模型還破解了刷臉支付,成功購買火車票”;在前幾年,有人利用AI換臉技術制作淫穢視頻。〔15〕參見馬丹等:《“深度換臉”引出AI安全憂慮——科技向善成為多場論壇熱議焦點》,載《新民晚報》2019年9月1日,第A04版。弱人工智能時代人工智能技術中常見的分支——人臉識別技術,就引發了如此多的刑事風險,給公民的人身安全和財產安全帶來巨大的威脅,對此我們難道可以視而不見嗎?在“全國首例利用AI犯罪案”中,犯罪分子利用智能機器人的深度學習能力和快速反應能力來識別登錄相關網站時需輸入的圖片驗證碼,輕松快速地繞過網絡公司為保證用戶賬戶安全而設置的登錄安全裝置,“給網絡詐騙等黑色產業提供犯罪工具”?!?6〕王肅之:《人工智能犯罪的理論與立法問題初探》,載《大連理工大學學報》(社會科學版)2018年第4期,第53-63頁。有犯罪分子在無人機上面安裝擴音器、手槍等裝置,在幾百甚至幾千米外操縱無人機對路人進行搶劫;犯罪分子可以事先編制好相應的程序,無人機自行選擇搶劫對象、確定搶劫時間。還有犯罪分子利用無人機群阻礙警察解救人質?!?7〕參見《犯罪團伙利用無人機群阻礙FBI救援人質,堪比美國大片》,環球網http://baijiahao.baidu.com/s?id=15995204680003 92661&wfr=spider&for=pc,2019年9月18日訪問。還如,行為人利用智能機器人超強的反應速度,在證券買賣過程中實施“幌騙”“塞單”等行為,從中牟取暴利?!?8〕參見邢會強:《證券期貨市場高頻交易的法律監管框架研究》,載《中國法學》2016年第5期。這些都足以證明,并非在當今的弱人工智能時代不存在刑事風險,而是批判者為批判或否定別人的觀點才對弱人工智能時代的風險采取熟視無睹的態度。就此而言,人工智能技術帶來的刑事風險不是法學研究者“依靠無數假想拼湊起來的幻影”,而認為人工智能技術沒有帶來刑事風險似乎才是批判者閉目塞聽所造成的“幻覺”。對于建立在此基礎之上的對人工智能法學研究的批判,似乎用“偽批判”來形容更為妥當。

第二,智能機器人“具有工具屬性”這一命題的成立與否要分情況討論。需要指出的是,本文中批判者所謂的工具屬性中的“工具”其實是指相對于自然人而言的物品、器具等,即批判者命題中的“工具”是不能成為責任主體的。筆者首先需要指出的是,在刑法上“工具”并不一定排斥成為刑事責任主體的可能性,自然人不僅可以成為犯罪工具(例如,間接正犯),還可能成為刑事責任主體。另外,從刑法上分析,即便是物品、器具等犯罪工具對刑事責任的認定也并非完全沒有影響。例如,刑法有關故意傷害罪與故意殺人罪的區別中,我們會將行為人具體使用的兇器性質作為不同犯罪定性的主要依據之一。又如,刑法有關搶劫罪的條文中,明確將“持槍搶劫”規定為情節加重犯,即行為人在使用犯罪工具上只有“持槍”才可能構成情節加重犯,如果使用其他工具搶劫,可能只構成搶劫罪的基本犯??梢?,工具不僅可能成為影響犯罪行為定性的因素,還可能成為影響相同犯罪行為中刑事責任輕重認定的因素?;氐街悄軝C器人“具有工具屬性”這一命題上,筆者認為,這一命題的探討至少要分為兩個層面:其一,普通智能機器人與弱智能機器人仍具有工具屬性,但與傳統意義上的工具有質的區別;其二,強智能機器人產生了自主意識和意志,其行為可能不再受人類設計和編制的程序控制。顯然,強智能機器人可能不完全符合“工具”的特征,不應再被認定為“工具”。理由是:

首先,普通智能機器人、弱智能機器人與傳統工具的最本質區別在于,智能機器人可以替代甚至延展自然人的大腦功能,而傳統工具只能替代自然人的手腳等身體功能。筆者認為,批判者所言的既然都是“人之工具”便可以一律由自然人主體承擔責任的觀點是成立的。但是,正是由于上述普通智能機器人、弱智能機器人與傳統工具本質區別的存在,自然人主體承擔的責任會發生分配上的變化。而批判者對這一有關責任分配上的變化的討論似乎始終采取回避態度。應當看到,機械性設備到普通智能機器人再到弱智能機器人“進化”的過程中,其所蘊含的“機器”的因素逐漸減少而人所具有“智能”的因素逐漸增多(從無到有、從少到多),這當然會影響到對研發者和使用者行為性質的判斷或者影響研發者和使用者之間刑事責任的分配。例如,在傳統的交通事故案件中,如因汽車質量而引發的交通事故,汽車的研發者在其設計的汽車存在重大安全隱患的情況下才構成重大責任事故罪;如因違反交通規則而引發的交通事故,汽車的使用者(駕駛員)可能構成交通肇事罪。但是,在自動駕駛汽車的交通事故案件中,盡管因汽車質量而引發的交通事故,仍由汽車的研發者在其設計的汽車存在重大安全隱患的情況下承擔重大責任事故罪的刑事責任,而如果出現自動駕駛汽車因違反交通規則而引發的交通事故的情況,誰承擔交通肇事罪的刑事責任?就是一個亟待解決的問題。由于自動駕駛汽車沒有駕駛員,汽車又不能成為責任主體,我們似乎只能將傳統違反交通規則所應承擔交通肇事罪的刑事責任進行重新分配或轉移至研發者。也即當研發者為自動駕駛汽車設計的程序不符合道路交通管理法規的規定,而導致自動駕駛汽車肇事引發安全事故時,自動駕駛汽車的研發者可能承擔原來理應由駕駛員承擔的相應刑事責任。由此可見,盡管普通智能機器人與弱智能機器人仍然沒有完全擺脫工具屬性,但其與石器時代的石頭、青銅時代的銅器、蒸汽時代的蒸汽機等已經有了本質的不同。批判者所提出的智能機器人與石器時代的石頭毫無差異的論斷顯然不能成立。

其次,批判者提出的人工智能法學研究者在論述智能機器人刑事責任主體資格時借由與單位的類比的說法是沒有道理的。筆者曾在發表的文章中從正面論述過承認強智能機器人具有刑事責任主體資格的原因,并非僅僅借由與單位的類比?!?9〕同前注〔3〕,劉憲權文;劉憲權:《人工智能時代我國刑罰體系重構的法理基礎》,載《法律科學》2018年第4期。筆者一貫主張的觀點是,在探討強智能機器人是否具有刑事責任主體地位時,關注的焦點不應是強智能機器人與自然人和單位在自然屬性上的差別,應把目光放在何為自然人和單位作為刑事責任主體的必備要件(刑事責任能力)上,如果強智能機器人具備了刑事責任能力這一必備要件,其就有成為刑事責任主體的可能性。批判者在沒有充分掌握人工智能法學研究現狀以及被批判學者觀點的情況下就展開批判,顯然又是一種以偏概全的“偽批判”。

第三,批判者提出的“強智能機器人無法理解自己行為的外部意義或社會價值”的論斷無法證明。批判者宣稱,“強智能機器人無法理解自己行為的外部意義或社會價值”。批判者論述這一觀點時,提出“從人類哲學的角度論證‘何為智能’‘何為思考’更貼近問題本質”,用塞爾的“中文房間實驗”〔20〕“中文房間實驗”描述的場景為:假設有個只懂英文不懂中文的“我”被鎖在一個房間里,屋里只給“我”留了一本手冊或一個計算機程序,這個手冊或程序教“我”在收到中文信息時如何用中文應對。屋外的人用中文問問題,屋里的“我”依靠程序用中文回答問題,溝通方式是遞紙條。假設屋外的人不能區分屋里的人是不是母語為中文,那么屋里的“我”是不是就算懂中文?尼克:《人工智能簡史》,中國工信出版集團2017年版,第185頁。作為論據,得出“‘智能’一詞本就是專屬于人類的一種能力”,而強智能機器人不具有人類特有的“智能”,就無法理解自己行為的外部意義或社會價值的結論。筆者認為,這一論證過程存在缺陷。

首先,批判者并未如自己所主張的那樣,從人類哲學的角度論證“何為智能”“何為思考”,只描述了“中文房間實驗”,而“中文房間實驗”又僅僅是一種假想。事實上,從哲學的角度而言,“智能”和“思考”可以被概括為自由意志。批判者意圖通過描述“中文房間實驗”的場景,來說明強智能機器人不具有自由意志,進而否認強智能機器人成為刑事責任主體的可能性。筆者認為,從哲學角度,強智能機器人具有自由意志完全能夠得以證明。具體而言,其一,人的自由意志具有擬制特點。“人的自由意志和道德理性本質上屬于唯心主義認識論的范疇,是先驗的而非社會實踐的結果,具有擬制特點?!闰灐M制的自由意志論,在某種程度上可以說是為確立刑法人類中心主義量身定做的。這是因為,在當時的歷史條件下,只有人類才具有自由意志和理性。立足自由意志和理性,就可以將動物以及其他實體排除在犯罪主體之外?!薄?1〕彭文華:《自由意志、道德代理與智能代理——兼論人工智能犯罪主體資格之生成》,載《法學》2019年第10期,第18-33頁。當歷史背景發生變化時,具有自由意志的主體范圍也有可能會發生改變。其二,上述擬制的前提是在人工智能時代來臨之前,只有人可以發揮主觀能動性并作出實施或者不實施某種行為的抉擇。“動物之惡的種種表現都是其自然本能的必要伸展,而人類之惡的種種表現確是其自由意志的選擇性擴張?!薄?2〕同前注〔7〕,馮亞東書。也即上述擬制是建立在以下假定的基礎之上的——除了人類之外,任何其他物種都不存在主觀能動性發揮的可能性。其三,上述擬制成立的基礎在人工智能時代發生了動搖?!白杂梢庵菊撝闰炁c擬制特點,為其拓展與擴張奠定了基礎。”〔23〕同前注〔21〕,彭文華文。換言之,具有自由意志的主體并非一成不變的,隨著科技的發展和時代的更迭,具有自由意志的主體范圍可能會得以拓展與擴張。筆者曾在相關文章中詳細論述過,強智能機器人既然具有與能夠產生自由意志的人類大腦相類似的程序系統,我們就沒有理由否認強智能機器人可能會產生自由意志?!?4〕同前注〔14〕,劉憲權文,《人工智能時代刑法中行為的內涵新解》。對此筆者不再贅述。同時,既然自由意志具有先驗和擬制的特點,則認為人類具有自由意志只不過是通過觀察自然人的客觀行為得出來的結論。如果強智能機器人可以脫離人類設計和編制的程序控制自主實施行為,則我們沒有任何理由否認強智能機器人具有自由意志的判斷。強智能機器人在自主意識和意志的支配下實施行為時,并非“自然本能的本能伸展”而是“自由意志的有選擇擴張”。

其次,“中文房間實驗”這個論據不能支撐批判者所提出的論點。“中文房間實驗”中的“我”的原型并非智能機器人,而是自然人。與自然人依靠語言(或能夠轉化成語言的其他交流方式,如烽火、旗語)同外界進行溝通交流不同,智能機器人與外部世界溝通交流的媒介是程序和算法(至少現在是這樣認為的,類腦科技和神經科技的發展可能改變這種認識),智能機器人對外部世界信息的接收過程即是將外部世界的信息轉化為自己能夠“理解”的編碼,而其向外部世界釋放信息的過程即是將自己能夠“理解”的編碼轉化成自然人可以理解的信息。批判者在所提供論據中的主體與所要論證對象存在上述差異的情況下,運用“中文房間實驗”,只能證明智能機器人“不一定能”理解自己行為的外部意義或社會價值,而不能證明智能機器人“一定不能”理解自己行為的外部意義或社會價值。換言之,運用“中文房間實驗”,得出來的結論只能是模棱兩可的。但是批判者將這種模棱兩可的結論憑借自己的主觀推斷轉化成了確定無疑的結論。

最后,即使假定“中文房間實驗”可以證明“‘智能’一詞本來就是專屬于人類的一種能力”,也不能得出強智能機器人不能理解自己行為的外部意義或社會價值這一結論。《華盛頓郵報》近日報道,78歲的間諜小說家、好萊塢編劇安德魯·卡普蘭同意成為“數字人”,即利用人工智能技術將一個人的音容笑貌長久地保存在網絡空間,并具有實時和互動感,未來數百年甚至上千年之后的人依然可以通過語音計算平臺與他互動?!皵底秩恕奔夹g使得人類生命的永恒在某種程度上得以實現?!?5〕參見《首個數字人將誕生,你愿意肉身消逝后靈魂永生嗎?》,中新網http://it.chinanews.com/gn/2019/09-04/8947092.shtml,2019年9月18日訪問。批判者是否認為“數字人”能夠理解自己行為的外部意義與社會價值?如果批判者的答案是否定的,即認為“數字人”不能理解,則批判者將具有肉體作為能夠理解自己行為外部意義和社會價值的重要衡量標準。從生物學的角度而言,人類只是一種靈長類動物,在肉體層面,人類并沒有比自然界中的其他生物“高級”多少。照此而言,如果認為具有人類肉體便能夠理解自己行為的外部意義和社會價值,則具備肉體的其他動物也應當能夠理解,這便與批判者前面所得出的“‘智能’一詞本來就是專屬于人類的一種能力”的結論相矛盾。如果批判者的答案是肯定的,即認為“數字人”能夠理解自己行為的外部意義和社會價值,則人類“智能”的附著物是可以理解自己行為的外部意義和社會價值的。正如前述,人工智能技術是人類將本來只有自然人才具有的智能賦予智能機器人的技術。就此而言,我們完全可以將智能機器人理解為是人類“智能”的附著物,這樣智能機器人當然可能理解自己行為的外部意義和社會價值。而這一結論顯然與批判者宣稱的智能機器人不能理解自己行為的外部意義和社會價值的結論相悖。由此可見,批判者所提出的上述觀點因無法得以證明而不具有可靠性。

四、對自相矛盾型“偽批判”的回應

除主張智能機器人的核心要素是“溝通交流能力”和“自主性”這一觀點外,也有批判者提出,智能機器人具有“像人一樣思考”和“機器”兩個核心要素,即智能機器人就如能夠像人一樣思考的機器。該批判者認為,智能機器人的外觀是機器設備,內核是電子程序,即使它比人類更聰明,也永遠擺脫不了“機器”這一核心要素。并且,人工智能不是“天然的”智能,而是“人造的”智能,就如同“真牛皮與人造牛皮”的關系一般直白,“兩者始終是異質體”,因此,智能機器人就是“為了方便人的生活、為了豐富人的娛樂活動而研發的一件‘機器’或‘玩具’”。筆者認為,批判者的上述論述是完全自相矛盾的,應被列入“偽批判”的范疇。筆者意欲從以下幾個方面對上述“偽批判”進行回應。

第一,“像人一樣思考”與“機器”是互相矛盾的兩個要素,不可能出現在同一個事物中。筆者認為,批判者所提出的智能機器人的兩個核心要素,是互相矛盾的。原因在于,從批判者的言論中看出,其總結的智能機器人的兩個核心要素具有不同的側重點,“像人一樣思考”側重智能機器人內在程序描述,“機器”側重智能機器人的外在形體描述。我們暫且不討論認為智能機器人的外觀是機器設備的說法是否合理(事實上,智能機器人分為有形的智能機器人和無形的智能機器人,將智能機器人的外觀描述成機器設備不過是批判者的主觀臆想),按照批判者的邏輯來分析,自然人就是“會思考”的“肉身”,即自然人的兩個核心要素是“會思考”和“肉身”。正如筆者在前文所述,“肉身”并非人類特有的,而是自然界中的動物都具備的。因此,人區別于其他所有動物的關鍵在“會思考”,即自然人的外形不是人類智能的表現,“會思考”才是。按照該批判者的說法,智能機器人是“像人一樣思考”的“機器”,那么,既然智能機器人具備與人類相同的核心要素,又怎會完全等同于“機器”或“玩具”?可見,批判者對智能機器人核心要素的總結不僅不能證明自己論點的正確性,反而是“以己之矛攻己之盾”,揭示了自己論點當中的自相矛盾之處,相當于足球運動員踢了一腳“進了自家球門的烏龍球”。

第二,“人造牛皮論”與“法人的人工類人格”相抵牾。該批判者承認,“法人的人格其實也是一種人工類人格”,這與其在論述當中提及的人工智能相當于“人造牛皮”從而只能作為人類的“玩具”的說法相沖突。具體而言,其一,如果批判者提出“人造牛皮論”的目的在于說明,“天然的”相對于“人造的”而言具有優勢,即“天然智能”一定比“人造智能”有優勢,這就犯了常識性的錯誤。眾所周知,“人造的”超越“天然的”可謂比比皆是、不勝枚舉,例如,飛機比鳥飛得高,潛艇比魚游得快。其二,如果批判者提出“人造牛皮論”的目的在于說明,人造的事物只能是人的工具,永遠不能成為主體,則與批判者所承認的法人具有人工類人格的說法相悖。法人概念確實是人類創造出來的產物,并非天然存在的。但是法人因擁有法律上的人格,而可以或者已經成為法律上的主體。換言之,非天然的事物也有可能成為法律上的主體,而并非只能是工具。由此,我們不能簡單地認為,人造智能的承載物——智能機器人只能是人的工具,并當然地不可能成為法律上的主體。

另外,筆者在此需要說明的是,批判者在突出持智能機器人刑事責任主體資格肯定說的學者所犯的自相矛盾的謬誤時提出,承認人工智能的刑事責任主體地位將會面臨五大悖論:“技術失控——技術可控”之悖論、“特殊預防無效——特殊預防有效”之悖論、“刑罰設計——非刑罰性”之悖論、“AI主體性——AI工具性”之悖論、“消減風險(追求責任體系嚴密化)——加劇風險(轉移人類責任)”之悖論。筆者認為,這五大悖論均不能成立。正如批判者自己所言,“一貫理性的法律人也會丟掉人類智力本該堅守的常識”,批判者在論證自己觀點時也應時刻注意堅守住“人類智力本該堅守的常識”。除對“AI主體性——AI工具性”之悖論的回應,筆者已在上文中做了詳細論述,在此不再贅述外,筆者對批判者提及的其它四點悖論具體分析如下:

其一,在“技術失控——技術可控”之悖論中,批判者提出,既然刑罰能夠有效限制智能機器人的犯罪能力,為何還會出現智能機器人超出人類設計和編制的程序控制的情形?按照批判者的這一質疑,我們似乎也可以說,既然刑罰具有改造犯罪、預防犯罪的功能,為何從古至今還會出現犯罪分子屢禁不止實施違反刑法規定的犯罪行為呢?由于現時提出如此顯而易見謬誤的質疑之人恐怕不會太多,因此,對批判者提出我們可能面臨這一悖論的質疑,筆者應該沒有必要再作更多的回應了。

其二,在“特殊預防無效——特殊預防有效”之悖論中,批判者提出,人類為何不直接在智能機器人的程序中消除犯罪條件,非要等到其犯罪之后再介入?按照批判者的論調,我們似乎可以提出這樣的疑問:與其現在對犯罪者進行刑罰懲罰,為何不在幼時就徹底消除他的犯罪思想或犯罪條件,而非要等到其犯罪之后再對其處以刑罰?監獄對犯罪人進行教育改造的目的是使其“洗心革面,重新做人”,為何還會出現累犯?這說明我們對幼兒的教育或監獄對犯罪人的教育改造無效,還是說明我國的刑罰體系沒有存在的必要?另外,需要指出的是,前文筆者曾提出強智能機器人之所以可能成為刑事責任主體主要是因為其可能脫離人類設計和編制的程序控制而產生自主意識和意志,并具有獨立的辨認能力和控制能力,可能會自主實施犯罪行為。如果這種情況確實會出現或存在,試想人類又怎么可能“直接在強智能機器人的程序中消除犯罪條件”呢?

其三,在“刑罰設計——非刑罰性”之悖論中,批判者提出,刪除數據、修改程序、永久銷毀等專門為強智能機器人設計的刑罰種類實際上是非刑罰措施。其實這是一個老問題,筆者在許多文章中均已經作了回應,在此不作贅述。應當看到,某一項措施是否應設置為刑罰種類,主要應根據對新類型的犯罪有無設置的針對性、對懲罰與改造新類型犯罪主體的必要性等內容加以決定,最后由刑法加以明確規定,不會因為行政法規或其他法律中已有規定而一律排除在刑罰種類之外。以罰金為例,其既可以是一項行政處罰措施,也可以是刑罰體系當中的附加刑。與之類似,刪除數據、修改程序、永久銷毀等舉措可以是“檢修指南”當中所規定的措施(如批判者所言),但當強智能機器人成為刑事責任主體時,刑法則完全可能在條文中規定與此責任相對應的新刑罰種類。此時,這種“檢修指南”中所規定的措施性質就可能成為刑罰種類。需要指出的是,筆者提出的刑法應適時將刪除數據、修改程序、永久銷毀等設置為刑罰種類,設置這些刑罰種類的想法也只是針對現時我們所能預想到會出現的強智能機器人(可能脫離人類設計和編制的程序控制而產生自主意識和意志的強智能機器人)的犯罪行為設計的。如果在未來科學家一旦將類腦科學技術和神經科學技術與人工智能技術結合的話,其產生的強智能機器人可能不僅在智能上會超越自然人,甚至在智能產生根據及物理外觀等方面也會有很大的突破和超越。假定這種并非遙不可及的現象真的出現,不僅會讓批判者從“智能機器人因具有機器的外觀,所以永遠只能是機器,怎么可能是人?”的疑惑中解脫出來,同時還會得出這樣的結論,筆者建議設置的上述刑罰種類因遠遠不足以應對犯罪的新類型強智能機器人而恐怕需要大大增加。

其四,在“消減風險(追求責任體系嚴密化)——加劇風險(轉移人類責任)”之悖論中,批判者提出,當智能機器人致人損害而自負責任時,便為智能機器人的研發者或使用者推卸刑事責任提供了絕佳的借口。對此觀點的反駁,筆者已在相關文章中作過詳細論述。〔26〕參見劉憲權:《涉人工智能犯罪中研發者主觀罪過的認定》,載《比較法研究》2019年第4期。簡言之,當普通智能機器人或弱智能機器人致人損害時,承擔刑事責任的只能是智能機器人的研發者或使用者,此處不存在推卸刑事責任的可能性。當強智能機器人在自主意識和意志的支配下實施了嚴重危害社會的行為時,如果研發者或使用者對于強智能機器人的“失控”存在故意或過失,則應承擔相應的刑事責任;如果研發者或使用者對于強智能機器人的“失控”既無故意也無過失,則強智能機器人的“失控”對研發者或使用者而言就是意外事件。此處更不存在推卸刑事責任的可能性。

綜上所述,批判者所謂“承認人工智能的犯罪主體地位將會面臨幾大悖論”無法解決的擔心并不成立,其實沒有一個悖論實際存在,批判者“無法解決”的擔心似乎又是多余的。

五、結論

人工智能時代是一個已經到來的偉大時代。偉大的時代當然會給社會帶來已知或者未知的巨大變化,面對這些變化,我們當然不能堅守“以不變應萬變”的原則,以漠然視之、無動于衷的態度對待之。偉大的時代需要各種先行理論加以支撐,而先行理論的提出確實也很難做到完美無缺。對一件新生事物,我們尚且有一個認識過程,更何況對一個全新的人工智能時代的理解,其認識過程之長、對傳統觀念突破之難甚至之痛,是可想而知的。需要指出的是,作為社會科學分支的法學研究并非像自然科學那般精確且結論具有唯一性。在人工智能法學研究的過程中,針對某一問題(特別是針對未來發展中可能存在的問題)學者提出的可能會有一定瑕疵的新觀點,我們不應作過多的求全責備,甚至情緒化地加以否定。正是因為不同觀點的碰撞和交流、爭鳴與探討,才能促使人工智能的法學研究不斷向縱深方向發展。在人工智能法學研究學術爭鳴的大背景下,我們應站在人工智能技術和人工智能時代發展的高度,在對他人研究成果進行充分了解并確保不存在誤解的前提下,開展對相關問題的研究。

猜你喜歡
人工智能智能
我校新增“人工智能”本科專業
智能制造 反思與期望
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
智能前沿
文苑(2018年23期)2018-12-14 01:06:06
智能前沿
文苑(2018年19期)2018-11-09 01:30:14
智能前沿
文苑(2018年17期)2018-11-09 01:29:26
智能前沿
文苑(2018年21期)2018-11-09 01:22:32
人工智能與就業
IT經理世界(2018年20期)2018-10-24 02:38:24
智能制造·AI未來
商周刊(2018年18期)2018-09-21 09:14:46
數讀人工智能
小康(2017年16期)2017-06-07 09:00:59
主站蜘蛛池模板: 精品超清无码视频在线观看| 欧美另类一区| 免费观看国产小粉嫩喷水| 欧美性精品不卡在线观看| 免费无码一区二区| 精品无码一区二区三区电影| 青青草国产免费国产| 国产波多野结衣中文在线播放| www亚洲精品| 亚洲色图另类| 青青操国产| 美美女高清毛片视频免费观看| 欧美色图久久| 亚洲有码在线播放| 亚洲第一精品福利| 国产成人91精品| 成人国产精品一级毛片天堂 | 国产本道久久一区二区三区| 国产精品视频猛进猛出| 日本日韩欧美| 中文字幕伦视频| 好紧好深好大乳无码中文字幕| 亚洲日本中文字幕天堂网| 国产在线八区| P尤物久久99国产综合精品| 国产一级妓女av网站| 青青草a国产免费观看| 亚洲精品手机在线| 午夜福利网址| 亚洲不卡网| 国产精品免费电影| 精品久久综合1区2区3区激情| 99久久性生片| 日本在线视频免费| 国产精品开放后亚洲| 亚洲人成人伊人成综合网无码| 国内精品久久久久鸭| 人妻丰满熟妇AV无码区| 国产区人妖精品人妖精品视频| 亚洲AV无码不卡无码 | 精品综合久久久久久97超人该| 18禁高潮出水呻吟娇喘蜜芽| 99在线观看视频免费| 2048国产精品原创综合在线| 亚洲中文在线视频| 欧美黑人欧美精品刺激| 日韩午夜福利在线观看| 亚洲侵犯无码网址在线观看| 综合色在线| 国产jizzjizz视频| 国产网站黄| 日韩AV无码免费一二三区| 国产chinese男男gay视频网| 亚洲一级无毛片无码在线免费视频| 国产视频久久久久| 国产白浆在线| 影音先锋丝袜制服| 9999在线视频| 天天躁狠狠躁| 国产全黄a一级毛片| 日本一区中文字幕最新在线| 99热这里只有精品在线播放| 欧美日韩高清在线| 欧美色伊人| 国产无人区一区二区三区| 91精选国产大片| 九九九国产| 青青青国产视频手机| 亚洲无码高清视频在线观看| 亚洲人成影院午夜网站| 精品成人免费自拍视频| 欧美性爱精品一区二区三区 | 国产免费人成视频网| 亚洲国语自产一区第二页| 99热这里只有成人精品国产| 欧美日本一区二区三区免费| 欧美色视频在线| a毛片基地免费大全| 国模沟沟一区二区三区| 成年看免费观看视频拍拍| 国产午夜人做人免费视频中文 | 91精品国产自产在线观看|