999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

計算宣傳:人工智能時代的公共輿論新形態

2020-11-02 13:23:35羅昕
人民論壇·學術前沿 2020年15期

羅昕

【摘要】計算宣傳是當前一種最新的、普遍的、全球性的宣傳形式,是社交媒體平臺、自動化機器人和大數據算法的集合體,旨在有組織地操縱公共輿論。計算宣傳帶來潛在的影響,通過偽造信息或活動“制造同意”,產生“虛假民主”;通過“兩極分化”擾亂公共領域,撕裂社會共識;通過“武器化”的意識形態宣傳改變全球地緣政治格局。計算宣傳的治理,關乎世界信息傳播新秩序的推進,需要多行為體的協同參與,以共建全球網絡空間命運共同體。

【關鍵詞】計算宣傳? 公共輿論? 社交機器人? 制造同意

【中圖分類號】G206? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻標識碼】A

【DOI】10.16619/j.cnki.rmltxsqy.2020.15.003

計算宣傳是一種最新的、普遍的、全球性的宣傳形式,在很多國家得到了廣泛的應用。我們將生活在一個有真正影響的人造揚聲器的世界。計算宣傳的政治行動者包括政黨、政治候選人、戰略傳播公司,甚至國家力量。這些強大的行動者常與在思想上支持他們事業的私營企業、民間社會組織、互聯網亞文化、青年團體、黑客團體、邊緣運動、社交媒體影響者和志愿者進行協調合作。計算宣傳可以使強勢行動者將公共話語框架置于有利于自身的顯著地位上,而那些沒有財政資源和人工智能機器人知識的弱勢行動者并不能輕易地影響政治話語。計算宣傳在政策辯論、政治選舉、國家安全和政治危機中占有重要地位。計算宣傳日益與后真相政治交織在一起。在后真相政治時代,由于客觀事實在塑造輿論方面的影響力不如訴諸情感和個人信仰,計算宣傳可能會變得更加重要。

計算宣傳的概念

宣傳是一種傳播和說服某種信仰或價值觀的藝術。宣傳有幾種類型:白色宣傳是指公開表明信息來源的宣傳;灰色宣傳是指不說明信息來源的宣傳;黑色宣傳是指隱蔽真實信息來源的宣傳。宣傳媒介的歷史在某種程度上總是與空間和時間有關。從早期的傳單、小冊子到大眾傳播時代的報刊、廣播、影視,再到互聯網時代的網站、社交媒體,直至人工智能時代的算法媒體、社交機器人。宣傳方式從人工日益轉向自動化、智能化,從公開可見性日益轉向隱形不可見性。傳統上把宣傳理解為“通過操縱重要符號來管理集體態度”的思想仍然存在,但這種操縱隨著人工智能的到來而發生了變化。“互聯網通過操縱算法管理在線信息以及通過大數據分析確定目標受眾,為有效傳播宣傳提供了新的條件。宣傳性質不斷變化帶來的社會影響才剛剛開始被理解,而互聯網時代所帶來的社會和技術的空前結合,使這種理解的進展變得復雜。”[1]由此,宣傳最初被用來中立地描述信息傳播,而在人工智能時代它越來越多地被認為是貶義的,與操縱公共輿論有關。計算宣傳也越來越成為不同政治行動者有目的地操縱公共輿論的重要策略。

計算宣傳的經典定義可解釋為“社交媒體平臺、自動化代理人和大數據的集合體,旨在有組織地操縱公共輿論”[2]。計算宣傳既是社會現象,也是技術現象。計算是技術手段,宣傳是操縱目的,計算宣傳是手段和目的的統一體,缺一不可。有計算無宣傳或者說有宣傳無計算,都不是完整意義上的計算宣傳。

從技術層面講,計算宣傳是人工智能、大數據算法、社交機器人等技術的集合。新興的人工智能技術將從根本上增強計算宣傳的能力。人工智能聊天機器人、人工智能合成圖像語音、自動化音視頻操作工具、深度偽造技術、機器深度學習、大數據可視化內容生成、情感計算工具、心理測量分析等技術,將使廣泛、高效、精準、自主的計算宣傳成為可能。大數據算法在產生和管理我們的傳播和共享文化方面起著至關重要的作用,不僅在決定我們應該看什么,還影響著我們應該想什么。社交媒體平臺的可供性(affordance)使它們成為傳播計算宣傳的強大基礎設施。機器人是計算宣傳不可或缺的自動化程序,是一種用于執行簡單、重復任務的軟件。部署在社交媒體上的機器人(簡稱“社交機器人”)是一種計算機算法,能自動生成內容并在社交媒體上與人類互動,試圖模仿并可能改變人類的行為。當社交機器人被用于政治操縱時就成為了政治機器人。政治機器人作為非人類行動者,充當了政治行動者擴音器或代理人的角色,在政治對話中有著微小但戰略性的作用。目前政治機器人有三種[3]:(1)宣傳機器人:試圖通過大量傳播真實、半真半假和徹頭徹尾虛假的信息來說服和影響;(2)跟隨者機器人:假裝某個想法或人物獲得廣泛的共識而成為趨勢話題或明星人物;(3)路障機器人:通過轉移視線或話題來破壞正在自然進行的對話。

從社會層面講,計算宣傳源自宣傳的定義——有意操縱符號,訴諸情感和偏見并繞開理性思維以實現其創建者的特定目標。計算宣傳的操縱策略包括:(1)戰略部署政治機器人,在社交媒體上攻擊外國或政治對手,以遣散政治對手的追隨者使競爭對手去動員化,淹沒政治對手的議題/議程設置;(2)發布親政府或政黨或候選人的信息,夸大社交媒體追隨者名單,從多個機器人驅動的帳戶發出大量推文“炸彈”,幫助產生虛假的受歡迎感或政治共識;(3)混合使用算法分發、政治機器人、網絡釣魚和政治行動者一起工作。具體來說,政治機器人通過社交媒體來產生虛假信息、玩弄標簽、制造趨勢、放大特定內容,并同時啟動“偽草根運動”(Astroturfing)。這種優越但陰險的計算宣傳混合手段通常掌握在有權勢且資源充足的政治行動者手中。[4]這些所謂的“半機器人”被部署起來以幫助躲避檢測,并使交互感覺更真實。

計算宣傳的興起

在2016年美國總統競選期間,機器人流量占所有在線流量的60%以上,比兩年前增加了近20%;[5]約有20%的機器人在Twitter上產生了約20%的政治辯論;[6]在選舉日,支持特朗普的社交機器人份額以5:1的比例超過希拉里,其中前100名的自動賬戶每天發布大約500條推特,占所有與總統選舉有關推特流量的近18%;[7]在特朗普和希拉里的個人賬戶上運行機器人檢測軟件時,分別檢測到約59%和50%的追隨者是機器人。[8]Twitter和Facebook上高度自動化賬戶和虛假賬戶的大型網絡宣傳了對希拉里腐敗的指控,并推動了諸如她與戀童癖或聯邦調查局特工神秘死亡之類事件有關的大量垃圾新聞報道。[9]在有關中美貿易談判議題討論中也發現了計算宣傳,社交機器人占比13%,發布內容占比接近20%;從話題傾向性上看,社交機器人中反對貿易談判的占了多數(55%),大部分內容跟美國農民有關。[10]

在2016年英國脫歐公投中,社交機器人被積極利用以支持英國應該離開歐盟的觀點。政治機器人在此次公民投票對話中有一個很小但是有戰略性的角色:與離開歐盟論點相關的標簽家族占主導地位,對這一問題的不同觀點利用了不同層次的自動化,少于1%的抽樣帳戶生成幾乎三分之一的消息;[11]在2016年6月,77,000名機器人“簽署”了第二次英國退歐公投的網上請愿書;[12]有13,493個Twitter機器人組成了支持脫離歐盟的網絡運動。[13]

機器人推動了法國“馬克龍泄密”的虛假信息運動,“與馬克龍泄密有關的用戶大多是對右翼話題和另類媒體有預先興趣的外國用戶,而不是具有不同的政治觀點的法國用戶。反常的賬戶使用模式表明可能存在一個可重復使用的政治虛假信息機器人的黑市”。[14]在德國2017年競選活動中,2月到9月之間的“高度自動化”推特從5.7%增至7.4%[15];機器人的比例從以前的7.1%上升到了9.9%。[16]

在恐怖主義宣傳活動中發現了大量機器人的存在。從2012年到2016年,伊斯蘭國(ISIS)建立了一個虛擬的在線哈里發。他們把視頻傳到了YouTube,然后交叉發布到Facebook和Twitter進行傳播。他們創建了數千個Twitter賬戶,包括人類粉絲和機器人,利用這個平臺一對一招募同情者,制造關于恐怖襲擊的流行標簽和幸災樂禍的輿論情緒。反恐組織幽靈安全集團(Ghost Security Group)過去曾指出,ISIS利用幾乎所有可以想象的社交應用來交流和分享其宣傳,包括像臉譜和推特這樣的支柱平臺,加密聊天應用程序。ISIS正在通過計算傳播以達到最大范圍的有效傳播。當研究人員于2014年12月在Twitter上進行活動普查時,ISIS似乎是在46,000至70,000個Twitter賬戶之間運行。[17]

值得關注的是,“沒有任何學術研究發現在中國使用機器人和算法進行計算宣傳的證據”。[18]牛津大學互聯網研究所的計算宣傳研究項目經過實證研究發現,中國并沒有發現計算宣傳現象。該項目研究人員基于中國新浪微博上有關官方政治信息帖子的150萬條評論以及在Twitter上使用與中國和中國政治相關的標簽的110萬條帖子的分析,發現在國內外社交媒體平臺上,幾乎沒有發現中國利用自動化宣傳來影響話語流的證據,中國沒有將自動化作為其國內或國際宣傳戰略努力的一部分。相比之下,更令人驚訝的是,在關于中國和中國政治的Twitter標簽上,發現了大量的反華自動化宣傳。這些話題標簽中幾乎30%的內容是由機器人發布,以簡體中文出版,專門針對散居海外的華人、出國留學生或從中國大陸翻墻使用Twitter的人。研究者認為中國沒有發動計算宣傳,可能有幾個原因:中國國際宣傳工作長期以來一直由官方主流媒體主導,將機器人和自動化宣傳納入這一國際宣傳戰略需要新的技術能力,而這些技術能力不屬于這些傳統媒體提供者的范疇;這些傳播反華觀點的機器人和自動化宣傳實際上收效甚微;與中國的軟實力和外交政策有關。[19]

因此,對機器人和自動化的關注不應轉移人們的注意力,因為這些技術只是一個嵌入在底層社會結構中的工具。計算宣傳的實施有賴于不同政治行動者所處的政治、經濟、社會、文化制度或條件。我們應該進一步努力把焦點從單純的計算和監測,轉向對自動化支持的信息內容進行定性考慮,以評估它是否是宣傳,而不僅僅是計算。我們更應關注的是宣傳目的,而不是宣傳手段。

計算宣傳的潛在影響

雖然我們知道有大量活躍的計算宣傳存在,但計算宣傳的影響是復雜的,難以評估衡量。評估計算宣傳對公眾輿論的影響是一項艱巨的任務。網民在多大程度上受到了虛假政治信息的影響,這種宣傳是否真的改變了網民的行為,目前的研究知之甚少。此外,計算宣傳的效果“是由調動的社會和技術因素的復雜相互作用決定的”。[20]政治行動者要集中適當的可能會影響政治對話的資金預算、倫理道德、組織行為、能力建設和社交平臺等資源,這是非常困難的。事實上,有一些例子表明,計算宣傳也作出了積極貢獻。例如,一些復雜的算法和機器人程序試圖承擔建設性的公共服務,改進新聞業,并產生公共知識。

不管怎樣,計算宣傳被惡意用于操作公共輿論時,仍然具有微小而顯著的作用,往往造成深刻的社會政治和道德問題。計算宣傳正日益介入到“社會現實”的建構過程中。計算宣傳可以通過賦予政治人物或政治觀點以政治份量(不管它的真實性),從而成為文化和政治討論的一部分來塑造“客觀現實”。當這一建構過程變得模糊不清時,“客觀現實”和“主觀現實”之間的距離進一步縮小。應該看到,計算宣傳的普遍性、多樣性對政治傳播的消極影響將會不斷增加。

通過偽造信息或活動“制造同意”,產生“虛假民主”。基于人工智能信息技術的政治和民主可能會出現以下問題:不平等政治參與變得更加嚴重;公共議題的公開辯論變得更加困難;表面政治盛行等。長期以來,社會媒體對于深化公民參與和改善民主的理想主義觀點,現在受到與計算宣傳相關的陰險和惡意活動的嚴重挑戰。社交媒體平臺在公共生活中的敏感時刻提供了大量聳人聽聞的、煽情的以及其他形式的虛假信息。虛假信息“依賴于一種操縱性風格、偽造活動、偏見、缺乏專業精神和足夠的可信度來進行欺騙,它自由地利用社交媒體算法生成注意”。[21]同時,數字偽造技術進一步催生了虛假信息的泛濫。隨著AI換臉技術、虛假音視頻制作能力的興起,深度偽造將變得更加復雜和有效,不斷降低人類對“眼見為實”的認知敏感性。如2018年由深度偽造合成的加蓬總統Ali Bongo新年致辭視頻曾引起了兵變,足以窺見這種技術的破壞潛力。深度偽造技術的結果是真相的“終結”。人工智能偽造技術、虛假新聞和計算宣傳同時興起,對民主治理構成了巨大挑戰。

虛假信息被自動化大量支持時,產生一種“偽草根運動”現象。網絡“偽草根運動”是“一種人造的、欺騙性的、戰略性的自上而下的互聯網活動,由政治行動者發起,模仿自主個體自下而上的活動”。[22]這種偽裝成公共輿論的自發涌現的實踐,旨在試圖給人們留下一種草根廣泛支持或反對某政策或政治人物的深刻印象。“偽草根運動”孕育了一個龐大的“內容農場”(Content farms),即復制、拼湊別人的原創內容,產生大量質量低劣的垃圾內容。政治機器人是一種相對粗糙的數字天體沖浪形式,具有高度自動化、協調一致性、放大性和隱蔽性的性質。與計算宣傳有關的“偽草根運動”,是民主政治中一個長期焦慮的問題。誰是公眾的一部分,誰代表公眾發言,都是令人擔憂的民主問題。現在,公眾、政治家和記者不僅要辨別民意支持是來自草根自發的還是精心編造的,還要辨別發言主體是人類還是機器人。機器人與人類行為者的互動使解決政治機器人在民主中作用的問題更具挑戰性。[23]當人們對主題或立場模棱兩可時一般會遵循“詳盡可能性模式”(Elaboration Likelihood Model)[24]。這種模式認為,當人們有很強的意愿來處理信息時,他們會仔細審查有說服力的論證;當人們沒有動力時,他們往往依賴于信息中的簡單暗示,如更可評估性和顯著性,發帖者傳遞的信念或激情。因此,人們的決定依賴于論點強度、外圍線索或兩者,很大程度上依賴于接收者的參與水平。基于詳盡可能性模式和信息社會影響理論的綜合考慮,“偽草根運動”的效果與四個重要機制有關:信息多源效應、接收者不確定性、發送者和接收者之間的感知相似性(同伴壓力)以及接收者參與的動機。[25]

“偽草根運動”的結果是“制造同意”,產生“虛假民主”。公關先驅愛德華·伯奈斯(Bernays)提出了著名的“同意工程化”(engineering of consent)的論點,認為“同意工程化”的技術是價值中立的,既可以被煽動者利用達到反民主的目的,也可以被善意者利用達到社會理想的目的。[26]在人工智能時代,大數據、新興計算方法、建模、行為科學、實時環境下的實驗科學以及平臺和算法治理的力量這六個相互交織的動力學,正在創造一個新的監測和社會認同工程化的環境。[27]“政治行動者在未經公民同意的情況下精心部署制造同意、破壞持不同政見者、威脅活動家和收集信息。在線空間是有預謀地構建共識和人工、算法地構建同意的場所,而不是通過對話、參與和透明度加強民主的環境。”[28]計算宣傳通過社交媒體和機器人“制造共識”和“實現在線宣傳的民主化”,試圖放大自身訴求點,努力創造流行趨勢的支持,并給人們以“大多數人認同”的幻覺。人們常常關注什么樣的政治故事可能會在社會上得到廣泛傳播,而不會探究這些政治故事的真實合理性。當“制造同意”取代事實真相作為政治辯論和決策形成的基礎時,民主處于后事實狀態。強大的民主需要來自高質量新聞、多元的輿論氛圍,以及公眾共識商議的能力。但是強大的政治參與者越來越多地利用計算宣傳制造同意,當公民不能夠批判性地評估消息的來源或論點的說服力時,商議民主將處于風險中。媒體作為選擇、排序和框架的機制,使得媒體的可見性從來都不是中立的。自動化算法所建構的可見性機制對政治參與者施加了一個假想的“不可見性威脅”。公民可能把這種假想的“不可見性威脅”當作“社會認同”,從而產生“虛假民主”。

通過“兩極分化”擾亂公共領域,撕裂社會共識。公共領域往往意味著一個供所有人自由、平等、理性地辯論進而產生公共輿論的公共空間。從理論上講,在一個運作良好的理想的公共領域中,應同時包括處于政治系統中心的行動者和來自邊緣的行動者,在新聞媒體的部分幫助下,強有力的公共話語將導致民主協商和社會共識。但要實現一個沒有操縱和調控的公共領域是不可能的。20世紀以來的媒體景觀給了媒體巨大的政治力量和操縱公眾的潛力。人工智能時代,算法支撐了許多目前致力于調解公共領域和政治話語的平臺(如搜索引擎、推薦系統和社交媒體網站)。當自動化、操縱性和利益驅動的機器人進入話語時,公共領域的多元化聲音尤其是弱勢、沉默的聲音將會顯得特別脆弱,而非理性的、非情緒化的辯論會變得更加強勢。政治機器人、大數據算法作為隱形的新型把關人,可以殖民、扭曲、工具化和操縱公共領域,對理想公共領域的建構帶來潛在的影響。一些啟動計算宣傳的政治行動者幾乎不負責任地破壞作為公共領域的網絡空間,影響著脆弱的網絡信息生態系統。政治機器人被用來制造分裂的政治信息。這些行為可能包括協調一致的騷擾、造謠傳謠,發送垃圾郵件,傳播虛假的、誤導的、有偏見的、有陰謀的、煽動性的、攻擊性的、極端的、聳人聽聞的信息內容,由此將導致兩極分化嚴重,社會共識撕裂。

自動化機器人和算法傳播可以規避傳統媒體過濾器和意見信息守門人,強化政治行動者的自我議題或議程設置,正在為政治議題屬性的顯著性而戰。在回聲室或過濾氣泡效應和加強的確認偏差作用下,虛假信息會比真相傳播得更快、更深、更廣泛、更有感情。在2016年美國總統大選期間,特朗普從參選開始的目標就是制定并控制媒體議程。他的競選策略是在媒體和公眾面前大聲說話,設置各種聳人聽聞的、欺騙性的、煽動性的議題,攻擊和誹謗競爭對手,煽動政治紛爭,扭曲公共對話,刺激一種狂熱的宣傳效果,通過自動傳播標簽來建立虛假的流行趨勢,讓事情迅速發酵擴散發展,讓媒體無法抗拒報道他的議題。特朗普這種快節奏的修辭和“即興”說話的意愿給人留下了一種“真實性”的假象,帶來選民投票意向上的“樂隊花車效應”。當公眾談論特朗普時,人們會聽到更多的是“把她關起來”或“讓美國再一次偉大”的聲音,而不是“他不合格”或“他是瘋子”的聲音。

計算宣傳可能會使公民暴露在虛假新聞的影響下,削弱公眾對傳統機構的信任,加劇社會分裂和政治兩極分化。對社會分裂來說,計算宣傳最致命和最有害的目標是煽動社會情緒,鼓噪民粹主義,使公民接受政治行動者不斷強化的偏激觀點。這些煽動情緒的策略可能包括促進兩極分化、回音室、過濾氣泡、極端黨派主義、誹謗、抹黑、攻擊、多元無知、旁觀者冷漠、級聯效應、沉默或憤怒螺旋、恐懼、偏見、認知失調。所有這些策略都有可能動員公眾以某種方式發生思想搖擺。如仇恨言論,即基于種族、宗教、族裔出身、性取向、難民、殘疾或性別等屬性對個人或群體進行網上虐待或威脅。又如煽動恐懼,“無論是恐怖新聞戰術性、機會主義的放大,還是引發恐慌的災難運動的持久的戰略性運動,恐懼的產生都削弱了目標受眾正確評估信息來源的能力”。[29]情緒一直是政治和媒體中的關鍵因素。“后真相”似乎已經在世界各地的傳播實踐中取得了一定的地位。“兩極分化的政治陣營之間從根本上講是在情感層面的分歧,而意見的差異則不那么顯著。這種情感上的分歧尤其受到社交媒體實踐和算法的助長。”[30]人們對“后真相”和“真相”的普遍理解揭示了情感和政治之間的關系在過去的十年里是如何變成前沿和中心的。計算宣傳反映了情感設置或操縱的重要性。為了激怒未決定的投票者,動搖希拉里的支持者投票特朗普,或確保希拉里的投票者宅在家,特朗普的競選活動使用了復雜的微靶向目標,例如,在Facebook上將一些“暗帖”(非公共定向廣告),如“希拉里認為黑人是超級掠奪者”提供給非裔美國人。[31]未來,情感、媒體和政治之間的問題將是計算宣傳的重要研究命題。

通過“武器化”的意識形態宣傳改變全球地緣政治格局。世界經濟論壇2014年確定網上虛假信息的迅速傳播是社會面臨的十大危險之一,認為“大規模數字虛假信息的全球風險處于從恐怖主義到網絡攻擊和全球治理失敗等一系列技術和地緣政治風險的中心”;《慕尼黑安全報告2017:后真相,后西方,后秩序?》也指出,“用虛假信息來描述后事實時代的事態:偽造、泄露、傳播”。[32]當前全球網絡空間彌漫著民粹主義、種族主義、右翼極端主義、左翼激進主義、恐怖主義、民族主義、階級主義、性別主義、反共反社會主義、仇外心理和法西斯主義元素等意識形態氣氛。如網上法西斯主義在傳播仇恨、偏見、威權民粹主義、朋友/敵人關系和拜物教政治意識形態。右翼極端主義在網上言論中含有法西斯主義和仇恨的某些因素(如對移民和難民的仇恨、反猶太主義、反社會主義等)[33]。社交媒體民族主義通過社交媒體而不是現實世界的關系連接,可能極大地改變世界秩序,深刻影響信息地緣政治格局。社交媒體民族主義在許多方面與諸如競選活動、占領運動(街頭革命)、社會運動和更持久的黑客集團重疊交織。在全球范圍內,一些政治行動者創造了一個有相當規模的“社交機器人部隊”參與國外政治運動。

計算宣傳未來將被置于地緣政治沖突的中心。在地緣政治上,強國將部署和利用計算宣傳來影響外交政策的結果,以實現本國外交政策目標。從更廣泛的地緣政治角度看,計算宣傳的行動者正在實行政治宣傳的武器化,以掌控其在全球地緣政治中的話語權。“武器化的敘述試圖通過產生復雜性、混亂、政治和社會分裂來破壞對手的文明、身份和意志力。它可以作為明確的軍事或地緣政治沖突的一部分在戰術上使用,也可以作為減少、中和和擊敗一個文明、國家或組織的一種戰略手段。如果做得好,它將限制甚至消除武裝部隊實現政治和軍事目標的任何需要。”[34]武器化的敘述傾向于使用視覺手段和小報化(簡化,很少使用單詞,情感化、丑聞化、極化、平庸化、操縱、制造等)。如2020年初全球新冠肺炎疫情期間,美國總統特朗普、國務卿蓬佩奧和一些政客、媒體不斷鼓吹“中國病毒論”“中國責任論”等陰謀論,煽動仇華情緒,為美國聯邦政府抗疫不力尋找借口,轉移國內民眾的不滿情緒,實為特朗普競選下一屆總統進行的政治誣陷。

計算宣傳可能改變全球地緣政治格局。外國干預國家事務已成為政治過程完整性和傳播一致性的明顯威脅。最近五年來,國際事務、國際關系因新媒體技術的介入而日益復雜化。一些國家政府利用社交媒體操縱輿論,分配專業人員和財政資源進行網上虛假信息宣傳活動,擾亂關于敏感安全問題的國際辯論,破壞國家主權、國際外交、國際貿易、國際和平和其他重要國際進程的努力。這些運動傾向于使用新聞框架和議程設置、意識形態霸權、符合象征力量或實現預期結果的銳利力等策略。同時,“越來越多的政治行動者使用算法來操縱國際輿論,有興趣塑造外交政策成果、實現國家安全目標和干預其他國家治理”。[35]一些國家的計算宣傳運動在行動者、能力水平、組織形式和影響目標方面不斷提升計算宣傳的水平。“如果外國勢力成功地利用有針對性的數字宣傳來干預選舉活動,對民主制度的信任就會折騰起來。當外國勢力計劃放大有目標的宗教、政治、文化或特殊利益集團的聲音以煽動分裂的“火焰”時,同胞可以反對同胞,暴力可以被煽動,民間社會受到破壞。”[36]需要警惕的是,計算宣傳驅動的全球信息戰爭,可能引爆新一輪的網絡軍備競賽。

計算宣傳的協同治理

由于計算宣傳在個人、社會、國家和國際層面引發的一系列潛在風險,計算宣傳的全球治理勢在必行,盡管治理過程錯綜復雜。計算宣傳的治理,關乎世界信息傳播新秩序的推進,“應在聯合國框架內,推進多邊、民主、透明的國際互聯網治理體系,攜手構建網絡空間命運共同體”。[37]全球治理的一個重要特征是治理主體多元化,因此,在計算宣傳的全球治理過程中,要以人工智能、算法、大數據、社交媒體、虛假信息為重點治理對象,鼓勵企業、國家政府、國際組織、技術社群、公民等多行為體共建共治共享。

發揮聯合國力量,開展國際合作。發揮以聯合國為主導的國際力量,將有助于促進計算宣傳走向正軌發展,更好地應對計算宣傳可能產生的國家民主、國家安全以及全球秩序等問題。聯合國教科文組織(UNESCO)始終在指導人工智能技術發展的倫理標準和政策方面進行全球性的倡議和反思。2018年11月,UNESCO與合作伙伴在其總部舉行的互聯網治理論壇(IGF)上,組織了一場關于“利用人工智能促進知識社會和可持續發展”的公開討論,重點關注如何跨越人工智能時代的世界數字鴻溝,如何促進媒體生產、傳播和評估新聞、數據和信息,如何應對技術發展以打擊暴力極端主義和其他不可見的威脅。在2018年舉行的聯合國互聯網治理論壇(IGF)上,來自各國政府、私營部門和民間社會的利益攸關方就加強全球合作,打擊數字時代具有誤導性的危險信息達成了共識。2019年6月,聯合國秘書長古特雷斯正式推出“聯合國消除仇恨言論戰略和行動計劃”,旨在加深聯合國所有實體對仇恨言論的有害影響以及如何在工作中更有效地應對的理解,呼吁加強對會員國的支持,與私營公司、民間社會和媒體進行更多合作。

除了聯合國,還可以考慮發揮APEC、G20、金磚國家等國際性組織或區域性組織的角色,在區域或國家之間形成具有普遍共識的治理規則,實現從邊緣到中心的突破,最終獲得全球層面的規則認同。同時,也要重視全球行業組織的指導性專業倫理規范建設,如世界科學知識與技術倫理委員會(COMEST)發布關于機器人倫理的初步草案報告,提出應當在機器人及機器人技術的倫理與法律監管中確立可追溯性,保證機器人的行為及決策全程處于監管之下。但從歷史上分析國際宣傳的規制和國家防止外國傳播的義務,可以看出不同國家法律在保護自由表達方面存在相互沖突競爭的歷史,如西方民主國家贊成的“思想自由市場”方針與發展中國家提議的社會安全秩序的沖突。國際法不僅要禁止顛覆性宣傳,也要禁止旨在和平改變政權的宣傳。但對美國來說,對宣傳的任何規制都會與言論自由、傳播權和交流權相沖突。這種沖突對跨國計算宣傳的全球治理帶來挑戰,就私人宣傳的責任歸屬問題達成共識則更具挑戰性。

完善各國有關新媒體技術的法律法規體系。計算宣傳引發的倫理法律問題,引發了世界各國政府的高度重視,越來越多的政府行為者正通過制定完善具體的法律法規,進一步加強與計算宣傳相關的治理,主要體現在保護數據隱私、限制數據收集、要求披露自動帳戶、授權廣告透明度。但許多立法者對社交媒體、自動化機器人、算法只有初步的了解。他們強加的規則可能會影響社交媒體平臺和用戶之間的生態均衡。政府在對抗社交媒體上的虛假信息和錯誤信息方面處于劣勢。政府監管必須要在維護政治安全、言論自由和市場可持續發展之間謹慎平衡。

社交媒體上虛假新聞擴散日益增長的威脅,已經成為世界各國政府的一個重大關切。自2016年以來,超過30個國家出臺了相關法律,打擊互聯網上的假新聞。與此同時,一些國家建立了新的政府機構或授權現有組織打擊假新聞及其對外影響力行動。這種反應通常包括生產和傳播反敘述或創建舉報、標記和事實檢查來促進公民意識和參與。在許多情況下,這些目標任務經常與媒體法律、監測能力、計算宣傳運動、互聯網阻擋或過濾結合使用,以塑造在線公共對話。[38]歐洲防止虛假新聞傳播的方法在很大程度上依賴于數據保護法,如歐盟《歐盟更安全的社交網絡原則》(2009)和《通用數據保護法》(2018)。2018年3月,歐盟委員會虛假新聞和網絡謠言獨立高級專家組(HLEG)成立,2018年9月正式頒布《歐盟反虛假信息行為守則》。2019年10月底,歐盟委員會再次要求社交媒體必須采取更多措施來應對虛假新聞或面臨監管行動。2016年美國大選后,美國國會2017年10月宣布了《誠實廣告法》(the Honest Ads Act),要求Facebook和Google等在線平臺保留政治廣告副本,將其公開并密切關注誰在付款以及付款多少。2017年10月,德國通過《網絡強制法》,該法規定社交媒體要在24小時內刪除網站上“明顯的非法內容”,包括仇視性言論、誹謗、煽動以及暴力言論等,否則將面臨最高5000萬歐元的罰款。2018年1月,德國《社交媒體管理法》正式施行,該法案針對網絡上的仇恨、煽動性言論、虛假新聞內容,對在德國境內提供內容服務的社交媒體平臺提出了更為嚴格的監管要求。2018年11月,法國通過了專門的“虛假新聞法”,賦予了法國法官在競選期間即時(在通知后48小時內采取行動)從網站上刪除假新聞的權力,以確保國家選舉免受虛假信息的影響。

在社交機器人、人工智能算法方面,歐盟《數據保護條例》要求數據處理者與數據主體保持關系并在質疑時能解釋自動化決策的邏輯。意大利政府在2018年大選之前推出了一項旨在打擊計算宣傳的在線服務,人們可以通過網站上的“紅色按鈕”系統報告虛假新聞,同時使用專業軟件來確定信息是否受到了計算宣傳的操控。2017年1月,德國三個州重新啟動了一項關于數字入侵的立法倡議,將社交機器人在Facebook上的使用定為犯罪。2019年7月1日,美國加利福尼亞州成為第一個試圖規范機器人程序使用的州,要求自動披露旨在社交媒體上模擬或復制人類活動的賬戶,以防止社交媒體上的輿論操縱。歐盟于2019年4月發布“人工智能倫理準則”,列出了“可信賴人工智能”的7個關鍵條件,以確保人工智能尊重基本人權、規章制度、核心原則及價值觀,同時在技術上安全可靠。

對于所有類型的算法,審計是驗證正確功能的必要前提,是實現透明度的一種可能機制。算法審計是研究算法決策的功能和影響的過程,理解算法決策背后的邏輯,幫助公民解釋決策是如何被描述的。[39]公民可以要求政治透明度權利來限制不透明內容系統對政治對話的權力,但不管怎樣,算法的專利產權保密性、深度學習復雜性和決策不透明性對算法審計的實施提出了重大挑戰。算法決策的邏輯可能在認識論上無法為人類所理解。盡管存在許多障礙,但算法審計能最大程度地接近。算法審計的一種形式可能是建立監管服務提供商的規制機構,該機構的工作就是通過對發布的內容類型進行有偏見的結果檢測來預測對政治對話的影響,以確定必須規范的內容,如要求公司在沒有揭示產權性的算法設計細節下提交有質量的信息披露,包括算法是如何運作的,它的效果如何,以及它最有可能造成哪些錯誤。

強化社交媒體平臺的自律性措施。社交媒體平臺正在通過事實核查機制和標記,要求用戶驗證帳戶合法性,或者制定一些激勵政策,與第三方信息檢測和評級機構合作,以減少自動操縱在線話語的風險。與社交機器人有關的現有做法可歸結為披露、同意和尊重二次使用原則。披露原則指機器人賬戶應清楚地被識別;同意原則指未經用戶同意,機器人不應主動與其接觸,包括喜歡、偏愛等互動或者轉發;二次使用原則指機器人“所有者”不應將收集到的關于用戶的信息用于其他無關的目的。[40]

2016年以來,Facebook陸續宣布打擊虛假信息的系列措施,如雇用了數千名事實檢查人員,依靠用戶舉報,發布內容透明度報告等。Facebook正在與Fact-Check.org、ABC和美聯社這樣的事實核查機構合作,將用戶報告的故事提交給這些機構核實。這種努力是否會產生實際效果,或者反而會促使人們更多地散布虛假信息,我們目前還不知道。2019年4月,Facebook發布了一系列公告,旨在推廣更多值得信賴的新聞來源,打擊傳播虛假信息的團體。Facebook于2019年9月宣布聯合微軟公司和多所高校,研究檢測Deepfake的方法。2019年12月,Facebook和Instagram宣布引入了一項人工智能過濾評論的新功能,可以在一定程度上防止社交機器人對虛假信息簡單的復制粘貼。在2020年2月召開的德國慕尼黑安全會議上,扎克伯格表示,Facebook已經在致力于打擊虛假信息,改進其對抗網絡選舉干擾的工作,每天都有100多萬個虛假賬戶被吊銷。

Twitter對機器人的使用有著最明確的指導方針,在平臺幫助中心設置了一個專門用于“自動化規則和最佳實踐”的頁面,禁止使用下列類型的機器人:發布在最終內容之前通過登陸或廣告頁面重新定向的自動鏈接;未經明確同意而分發用戶內容;自動推特成趨勢主題(也被稱為#標簽垃圾郵件);未經Twitter同意的自動回復或提及;自動轉發,除非Twitter認為這項活動是“社區福利”;自動跟蹤和不跟蹤;自動偏袒。Twitter通過與第三方合作來幫助檢測和關閉機器人運行的帳戶來減少機器人驅動的流量。2019年6月,Twitter宣布收購了AI初創公司Fabula,以幫助其打擊在其平臺上傳播的虛假新聞。2019年11月,Twitter公布了關于打擊深度偽造草案的細節。

社交媒體平臺正努力區別宣傳、虛假信息和錯誤信息之間的微妙差異,它們正努力保持平臺中立和遵守言論自由原則,謹慎決定內容是否修正和如何修正,希望避免由于遵循通知刪除原則而最終帶來審查偏見的爭議和指控。盡管各大社交媒體平臺在打擊虛假新聞上采取了大量措施,但是相對于社交媒體用戶和機器人數據集的量級增長,以及日益復雜的自動化技術和人類傳播行為,社交媒體機器人和虛假信息的檢測和評價會變得非常困難。同時,社交媒體平臺既要確保其用戶不受計算宣傳的影響,同時也面臨著跨境數據流的挑戰。“社交媒體平臺面臨著來自100多個國家的重疊法律和法規的困境。每個國家都要求社交媒體平臺提供不同的標準和披露信息,并強加了運作成本。社交媒體平臺如何在檢測和破壞一系列計算宣傳活動的同時,約束和取悅社交媒體國家?”[41]此外,社交媒體平臺沒有動力為可能會出現的問題而壓低利潤。如果不是由行業集體承擔,自我監管會使第一家自我監管的公司處于顯著的劣勢。

提升公民網絡媒體素養水平。如果沒有足夠的相關知識儲備,一般互聯網用戶很容易被計算宣傳這種方法欺騙。大多數公民(包括學生和成年人)缺乏正確區分假新聞和經過驗證的內容的能力。斯坦福大學研究人員特別關注了千禧一代是否能夠區分合法和非法的新聞來源和文章,答案顯然是否定的。在這項研究中,大約80%的千禧一代錯誤地將一篇假文章認定為真文章。[42]如果個人配備了識別和批評計算宣傳形式的工具和知識,計算宣傳的影響可能是有限的。因此,需要提升公民網絡媒體素養水平,教育人們如何避免成為計算宣傳的受害者。媒體素養教育,就是要培養公民在面對媒體信息時所表現出的選擇能力、理解能力、質疑能力、評估能力、創造能力、生產能力及思辨能力。

提升公民網絡媒體素養水平,需要政府部門、平臺提供商、公益組織、行業協會、學校、家庭等行動者的共同合力。像Common Sense Media這樣的公共組織已經開發了“新聞素養101”課程,甚至開發了解釋和打擊虛假信息的游戲。 一些積極活躍的社會團體正在公開地或私下地通過與算法工程師和決策者的反向對話來游說各個平臺,以承擔減少虛假信息傳播的責任。谷歌新聞與谷歌旗下慈善機構合作開展了一項耗資1000萬美元的媒體素養宣傳活動,旨在幫助年輕人辨別真假新聞。學校在打擊虛假或誤導的故事和事實的擴散方面應發揮重要作用,要在媒體素養工具包和事實核查網站等方面探討一些媒體素養課程的教學技巧。一些國家還以法規政策形式來確保公民媒體素養的提高。2019年7月,英國教育與衛生部宣布,學校課程中將增加新內容,旨在教孩子們如何發現在線錯誤信息。

近年來,“算法素養”在國外也受到了廣泛關注。“算法素養”(Algorithmic Literacy)是指用戶能夠意識到算法在他們生活中的存在,并且用批判性的思維理解算法帶來的影響,包括充分了解算法的生產邏輯、防范算法帶來的認知偏見。[43]“算法素養”運動在國外已經有了不少實踐。推特上曾有過專門針對算法素養而引發的話題,網民們討論了諸如“算法影響了我的搜索結果”等相關議題。德國之聲電視臺的“DW學院”在YouTube上發布了一則羅德島大學媒體教育實驗室創始人蕾妮·霍布斯(Renee Hobbs)教授關于呼吁“我們需要算法素養”的視頻。在霍布斯教授看來,弄清楚我們所使用在媒體背后的算法是如何運作的,是混亂而復雜的,但是對每個人來說,我們都迫切地需要去更好地理解它們。[44]因此,算法素養可能包括至少知道算法在什么情況下表現出來,什么時候藏在幕后,越來越多地意識到自動化算法和大數據是如何對我們的注意力進行排序和塑造的,以及能夠對算法接下來的意圖作出正確推斷。

(本文系國家社科基金重點項目“全球互聯網治理的競爭格局與中國進路研究”的階段性成果,項目編號:18AXW008)

注釋

[1]Gillian Bolsover; Philip Howard," Computational Propaganda and Political Big Data: Moving Toward a More Critical Research Agenda", Big Data, 2017, 5(4), PP. 273-276.

[2]Samuel C. Woolley and Philip N. Howard, " Political Communication, Computational Propaganda, and Autonomous? Agents Introduction", International Journal of Communication, 2016, (10), pp. 4886.

[3]Emiliano Treré, "From digital activism to algorithmic resistance", The Routledge Companion to Media and Activism, Edited By Graham Meikle, London: Routledge, 2018, pp. 367-375.

[4]Shaomin Xu, "Computational propaganda poses challenge", Global Times, September 12, 2017, http://www.globaltimes.cn/content/1066077.shtml.

[5]J. Condliffe, "Over 60 Percent of Internet Traffic Is Now Driven By Bots", http://gizmodo.com/over-60-percent-of-internettraffic-is-now-driven-by-bo-1482537192.

[6]Bessi, A., and Ferrara, E., "Social Bots Distort the 2016 US Presidential Election Online Discussion", First Monday, 2016, 21(11), https://firstmonday.org/article/view/7090/5653.

[7]Kollanyi B; Howard PN and Woolley SC, "Bots and automation over Twitter during the U.S.election", Data Memo, 2016.4., Oxford, UK: Project on Computational Propaganda.

[8]Anastasia Pyrinis, "Fake News is Real:The Rise of Computational Propaganda and Its Political Ramifications", Berkeley Political Review, November 6, 2017, https://bpr.berkeley.edu/2017/11/06/fake-news-is-real-the-rise-of-computational-propaganda-and-its-political-ramifications/.

[9]Philip N. Howard; Samuel Woolley and Ryan Calo, "Algorithms, bots, and political communication in the US 2016 election: The challenge of automated political communication for election law and Administration", Journal of Information Technology & Politics, 2018, 15(2), pp. 81-93.

[10]張洪忠、趙蓓、石韋穎:《社交機器人在Twitter參與中美貿易談判議題的行為分析》,《新聞界》,2020年第2期,第46頁。

[11]Philip N.Howard, and Bence Kollanyi, "Bots,#StrongerIn,and #Brexit: Computational? Propaganda during the UK-EU Referendum", Working Paper, No.2016.1, Oxford, UK: Project on Computational Propaganda.

[12]BBC, "EU referendum petition hijacked by bots", June 27, 2016, http://www.bbc.com/news/technology-36640459.

[13]Marco T.Bastos and Dan Mercea, "The Brexit Botnet and User-Generated Hyperpartisan News", Social Science Computer Review, 2019, 37(1), pp. 38-54.

[14]Emilio Ferrara, "Disinformation and social bot operations in the run up to the 2017 French presidential election", First Monday, 2017, 22(8). https://doi.org/10.5210/fm.v22i8.8005.

[15]Lisa-Maria Neudert; Bence Kollanyi and Philip N. Howard, "Junk News and Bots during the German Parliamentary Election: What are German Voters Sharing over Twitter?", Data Memo, 2017. 7, Oxford, UK: Project on Computational Propaganda.

[16]Keller; Tobias R.; Klinger and Ulrike, "Social Bots in Election Campaigns: Theoretical, Empirical, and Methodological Implications", Political Communication, 2019, 36(1), pp. 171-189.

[17]Renee Diresta, "Computational propaganda:If You Make It Trend, You Make It True", The Yale Review, 2018, 106(4), pp. 12-29.

[18]Gillian Bolsover, "Computational Propaganda in China: An Alternative Model of a Widespread Practice", Working Paper, No.2017.4, Oxford, UK: Project on Computational Propaganda.

[19]Gillian Bolsover and Philip Howard, "Chinese Computational Propaganda: Automation, Algorithms and the Manipulation of Information About Chinese Politics on Twitter and Weibo", Information, Communication & Society, 2019, 24(12), pp. 2063-2080.

[20]Dhiraj Murthy and Alison B.Powell etal., "Bots and Political Influence: A Sociotechnical Investigation of Social Network Capital", International Journal of Communication , 2016, 10, pp. 4952–4971.

[21]Samantha Bradshaw and Philip N. Howard etal., "Sourcing and Automation of Political News and Information over Social Media in the United States, 2016-2018", Political Communication, 2020, 37(2), pp. 173-193.

[22]Marko Kovic and Adrian Rauchfleisch etal., "Digital Astroturfing in Politics: Definition, Typology, and Countermeasures", Studies in Communication Sciences, 2018, 8(1), pp. 69–85.

[23]Elizabeth Dubois and Fenwick McKelvey, "Political Bots: Disrupting Canada's Democracy", Canadian Journal of Communication, 2019, 44 (2), pp. 27-33.

[24]John T Cacioppo and Richard E Petty etal., "Central and peripheral routes to persuasion: An individual difference perspective", Journal of Personality and Social Psychology, 1986, 51(5), pp. 1032.

[25]Jerry Zhang; Darrell Carpenter and Myung Ko, "Online Astroturfifing: A Theoretical Perspective", Proceedings of the Nineteenth Americas Conference on Information Systems, Chicago, Illinois, August 15-17, 2013.

[26]Edward L.Bernays, "The Engineering of Consent", The ANNALS of the American Academy of Political and Social Science, 1947, 250(1), pp. 113-120.

[27]Zeynep Tufekci, "Engineering the Public: Big Data, Surveillance and Computational Politics", First Monday, 2014, 19(7), https://firstmonday.org/ojs/index.php/fm/article/view/4901.

[28]Emiliano Treré, "The Dark Side of Digital Politics: Understanding the Algorithmic Manufacturing of Consent and the Hindering of Online Dissidence", IDS bulletin, 2016, 47(1), pp. 127-138.

[29]Clint Watts, "Advanced Persistent Manipulators and Social Media Nationalism ——National Security in a World of Audiences", Aegis Series Paper No.1812, Hoover Institution, Stanford University.

[30]Megan Boler and Elizabeth Davis, "The afffective politics of the 'post-truth' era: Feeling rules and networked subjectivity", motion, Space and Society, 2018, 27, pp. 75-85.

[31]Julia Angwin and Terry Parris Jr., "Facebook Lets Advertisers Exclude Users by Race", October 28, 2016, https://www.propublica.org/article/facebook-lets-advertisers-exclude-users-by-race.

[32]OECD, "How to stop the slide from info-storms to post-factual democracy", https://www.oecd.org/governance/how-to-stop-the-slide-from-info-storms-to-post-factual-democracy.htm.

[33]Fuchs,C.,"Propaganda 2.0: Herman and Chomsky's Propaganda Model in the Age of the Internet, Big Data and Social Media", In The Propaganda Model Today: Filtering Perception and Awareness, Edited by Joan Pedro-Cara?ana; Daniel Broudy and Jeffery Klaehn, London: University of Westminster Press, 2018,? pp. 71-92.

[34]Brad Allenby and Joel Garreau (2017), "Weaponized Narrative is the New Battlespace", January 3, 2017, https://www.defenseone.com/ideas/2017/01/ weaponized-narrative-new-battlespace/134284/.

[35]Samantha Shorey and Philip N.Howard, "Automation, Big Data, and Politics: A Research Review", International Journal of Communication, 2016, 10, pp. 5032-5055.

[36]W Lance Bennett and Steven Livingston, "The disinformation order: Disruptive communication and the decline of democratic Institutions", European Journal of Communication , 2018, 33(2), pp. 122-139.

[37]羅昕:《世界信息傳播新秩序建構的脈絡變遷與中國進路》,《內蒙古社會科學》(漢文版),2019年第1期,第160~166頁。

[38]Samantha Bradshaw and Philip N. Howard, "Challenging Truth and Trust: A Global Inventory of Organized Social Media Manipulation", http://comprop.oii.ox.ac.uk/wp-content/uploads/sites/93/2018/07/ct2018.pdf.

[39]Brent Mittelstadt, "Auditing for Transparency in Content Personalization Systems", International Journal of Communication , 2016, 10, pp. 4991-5002.

[40]Nathalie Marechal, "When Bots Tweet: Toward a Normative Framework for Bots on Social Networking Sites", International Journal of Communication, 2016, 10,? pp. 5022-5031.

[41]Clint Watts, "Advanced Persistent Manipulators and Social Media Nationalism ——National Security in a World of Audiences", Aegis Series Paper No.1812, Hoover Institution, Stanford University.

[42]Anastasia Pyrinis, "Fake News is Real: The Rise of Computational Propaganda and Its Political Ramifications", Berkeley Political Review, November 6, 2017, https://bpr.berkeley.edu/2017/11/06/fake-news-is-real-the-rise-of-computational-propaganda-and-its-political-ramifications/.

[43]羅昕:《算法媒體的生產邏輯與治理機制》,《人民論壇·學術前沿》,2018年12月下,第25~39頁。

[44]Katharina Zweig, "Algorithm Literacy", March 6, 2016, https://prezi.com/yev4rbaz2cxl/algorithm-literacy/.

責 編/張 曉

主站蜘蛛池模板: 久久精品亚洲热综合一区二区| 国产尤物视频网址导航| 欧美亚洲另类在线观看| 日本午夜三级| 国产第一页亚洲| 国产免费黄| 97se亚洲| 国产又粗又猛又爽视频| 精品无码一区二区三区在线视频| 亚洲精品福利网站| 狼友视频一区二区三区| 日韩高清成人| 国产亚洲精品97AA片在线播放| 午夜限制老子影院888| 一区二区三区在线不卡免费| 国产成人1024精品| 视频在线观看一区二区| 91免费国产高清观看| 四虎永久在线视频| 欧美色伊人| 激情无码视频在线看| 国产91视频观看| 2024av在线无码中文最新| 亚洲精品无码抽插日韩| 精品视频福利| 爱爱影院18禁免费| 色综合久久久久8天国| 国产永久在线观看| 日韩东京热无码人妻| 久久国产香蕉| 69视频国产| 一本大道香蕉高清久久| 欧美精品啪啪一区二区三区| 日韩精品一区二区三区视频免费看| 国产va免费精品观看| 国产麻豆另类AV| 9999在线视频| 91外围女在线观看| 国产一级毛片在线| 精品福利视频网| 国产精品自在在线午夜区app| 又黄又湿又爽的视频| 久热这里只有精品6| 91青青草视频| a毛片免费在线观看| 最新日本中文字幕| 亚洲综合极品香蕉久久网| 欧美高清国产| 久久精品无码中文字幕| 人妻免费无码不卡视频| 国产精品久久久精品三级| 99久久国产综合精品2023| 欧美 亚洲 日韩 国产| 国产美女久久久久不卡| 亚洲精品第1页| 日韩天堂在线观看| 91午夜福利在线观看| 秋霞一区二区三区| 午夜日韩久久影院| 国产亚洲精久久久久久无码AV| 日韩东京热无码人妻| 欧美成a人片在线观看| 国产精选自拍| 亚洲av综合网| 偷拍久久网| 免费一级大毛片a一观看不卡| 亚洲国产成人自拍| 丁香五月激情图片| 欧美日韩国产在线播放| 成人一区在线| 影音先锋丝袜制服| 国产一区二区网站| 精品久久777| 性欧美在线| 永久成人无码激情视频免费| 国产成人在线无码免费视频| 91在线一9|永久视频在线| 免费A级毛片无码免费视频| 免费啪啪网址| 欧美区在线播放| 国产麻豆精品久久一二三| 刘亦菲一区二区在线观看|