“人吃人”：算法社會的文化邏輯及其倫理風險

□郭 毅

【導 讀】算法社會是一個普遍使用算法、機器人與人工智能進行決策的社會，也是一個圍繞算法邏輯而組織和運轉的社會。算法社會的技術神話承諾提高社會運轉效率、增強社會成員幸福度和安全感，卻無法回避隱私數據泛濫、知識權力高度不對稱、黑箱運作、算法妨害等倫理風險。算法文化與民主文化格格不入，它放大了人類社會既有的不平等、不透明、區隔、貪婪、欺騙與操縱。

杭州一家互聯網公司的徐先生，每到年底就要自掏腰包購買機票，反復往返于最便宜的航線。而這一切舟車勞頓和疲于奔命都與公務或旅游無關，所為只是要在航空公司的數據系統進行年終匯算之前，湊足航空里程并保級金卡會籍以在下一年度享受體面的機上待遇。如今有成千上萬的人同徐先生一樣，每年總有一些時候只是為了飛行而飛行，這些人被叫作“飛客”。

如果按照對旅行意義的經典理解，“飛客”們的那些“為了飛行而飛行”當然可以被視作毫無意義。但很顯然，各大航空公司的會員分級制度改變了人們對于旅行和飛行意義的經典認知。與此相似，連鎖超市近年來推出的免費送貨上門業務，也在一定程度上刷新了購物的意義。當精于算計的媽媽們內心滿懷著對于購物成本降低的竊喜，享受著送貨上門帶來的便利時，卻常常為了湊足免費送貨的消費額度而把一些并不需要的東西放進購物車里。

無論是航空公司的會員分級，還是連鎖超市的免費送貨上門服務，制度背后都隱藏著各自的一套算法邏輯。這些算法看上去僅僅是一些數字的簡單相加，但結果粗暴而殘酷。而算法邏輯的終極奧秘在于，當你試圖與算法周旋并斤斤“算計”時，你卻最終成為被算計的那一個。為“保級”而飛行的里程和為“湊單”而消費的商品，無不如此。

算法（algorithm）是用以解決問題或達成特定目標的程序，它是“配方、規則、流程、方法”的代名詞。在古代中國和日本，“術”即算法。在中世紀歐洲，“算法”一詞可溯及9世紀中亞數學家提出的“algebra”，后經阿拉伯語和拉丁語輾轉翻譯而來。［1］很顯然，算法不是計算機和互聯網時代的產物，但互聯網技術無疑使歷史悠久的算法邏輯更加廣泛地滲透在社會的方方面面。無論是職場就業還是招生入學，新聞報道或是醫療保健，不管是政府社會治理還是企業市場行銷，算法看似無處不在。最近甚至有學者斷言，算法以及與之密切關聯的機器學習（machine learning）和人工智能（artificial intelligence）已經成為當下社會的“新的支柱”。［2］4

然而算法、大數據、人工智能、機器學習遭受著來自西方學界的普遍耳光。有關算法在社會治理方面能夠降低成本提升效率的迷思以及人工智能優于人類決策的科學性、準確性和公正無私的神話，最終都被證明只是一廂情愿和趨于“忽悠”性質的“技術烏托邦”（techno-utopia）。［2］195-196而與互聯網企業和政府部門對新概念的癡迷和連番炒作不同，越來越多的學者注意到算法社會中的一系列倫理問題及其對于民主文化（democratic culture）的深層次破壞。

一、算法社會的本質

在英文學術界，最早提出“算法社會”（algorithmic society）概念的是美國著名傳媒法學者、耶魯大學講席教授杰克·巴爾金（Jack Balkin）。他認為，算法社會是一個普遍使用算法、機器人與人工智能進行決策的社會，也是一個圍繞算法邏輯而組織和運轉的社會。［3］如今，社交媒體上的算法可以決定人們接觸到何種信息，銀行和金融體系的算法能夠自動判定對不同人群的放貸額度，警務系統的算法則可以快速找出潛在的犯罪嫌疑人或預判未來可能發生的暴力恐怖活動，娛樂行業的算法可以預測電影票房，醫療機構的算法則能夠評估疾病風險。算法被用于輔助或替代人類進行判斷、評估和決策，有時也直接實施和執行這些決策。這種現象已具有普遍化，它滲透在人類社會方方面面，以至于人類對算法提供的決策形成高度依賴。

算法社會固然在一定程度上懷有對提高社會運轉效率、增強社會成員幸福度和安全感的美好初衷，但它終究無法掩飾人類的天真和懶惰。人們天真地以為機器人、人工智能和算法程序在評估、判斷和決策方面比人類更迅捷、更高效，以為它們甚至可以預見人類所不能預見的、所無法完成的事情，做人類難以做出的取舍和抉擇，并且永遠不會覺得疲勞，也不會受到情感因素的干擾。于是，人類通過技術開發和編程將人類意圖投射在算法程序之上。同時，本來應由人類肩負的責任，也被轉移到算法之中。這種意圖和責任在技術上的雙重投射表明，人類既想通過算法程序降低決策成本，又不想擔起其應當承擔的責任。

巴爾金認為，理解算法社會的關鍵并不在算法本身。首先，是人類編寫和開發了算法程序，并將之接入各種數據庫，進而使用或操縱算法程序。其次，在算法決策過程中收集和使用的數據是由人類提供的，也是關于個人的，而正是人類決定了何時、為何以及如何使用算法。最后，算法程序作為一種技術表現形式是一群人與另一群人之間社會關系的中介物，它總是被嵌入社會關系之中，也折射出或者強化了人類社會中既有的復雜權力關系。因此，理解和思考算法社會的關鍵是要研究算法是如何再生產人類社會中的權力關系，如何再現乃至放大人類社會中的權力不平等現象。對算法社會的批評不應僅僅停留在對算法程序和算法技術的關切上，而應放在算法程序背后默默收集并分析利用各種數據，操縱算法以達成其特定目標的個人和組織上。［3］

二、數據泛濫和知識權力的不對稱

大數據是算法社會的動能，也是算法社會運行的產物。算法社會中的決策建立在對大量可以輕易獲取或購得的個人數據的加工與分析基礎之上，而算法決策結果又作為加工后的新數據在算法社會中以看不見的形式自由流通。算法社會意味著政府和企業擁有無所不知的能力，他們總是能夠知曉人們何時何地正在做什么、將要做什么。為了保證算法社會的高質量運轉，以及維持那種“無所不知”的迷人能力，政府和企業需要不斷降低大數據計算、通信、存儲的成本，持續拓展獲取數據的渠道。IBM 公司的一項調查數據顯示，世界上有超過90%的數據產生于2015年之后，而此后每年新產生的數據成倍增長。［4］35

借助信息技術對個人數據進行廣泛收集、分析、利用早已成為算法社會中被人們默許的法則。當注冊成為網絡社交平臺的新用戶時，當辦理住院手續時，當在購物網站購買商品時，當用手機掃碼點餐時，當進行健康申報以獲得行程卡或健康碼時，人們常常麻木地提供著個人數據和隱私信息。有些時候，個人隱私數據甚至在不經意間透露。為搜索周邊的外賣商家而開啟的手機定位就悄然記錄了人們的行程軌跡和飲食偏好。

大數據是算法社會最寶貴的資本。企業借助用戶的大數據獲利，政府利用居民的大數據制定政策實施管理。在算法社會，誰具備收集、分析和使用數據的資源和能力，誰就擁有了操控他人的權力。［3］但問題是，在充斥著數據收集和嚴密監視行為的算法社會，只有少數人擁有這種資源和能力。更重要的是，這些隱藏在算法程序背后的人，對我們了如指掌，而我們對他們卻知之甚少。這構成了算法社會知識和權力分配的高度不對稱性。正如意大利學者在《大數據與可計算的社會》一書中感嘆：“這是一種希區柯克式的驚悚——他們知道你而你不知道他們！”［4］59

美國學者帕斯奎爾（Frank Pasquale）在《黑箱社會》中展現了對算法社會知識權力不平等現象的深刻擔憂。他寫道：“公司和政府部門越來越多地廣泛記錄我們的生活，而我們卻不清楚這些信息流向何方，也不知道它們用作何處，更搞不懂這些信息會對個人產生怎樣的后果。”他批評道：“當我們的一舉一動都在別人的掌控和監視之中，而我們卻對他們一無所知時，民主和自由市場的口號就變成了空談。”［5］4

作為算法社會不平等知識和權力關系中占優勢的一方，那些隱藏在算法程序背后的人在獲取公民隱私數據方面威逼利誘。一些企業不斷鼓勵用戶主動提供個人隱私數據，仿佛唯有如此才能令用戶享受到更優質貼心的服務。而另一些企業則懶得扮演微笑的面孔。社交媒體上的新用戶被強制要求提供個人信息，以換取接入平臺閱覽信息和發言的機會；手機用戶在下載新的小程序后也必須勾選同意服務條款才能使用。然而面對算法社會中權力關系占有優勢的一方，普通人別無選擇。正如帕斯奎爾所說：“在遇到有關服務條款的協議時，人們會機械地點擊‘我同意’，因為他們很清楚自己無法更改這些條款，并且認為這些條款不值得細讀。”［5］201

巴爾金把這些占有知識和權力優勢的人稱作算法社會的“信息受托人”（information fiduciaries）。［3］在法律領域，信息受托人指那些在提供高質量服務時必須以收集客戶隱私信息為前提的人。其收集的信息越多，提供的服務效率和質量越高。受托人與委托方之間存在知識、能力、權力的不對稱，他們能夠全面掌握或者輕易監視委托方的個人隱私，而委托方則對受托人的個人生活和工作流程缺乏充分了解。受托人和委托方之間良性的契約關系，應當建立在互相信任的基礎上。委托方必須毫無戒備地將自己的隱私信息交付給受托人，而受托人則必須避免使用這些信息直接或間接地損害委托方的利益。在日常生活中，律師和醫生就是典型的信息受托人。客戶向醫生和律師坦承隱私信息，卻又不清楚醫生和律師在提供服務時如何使用這些信息。盡管存在知識和權力的不對稱，但在良性的契約關系中，客戶愿意相信其主治醫師和代理律師，而醫生和律師也會恪守為客戶保密的義務并處處為客戶利益著想，使用這些敏感信息為客戶提供更好的醫療和法律援助。

巴爾金認為，那些大量收集終端用戶個人信息的互聯網服務企業（如搜索引擎、社交媒體平臺）是算法社會的信息受托人。用戶向企業和組織坦承隱私信息，卻無法監督這些企業和組織在獲取和使用信息過程中的具體運作方式，存在知識和權力的不平等。但與醫生和律師不同，互聯網服務企業通過將客戶的個人信息貨幣化實現盈利，以補貼公司支出，進而可持續地為終端用戶提供免費的互聯網服務。而將客戶信息貨幣化卻并不在醫生和律師的業務范圍內。醫生和律師收集到的委托方信息僅被用于服務委托方（如幫助其打贏官司、重獲健康），而互聯網服務企業收集到的用戶信息則是被用于數據盈利。視頻網站和社交媒體鼓勵用戶記錄并公開自己的日常生活和所思所想，而這些被發表在網絡平臺上的內容在英文中被叫作“feed”（飼料）。用戶數據毫無疑問地淪為視頻網站和社交媒體賴以生存和盈利的數字食量。此外，醫生和律師在服務委托方時，總能夠提示對方潛在的風險，而互聯網服務企業則沒有提示終端用戶風險的義務。［3］上述區別揭露了算法社會信息受托人的真實面目，暴露了其唯利是圖的本質。更成問題的是，現行法律卻未能像對待醫生和律師那樣約束算法社會中的信息委托人，以至于后者肆無忌憚地收集和利用著人們的個人數據。

三、黑箱運作和算法妨害

帕斯奎爾的《黑箱社會》揭示了算法決策的黑箱運作。他認為與數據收集和使用過程中的程序不透明和權力不平等相比，更成問題的是算法決策過程中的不透明性。他在書中大量描述了黑箱運作的算法決策對普通民眾日常生活帶來的困擾。例如，有人因為在金融系統內較低的信用評分而導致貸款時要比別人付出更高比率的還款利息，還有人僅僅因為加入了網絡社交平臺上的某個小組而遭到公司審查甚至失業。可是面對算法決策造成的這些殘酷后果，人們往往無從得知這些決策究竟是如何被算法計算出來的。

算法決策黑箱運作的重要原因是數據的失控和濫用。當人們正在享受某家醫療類網站提供的線上就醫服務時，網站也在監控著人們的健康數據，這一過程為數據濫用敞開了大門。在算法社會，為了節省算法決策過程中的數據獲取成本而出現了數據共享。一家企業獲取的用戶數據經常被另一家企業購買并無限制地使用，而政府和企業之間也圍繞用戶數據產生了微妙的交易或聯姻。帕斯奎爾揭露，美國曼哈頓下城的安全協調中心從2009年起就通過高盛集團、花旗集團、美聯儲和紐約證券交易所獲得大量用戶財產記錄、健康數據、信用報告、生活繳費記錄等個人數據。它“以信息共享的名義讓政府能夠從企業收集用戶信息，從而繞過憲法對信息采集行為的限制”［5］65。而波音公司、星巴克、亞馬遜、阿拉斯加航空公司等美國企業也都希望與華盛頓聯合分析中心合作以獲得政府內部掌握的公民數據。聯邦快遞甚至通過與美國政府合作而獲得了允許進入政府安全數據庫的特權。［5］69-71數據的失控與濫用使得算法使用者羞于承認或解釋算法數據的來源，因此不愿公開算法決策的詳細過程。現行法律也對此束手無策。企業援引保護商業秘密的條款抗辯，使算法變成一種“無須披露的知識產權”［5］193。

黑箱運作的算法決策過程同樣伴隨著權力關系的不平等。算法本身不具有權力，但它通過“構成他人行動的場域”而參與權力的運作，具體方式包括“判定狀態”（status determination）、“風險評估”（risk assessment）和“人口管理”（populationmanagement）。［2］1-16

從不同渠道獲得的個人數據被錄入算法程序，后者遵循算法編程者和操縱者預先設定的計算公式和特定目標整合、運算、分析數據，其運算結果通常是判定事物現有狀態或預測評估未來風險的一些結論性觀點。在這個算法決策過程中，數據代碼圍繞算法設定的指標項建構起原始數據所有者的數字畫像，每個人都被貼上不同的身份標簽，有著相似身份標簽的人又被依照算法使用者的目的進行高低評分，進而被劃分為“三六九等”。在算法世界，每個人都有數字身份，“個人特征被可量化的描述取代”［6］，主體性的“人”簡化為被評分量化和評估的“物”。于是哪個地區是犯罪高發區，誰是奢華別墅的目標消費者，何時何地會發生恐怖襲擊，什么時候該推行退休延遲制度，這些人類要花費大量成本才能做出的決策和判斷，算法程序可以在瞬間完成。

但這一切都是以對原始數據所有者進行標簽化的區隔（categorisation）為代價的。社會區隔早已存在于原始人類社會，但算法以其更加細致的分類標準人為地加劇了區隔。算法社會中，人類已不僅僅被劃分為男人和女人，在注冊臉書（Facebook）賬戶時，性別選項竟多達56個。還有更多區隔根據使用算法的企業的經濟利益和經營需要而刻意劃分，但這些區隔常造成不必要的社會沖突。社交網站把影迷歌迷劃進不同的“粉絲團”，分屬不同“粉絲團”的成員在線上線下隔空對罵屢見不鮮，而如果沒有這樣的人為區隔，或許不同陣營的對罵者會是同一個班級里關系要好的同學。

在算法社會中，千千萬萬的算法程序構成了一張個體難以逃脫的宿命之網，用戶的數字畫像也在這張網上被任意濫用和共享。用戶在商場里租借移動充電寶時，是否享受免押金待遇是由微信消費積分決定的。這個由一家與充電寶提供商毫不相干的公司先前描摹的用戶數字畫像竟然決定了用戶的未來權益。在西方一些國家，信用卡公司甚至會將用戶的婚姻咨詢記錄視為逾期還款的征兆并提高持卡人的還款利率。一個“標簽”決定一生，用帕斯奎爾的話說，這簡直“相當于未經正當程序審判便施加各種刑罰一樣”［5］80。這是算法社會帶來的無妄之災。

算法決策也不斷再現和強化了人類社會中的不平等現象。算法未必比人類更客觀公正。正如帕斯奎爾所說，“算法程序的編寫是由人完成的，而人又會將其價值觀嵌入程序，編寫程序過程中使用的數據也會不可避免地帶有人的偏見”，這致使“弱勢群體的處境更加艱難”。［5］55-56司機手機上安裝的自動上報路況信息的算法小程序可以幫助地方政府了解到哪些路面需要維修，但其結果往往造成那些因貧窮和科技知識落后而無法使用手機上報路況的居民聚集區的道路遲遲得不到修繕。［7］當社會下層人士偶然的一次逾期還款就造成其征信記錄分數降低時，富豪和特權階層們卻可以輕易購買或篡改自己的信用分數。

只要在算法設計中做些手腳，算法操縱者還可以輕而易舉操縱人們的行為，達到“人口管理”的目的。他們可以通過算法程序決定人們做什么、想什么和買什么。他們也可以通過提供服務和“貼標簽”的雙重戲法誘使或迫使人們為了享受服務或避免懲罰而遵照算法操縱者的意愿和期待調適自己的行為，前文提到的“飛客”與“湊單”就是典型案例。于是人類正從做自己的主人變成被算法操縱者控制的客體。［4］164

巴爾金將算法社會中的上述諸般怪現象稱為“算法妨害”（algorithmic nuisance），認為其本質和工業社會的環境污染如出一轍。在工業社會，重工企業將自身發展的成本和代價外化，造成了環境污染。在算法社會，算法操縱者通過算法達成特定目標的同時將算法決策的社會成本和代價外化，造成了區隔、歧視、操縱等算法妨害，為普通民眾帶來了無妄之災。

四、結語：算法社會是“人吃人”

1973年美國電影《綠色食品》虛構了一個關于2022年人類社會“人吃人”的驚悚故事。電影中的2022年人口膨脹、物資短缺。一家科技食品公司發明了一款名為“綠色食品”（Soylent Green）的產品。公司宣稱這是一種使用浮游生物做成的高營養代餐，但事實上是用死尸做成的。人們爭相購買的“綠色食品”背后隱藏著一個“人吃人”的驚天秘密。

巴爾金將大數據視為驅動當下社會高效運轉的“綠色食品”，而算法社會的本質就是“人吃人”。在暗箱操作的算法決策過程中，算法操縱者成為算法社會當之無愧的無冕之王。他們深諳“治人者食于人”的道理，威逼利誘人們源源不斷地奉獻個人信息和數據，以此構建著自己的算法帝國，維系著治人者的威權并從中獲益。

挪威學者布徹（Taina Bucher）在《算法權力與政治》一書中寫道：“算法不僅影響我們的社會和文化，它本身就是一種文化。”［8］但只有當人們能夠均等參與和決定如何使用權力的時候，這種權力形式才是民主的；只有每個人都擁有公平和均等的機會做出與自身相關的決策時才構成一種民主文化（democratic culture）。［7］而算法文化顯然與此格格不入，它放大了人類社會既有的不平等、不透明、區隔、貪婪、欺騙與操縱。帕斯奎爾的呼吁發人深省：人們是時候對這種算法文化進行重新思考了，“這種思考更多的應是質疑，而不是順從、諂媚和對科技媒體的吹捧”［5］125。

注釋

［1］Jean-Luc Chabert.A History of Algorithm：From the Pebble to the Microchip［M］.Berllin：Springer，1999，pp.1-4.

［2］Marc Schuilenburg and Rik Peeters.The Algorithmic Society：Technology，Power，and Knowledge［M］.London：Routledge，2021.

［3］Jack M.Balkin，“The Three Laws of Robotics in the Age of Big Data”［J］.Ohio State Law Journal，2017，78（5）：1217-1241.

［4］Domenico Talia，Dig Data and the Computable Society：Algorithms and People in the Digital World［M］.London：World Scientific，2019.

［5］Frank Pasquale，The Black Box Society［M］.Cambridge：Harvard University Press，2015.

［6］Ignas Kalpokas，Algorithmic Governance：Politics and Law in the Post-Human Era［M］.Switherland：Palgrave Macmillan，2019，p.110.

［7］Jack M.Balkin，“Free Speech in the Algorithmic Society”［J］.University of California Davis Law Review，2018，51：1149-1210.

［8］Taina Bucher，If…Then：Algorithmic Power and Politics［M］.Oxford：Oxford University Press，2018，p.150.