作為物質(zhì)與權(quán)力結(jié)構(gòu)的人工智能

黃湘

《人工智能地圖集：權(quán)力、政治以及人工智能的行星成本》

作者：[美] 凱特·克勞福德（Kate Crawford）

出版社：Yale University Press

出版時(shí)間：2021年4月

定價(jià)：28美元

本書(shū)揭示了人工智能在真實(shí)世界中的成本、運(yùn)作邏輯和后果，破除了人工智能“技術(shù)中立”的神話。

凱特·克勞福德是紐約大學(xué)AI Now研究所的聯(lián)合創(chuàng)始人

2016年，美國(guó)學(xué)者克勞福德（KateCrawford）和喬勒（Vladan Joler）啟動(dòng)了一個(gè)名為“解剖人工智能系統(tǒng)”的研究項(xiàng)目，以亞馬遜公司發(fā)布的智能語(yǔ)音系統(tǒng)Echo為研究對(duì)象，旨在追蹤該產(chǎn)品的生命周期，刻畫(huà)出其工作所需要的各種條件和因素。最簡(jiǎn)單的問(wèn)題包括：Echo有哪些組件？它怎樣提取數(shù)據(jù)？數(shù)據(jù)管道有哪些層次？他們意識(shí)到，在這些簡(jiǎn)單的問(wèn)題背后潛藏著很多復(fù)雜的問(wèn)題，諸如：這些組件來(lái)自哪里？芯片是在哪里生產(chǎn)的？構(gòu)成芯片的物質(zhì)原料在哪里被發(fā)掘和冶煉？物流和供應(yīng)鏈的路徑在哪里？數(shù)據(jù)提取造成了怎樣的法律和倫理問(wèn)題？如何追蹤這些設(shè)備的壽命終結(jié)？如何審視馬來(lái)西亞、加納和巴基斯坦等地的電子垃圾堆放點(diǎn)？

這個(gè)研究項(xiàng)目耗時(shí)兩年，在2018年結(jié)項(xiàng)，現(xiàn)已成為紐約市現(xiàn)代藝術(shù)博物館和倫敦維多利亞和阿爾伯特博物館永久收藏的一部分。在研究過(guò)程中，克勞福德意識(shí)到，有必要將對(duì)Echo這個(gè)設(shè)備的分析擴(kuò)展到整個(gè)人工智能產(chǎn)業(yè)，從而揭示這一產(chǎn)業(yè)的真實(shí)成本，及其對(duì)地球的真正影響。這是她的著作《人工智能地圖集：權(quán)力、政治以及人工智能的行星成本》（The Atlas of A I： Power， Politics，a nd t he P la net a r y C osts of A r ti f icia lIntelligence）的主題。

克勞福德指出，關(guān)于人工智能的著作幾乎無(wú)一例外地只是談?wù)摲浅＊M窄的技術(shù)成就，這使得大眾對(duì)人工智能形成了漫畫(huà)式的印象，認(rèn)為它僅僅是高度抽象的代碼、程序和算法，是一個(gè)可以觀察周遭環(huán)境并在各種可能的行動(dòng)選項(xiàng)中作出最佳決定的“智能代理”（intelligentagents），在很大程度上是客觀和中立的。但事實(shí)上，人工智能是一種提取技術(shù)—從地球中提取礦物，從流水線上的工人群體中提取勞動(dòng)力，從數(shù)十億用戶的每個(gè)動(dòng)作和表達(dá)中提取數(shù)據(jù)，從而對(duì)地球的環(huán)境和資源產(chǎn)生了強(qiáng)烈而持久的沖擊，并且加劇了人類社會(huì)業(yè)已存在的各種結(jié)構(gòu)性不平等。

之所以將本書(shū)命名為“人工智能地圖集”，是因?yàn)榈貓D集不是尋常的書(shū)籍，它可以提供不同的視角和尺度，可以在一個(gè)尺度上統(tǒng)覽整個(gè)大陸的規(guī)模，也可以在另一個(gè)尺度上查看一座山脈或一個(gè)城市。與此類似，克勞福德在書(shū)中提供了不同的視角和尺度，幫助讀者在更廣泛的背景下理解人工智能。

本書(shū)第一章的主題是“地球”，講述了人工智能產(chǎn)業(yè)對(duì)于礦物資源和能源的巨大消耗。人工智能的硬件生產(chǎn)需要以多種礦物資源為基礎(chǔ)。2010年美國(guó)制定的《多德-弗蘭克法案》要求人工智能的硬件生產(chǎn)商避免使用“沖突礦物”，亦即在爆發(fā)武裝沖突的地區(qū)由當(dāng)?shù)剀婇y開(kāi)采，并且以此提供軍費(fèi)的礦物資源，這在一些非洲國(guó)家—比如剛果民主共和國(guó)及其周邊地區(qū)—司空見(jiàn)慣，不僅采礦的利潤(rùn)用于戰(zhàn)爭(zhēng)和殺戮，而且礦區(qū)的工作條件相當(dāng)于奴隸制。但是，英特爾和蘋(píng)果等技術(shù)巨頭只審核冶煉廠而不是礦場(chǎng)，這實(shí)際上無(wú)法阻止沾滿鮮血的“沖突礦物”進(jìn)入其供應(yīng)鏈。

另一方面，雖然人工智能產(chǎn)業(yè)的大多數(shù)礦物并不是直接來(lái)自戰(zhàn)爭(zhēng)地區(qū)，這并不意味著它們不存在巨大的災(zāi)害。稀土礦物的開(kāi)采常常會(huì)導(dǎo)致地貌破壞，河流酸化，以及曾經(jīng)對(duì)當(dāng)?shù)厣鷳B(tài)環(huán)境至關(guān)重要的植物和動(dòng)物物種的滅絕。

礦物是人工智能的骨干，電力則是其生命線。在公眾印象中，和煙囪林立的傳統(tǒng)產(chǎn)業(yè)相比，人工智能產(chǎn)業(yè)的碳排放要少很多?？墒聦?shí)并非如此，作為當(dāng)今人工智能核心的“云計(jì)算”是一種資源密集型的采掘技術(shù)，其計(jì)算能力需要消耗大量能源。當(dāng)前，全球計(jì)算基礎(chǔ)設(shè)施的碳足跡已經(jīng)與航空業(yè)的高峰期相當(dāng)，而且在以更快的速度增加。據(jù)專家估計(jì)，到2040年，人工智能產(chǎn)業(yè)將占全球溫室氣體排放量的14%;到2030年，僅僅數(shù)據(jù)中心的電力需求就會(huì)增加15倍。美國(guó)馬薩諸塞大學(xué)阿默斯特分校2019年發(fā)表的一篇論文指出，即使樂(lè)觀估計(jì)，僅僅運(yùn)行一個(gè)自然語(yǔ)言處理模型就產(chǎn)生了超過(guò)66萬(wàn)磅的二氧化碳排放量，相當(dāng)于5輛汽油驅(qū)動(dòng)的汽車在其總壽命中的排放量，或者125次往返于紐約和北京的航班的排放量。

第二章的主題是“勞動(dòng)”，克勞福德宣稱，她關(guān)注的不是機(jī)器人能否取代人類，而是人類如何越來(lái)越像機(jī)器人一樣被對(duì)待。人工智能產(chǎn)業(yè)一個(gè)不太為人所知的事實(shí)是，它需要大量低薪工人來(lái)幫助建立、維護(hù)和測(cè)試系統(tǒng)。這些人從事重復(fù)性的數(shù)字任務(wù)，例如對(duì)數(shù)千小時(shí)的訓(xùn)練數(shù)據(jù)施加標(biāo)注，刪除重復(fù)的條目，或是對(duì)暴力視頻和仇恨言論進(jìn)行內(nèi)容審核等等，他們的勞動(dòng)對(duì)維持人工智能系統(tǒng)至關(guān)重要，但是報(bào)酬很低，通常遠(yuǎn)遠(yuǎn)低于當(dāng)?shù)氐淖畹凸べY標(biāo)準(zhǔn)。這是因?yàn)檫@些工人身處一種特定的勞動(dòng)關(guān)系—“眾包”（crowdsourcing），亦即公司把過(guò)去由正式員工執(zhí)行的工作外包給非特定的大眾網(wǎng)絡(luò)?！氨姲痹诳臻g和時(shí)間上重新定位和分散了勞動(dòng)，工人成為分布式的隱性勞動(dòng)力，與自己的工作成果疏遠(yuǎn)，并與從事相同工作的其他工人脫節(jié)，就更容易受到雇主的剝削。

精密控制每個(gè)員工的工作流程，是工業(yè)資本主義“福特制”（For di sm）的基本特征。人工智能系統(tǒng)則將“福特制”發(fā)揚(yáng)到了極致，工人的工位上配備的傳感器會(huì)不斷地將他們的體溫、身體狀況、與同事的物理距離、用于瀏覽網(wǎng)站而不是執(zhí)行指定任務(wù)的時(shí)間等信息匯報(bào)給經(jīng)理。人工智能極大地加劇了人類身體的機(jī)械化。

第三章的主題是“數(shù)據(jù)”?！皵?shù)據(jù)是石油”的觀念從21世紀(jì)初期開(kāi)始流行，這意味著個(gè)體對(duì)于私密數(shù)據(jù)的所有權(quán)和控制權(quán)被剝離了，人工智能產(chǎn)業(yè)可以在未經(jīng)同意和許可的情況下提取數(shù)據(jù)，不僅互聯(lián)網(wǎng)上的所有內(nèi)容都可以在不需要協(xié)議的情況下為其所用，而且可以隨意通過(guò)攝像頭等設(shè)備收集現(xiàn)實(shí)世界中的各種數(shù)據(jù)。這些數(shù)據(jù)表面上似乎是匿名的，但實(shí)際上可以從中得到大量高度個(gè)人化的、意想不到的信息，嚴(yán)重侵犯了隱私。

更有甚者，在將數(shù)據(jù)視為類似于石油的“原材料”的時(shí)候，人工智能產(chǎn)業(yè)傾向于剝離數(shù)據(jù)具體而特定的歷史語(yǔ)境、敘事脈絡(luò)和人性特征，其后果非?？膳?。例如，有一組機(jī)器學(xué)習(xí)的研究人員聲稱自己開(kāi)發(fā)了一個(gè)“自動(dòng)犯罪分類系統(tǒng)”，只需要“武器、嫌疑人數(shù)量、社區(qū)和地點(diǎn)”四項(xiàng)信息就能預(yù)測(cè)某一起暴力犯罪是否與團(tuán)伙有關(guān)。他們使用加州洛杉磯警察局的犯罪數(shù)據(jù)庫(kù)作為訓(xùn)練人工智能系統(tǒng)預(yù)測(cè)犯罪的“原材料”，但是這個(gè)數(shù)據(jù)庫(kù)錯(cuò)誤百出，加州的審計(jì)師發(fā)現(xiàn)，在其審查的數(shù)百條犯罪記錄中，23%的記錄缺少支持，該數(shù)據(jù)庫(kù)甚至還包含了42個(gè)嬰兒。

然而，當(dāng)有人質(zhì)疑“怎么能確定訓(xùn)練數(shù)據(jù)一開(kāi)始就沒(méi)有偏見(jiàn)”和“如果有人被誤標(biāo)為幫派成員會(huì)怎樣”之時(shí)，這個(gè)研究小組的成員回應(yīng)說(shuō)：“這是我不知道如何適當(dāng)回答的倫理問(wèn)題，我只是一個(gè)搞技術(shù)的?！边@種將技術(shù)問(wèn)題和倫理問(wèn)題分開(kāi)的做法，體現(xiàn)了當(dāng)前人工智能產(chǎn)業(yè)的一個(gè)基本缺陷，即拒絕承認(rèn)對(duì)造成的危害負(fù)有責(zé)任，理由是超出了研究范圍。

第四章的主題是“分類”。分類政治是人工智能的一個(gè)核心實(shí)踐，歧視性人工智能系統(tǒng)的例子不勝枚舉，例如，蘋(píng)果公司的信用算法存在性別偏見(jiàn)，預(yù)測(cè)罪犯是否會(huì)再次犯案的風(fēng)險(xiǎn)評(píng)估軟件COMPAS存在種族歧視，F(xiàn)acebook的廣告定位刻意阻止某些特定種族、年齡或性別的群體看到廣告，或其他敏感因素有意地阻止人們看到與住房、信貸和就業(yè)有關(guān)的廣告。

一個(gè)典型例子是亞馬遜公司2014年設(shè)計(jì)的人工智能招聘程序。亞馬遜公司的工程師使用了一個(gè)數(shù)據(jù)庫(kù)，內(nèi)容包括10年來(lái)的公司員工簡(jiǎn)歷，以此訓(xùn)練一個(gè)人工智能統(tǒng)計(jì)模型，讓它自動(dòng)從應(yīng)聘者的簡(jiǎn)歷中篩選出最出色的人選。然而，這個(gè)模型出現(xiàn)了一個(gè)嚴(yán)重問(wèn)題，它自動(dòng)降低了任何包含“女性”一詞的簡(jiǎn)歷的估值，導(dǎo)致沒(méi)有任何女性被推薦。這是因?yàn)閬嗰R遜公司10年來(lái)雇用的絕大多數(shù)工程師都是男性，這些簡(jiǎn)歷訓(xùn)練出來(lái)的人工智能系統(tǒng)沿襲并放大了已經(jīng)存在的性別偏見(jiàn)。

克勞福德強(qiáng)調(diào)，歷史形成的不平等會(huì)影響資源和機(jī)會(huì)的獲取，而這反過(guò)來(lái)又形成了數(shù)據(jù)，然后，這些數(shù)據(jù)被提取出來(lái)，用于技術(shù)系統(tǒng)的分類和模式識(shí)別，結(jié)果在技術(shù)中立的幌子下強(qiáng)化了不平等。每一個(gè)用于訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)庫(kù)，其實(shí)都是把復(fù)雜而多變的世界固定為某種分類，這個(gè)分類過(guò)程隱含了內(nèi)在的政治、文化和社會(huì)選擇?，F(xiàn)實(shí)世界中的各種權(quán)力結(jié)構(gòu)藉此被構(gòu)建在人工智能的架構(gòu)之中。

第五章的主題是“情緒”。通過(guò)分析人臉圖像來(lái)檢測(cè)情緒，是當(dāng)前人工智能產(chǎn)業(yè)的前沿?zé)狳c(diǎn)，人工智能招聘公司HireVue、微軟的Face API、亞馬遜的Rekognition等都宣稱具備這一功能。相信人工智能可以檢測(cè)情緒，是基于如下假設(shè)，即人類存在普遍的、跨文化的幾種情感分類，這些情緒會(huì)在人臉上流露出來(lái)，并且可以被機(jī)器檢測(cè)到。然而，這種假設(shè)本身就是成問(wèn)題的，很多人類學(xué)家和心理學(xué)家都指出，人類的情感復(fù)雜微妙，不可能簡(jiǎn)單分類，而且臉孔流露的表情是和文化有關(guān)的。研究表明，一些軟件把黑人臉孔解釋為比白人臉孔具有更多的負(fù)面情緒，認(rèn)為黑人更容易產(chǎn)生憤怒和輕蔑，這是因?yàn)檫@些軟件的訓(xùn)練數(shù)據(jù)本身就包含了種族偏見(jiàn)。

對(duì)于人工智能檢測(cè)情緒的盲目信任，在日常生活中會(huì)導(dǎo)致求職者因?yàn)槲⒈砬榕c其他員工不一致而被不公正地評(píng)判，顧客因?yàn)槟承┥袂槎蝗斯ぶ悄芟到y(tǒng)標(biāo)記為有可能偷竊;而對(duì)于希望過(guò)濾敵我雙方，區(qū)分謊言和真相的警察和情報(bào)機(jī)構(gòu)來(lái)說(shuō)，后果更是不堪設(shè)想。

第六章的主題是“國(guó)家”。2013年，斯諾登向媒體泄露了美國(guó)國(guó)家安全局關(guān)于“棱鏡”項(xiàng)目的秘密文件，震驚全球?！袄忡R”是美國(guó)國(guó)家安全局在2007年啟動(dòng)的絕密監(jiān)控計(jì)劃，在與全球多家通訊和互聯(lián)網(wǎng)技術(shù)巨頭簽訂協(xié)議的基礎(chǔ)上，參與該計(jì)劃的部門(mén)可以在未獲得法院批準(zhǔn)的情況下秘密監(jiān)控在美國(guó)境外使用這些巨頭服務(wù)的任何客戶，或是任何與國(guó)外人士通信的美國(guó)公民。斯諾登的爆料揭示了美國(guó)政府以國(guó)家安全的名義，在互聯(lián)網(wǎng)技術(shù)巨頭的配合下對(duì)民眾隱私的嚴(yán)重侵犯。

事實(shí)上，國(guó)家與人工智能之間的關(guān)系遠(yuǎn)遠(yuǎn)超出了國(guó)家安全的范疇。在許多國(guó)家，曾經(jīng)只有情報(bào)機(jī)構(gòu)才能使用的技術(shù)已經(jīng)滲透到了日常的行政部門(mén)和執(zhí)法機(jī)構(gòu)。人工智能產(chǎn)業(yè)正在重塑國(guó)家的傳統(tǒng)角色，國(guó)家通過(guò)提取數(shù)據(jù)、目標(biāo)定位和監(jiān)控的組合，對(duì)社會(huì)施加大規(guī)模控制和指揮，嚴(yán)重加劇了在國(guó)家代理人和他們理應(yīng)服務(wù)的民眾之間的權(quán)力失衡。

最后一章的主題是“權(quán)力”?？藙诟５驴偨Y(jié)說(shuō)，人工智能并不是一種客觀、普遍或中立的計(jì)算技術(shù)，相反，它來(lái)自地球的礦物和能源，來(lái)自人類身體的勞動(dòng)，來(lái)自人類社會(huì)每天制造的海量數(shù)據(jù);它被嵌入到社會(huì)、政治、文化和經(jīng)濟(jì)之中，作為一個(gè)結(jié)合了基礎(chǔ)設(shè)施、資本和勞動(dòng)力的權(quán)力結(jié)構(gòu)發(fā)揮作用，無(wú)一例外地重現(xiàn)和擴(kuò)大了現(xiàn)有的結(jié)構(gòu)性不平等。

人工智能每天都在影響幾十億人的生活，但是計(jì)算機(jī)科學(xué)和工程被視為不涉及人類主體的學(xué)科，不需要經(jīng)過(guò)倫理審查，不需要考慮其社會(huì)學(xué)影響。過(guò)去數(shù)十年，技術(shù)領(lǐng)域關(guān)于變革的理論總是以工程為中心，如果出現(xiàn)問(wèn)題，就通過(guò)技術(shù)來(lái)回應(yīng)。這種技術(shù)中心論的框架造成了越來(lái)越多的問(wèn)題。人工智能產(chǎn)業(yè)的發(fā)展，已經(jīng)在一個(gè)非常短的時(shí)間跨度內(nèi)導(dǎo)致權(quán)力深深地集中在極少數(shù)人手中，同時(shí)令那些被邊緣化的群體受到巨大傷害。

直到最近，政策制定者才開(kāi)始扮演角色，嘗試通過(guò)監(jiān)管來(lái)解決人工智能造成的社會(huì)問(wèn)題。在克勞福德看來(lái)，這遠(yuǎn)遠(yuǎn)不夠，應(yīng)該形成更深入的民主對(duì)話，將對(duì)個(gè)人數(shù)據(jù)保護(hù)、勞工權(quán)利、氣候正義和種族平等的呼吁納入討論，通過(guò)集體行動(dòng)形成針對(duì)人工智能產(chǎn)業(yè)的民主問(wèn)責(zé)制。

解讀/延伸閱讀

《面向未來(lái)：自動(dòng)化時(shí)代的九條人類規(guī)則》

作者：[美]凱文·魯斯（Kevin Roose ）

出版社：Random House

本書(shū)論述了人類社會(huì)應(yīng)當(dāng)如何管理人工智能和自動(dòng)化技術(shù)所造成的變化，并保持人性。

《新品種：我們和動(dòng)物的歷史如何揭示我們與機(jī)器人的未來(lái)》

作者：[美]凱特·達(dá)林（Kate Darling）

出版社：Henry Holt and Co.

本書(shū)通過(guò)回顧將動(dòng)物納入人類的工作、交通、軍事，甚至家庭的歷史，構(gòu)想了人類社會(huì)與機(jī)器人在未來(lái)的共處方式。