人工智能倫理視角下機器非殖民化的批判性設計研究①

王 帆（南京藝術學院 設計學院，江蘇 南京 210013）

被計算成像和傳感機器所包圍的技術現實正塑造著我們的日常生活，從量化自我的智能手機到讓人類自由裁量權黯然失色的人工智能，技術思想家亞當·格林菲爾德（Adam Greenfield）對信息時代的激進技術進行了緊迫而富有啟示性的挖掘。[1]同時，機器感知與感官環境之間產生出新的糾纏與反饋，人工智能驅動的遠超人類感知經驗閾值的機器正在接管我們的感官意識。

一、機器中的非殖民化愿景

藝術家黑特·史德耶爾（Hito Steyerl）和特雷弗·帕格倫（Trevor Paglen）在蓬皮杜藝術中心展開過一次圍繞“圖像的自主性”對談，意在探討機器自動生成圖像的政治性。她提出一個疑問，當圖像制作與圖像解讀越來越多地在沒有人眼的情況下自主發生時，機器如何觀看？

1.機器的觀看之道與非殖民化

在《機器可讀的黑特》（圖1）這個作品中，帕格倫拍攝了數百張黑特的照片，并對圖像集進行了各種面部識別算法的處理，這些分類法的創建很快就開始變得非常政治化，一種內置于算法中的意識形態，正在通過有偏見的技術系統進行編碼。[2]而藝術家詹姆斯·布里多（James Bridle）以“新的觀看方法”正在為我們的數字時代構建約翰·伯格（John Berger）的主題——觀看的“詭譎”。他認為，新技術從根本上改變了我們與圖像的關系，但新的觀看方法并不總是跟得上，尤其是因為技術本身越來越難以看懂，它消失在屏幕之后，變成難以捉摸的代碼，所以態度與偏見變得更難質疑。[3]

圖1 特雷弗·帕格倫，《機器可讀的黑特》，2017

越來越多的學術研究正在追溯數字工具出現之前的壓迫性結構是如何在技術系統中被迅速復制的。媒介研究學者尼克·坎德里（Nick Couldry）和烏利塞斯·梅希亞斯（Ulises Mejias）將數據收集的生態系統稱為數據殖民主義（Data Colonialism），它結合了歷史掠奪性榨取做法與計算機的抽象量化方法。換句話說，數據殖民主義是一種通過數據關系占用和提取社會資源以獲取利潤的新興秩序。[4]認知科學家阿貝巴·比爾漢(Abeba Birhane)和奧利維亞·格斯特(Olivia Guest)則追溯了計算科學的歷史，她們認為當務之急是承認當前計算科學生態系統的本質，并將我們從條件內化的盎格魯中心主義、歐洲中心主義中解放出來。[5]研究學者凱特·克勞福德（Kate Crawford）將人工智能視為一種采掘業的地球基礎設施，一個龐大的能力矩陣被調用——資源開采、人力勞動和算法處理的交錯鏈條貫穿采礦、物流、分銷、預測和優化的全球計算網絡。這種擴展觀點從采掘政治、氣候變遷、勞工權利等方面揭示了人工智能在真實世界中的運作邏輯，破除了人工智能技術中立的神話。[6]

人工智能的影響正在通過類似算法壓迫、算法剝削等技術問題引發全球社會風險。例如，在雅加達，印尼最大叫車公司“Gojek”的司機們正在通過社區建立抵制力量來脫離調度算法的控制和分裂；在新西蘭偏遠的農村小鎮，一對原住民夫婦正在奪回對其社區數據的控制權，以振興毛利語；委內瑞拉的人工智能數據標簽公司在毀滅性的經濟危機中尋找廉價的數字勞工，創造了一種新的勞動剝削模式；[7]加納巨大的電子垃圾掩埋場阿格博格布洛謝，一味追求技術演進的電子廢棄物在那里堆積，并發展出了一種新的工業形態——都市采礦。如今，學界正在倡導“非殖民化的人工智能”，通過將非殖民主義的批判方法嵌入技術實踐，來關照全人類的利益與福祉。

2.算法決策與編碼偏見

由機器學習驅動的算法決策越來越多地滲透到社會領域，從分配醫療服務到預測犯罪概率，再到篩選合適的求職者。復雜的、不斷變化的社會挑戰被自動化并包裝成數學和工程問題，這往往被認為是客觀的或中立的。阿貝巴·比爾漢認為，應用于機器學習和數據科學等領域的貝葉斯方法，在建立與統計推斷相關的文化特權和確立數學預測的中立性方面發揮了關鍵作用。但貝葉斯模型(Bayesian Model)卻很容易產生虛假關系，并放大社會上的偏見。[8]3同時，她還指出，機器學習系統的核心工作可以概括為聚類異同、抽象共性和檢測模式，它基于看似共享的特征，給出巨大、雜亂和復雜的相似性，從而識別海量數據中的模式并做出預測。機器學習揭示的是統計上的相關性，但它并不了解因果機制。[8]7數據科學家凱瑟琳·海倫·奧尼爾（Catherine Helen O'Neil）也認為，忽略因果關系的模型可能會增加歷史問題，而不是解決這些問題。它們只是社會事件的量化以及蒼白的回聲，并不能檢測和預測語義的復雜或異常。[9]

算法不公正領域的大量研究表明，標準化的機構、社會價值觀以及分類法往往會為訓練數據集提供信息，這會造成一種情況，即作為人工智能系統的基礎數據并不能準確反映所研究的人群或現象。這些偏見會轉化為新的統計和計算規范，而這些規范一旦被使用，就會放大現有的結構性不平等。這種情況在族群、性別等方面尤為明顯。[10]

面部識別工具利用族群數據編碼了凝視。人工智能倫理研究學者蒂姆尼特·格布魯(Timnit Gebru)與喬伊·布拉姆維尼（Joy Buolamwini）為此設計了一種方法來評估自動面部分析算法和數據集中存在的與皮膚亞群有關的偏差（圖2）。結果表明，深膚色女性最容易被錯誤分類，錯誤率為34.7%；淺膚色男性最容易被精準識別，錯誤率為0.8%。她們認為，如果商業公司要建立真正公平、透明和負責任的面部分析算法，那么性別分類系統中深色與淺色皮膚女性、深色與淺色皮膚男性分類準確率的巨大差異就急需關注。[11]此外, “COMPAS”是一種替代性制裁犯罪矯正管理剖析軟件，皆在為美國法院評估罪犯再犯的潛在可能性。在多次的風險評估預測分析中，黑人被系統標記再次犯罪的概率是白人的兩倍，之所以有這樣的推論，是因為產生風險系數的算法建立在對有色人種多年來的不良數據和系統性偏見上。[12]這意味著，上述兩種由機器學習驅動的算法決策都是基于對過去事件數據的分析，因此它們對未來的預測是由歷史偏見決定的。

圖2 蒂姆尼特·格布魯與喬伊·布拉姆維尼，面部分析數據集PPB的示例圖像和平均面孔，2017

從人類生成的語料庫中學習到的詞嵌入（Word Embeddings）繼承了強烈的性別偏見，并且會通過下游模型進一步放大。[13]詞嵌入是一種將文本數據表示為向量的流行框架，已被用于許多機器學習和自然語言處理任務中。例如，“圣杯”是亞馬遜開發的自動簡歷篩選算法來匹配合適的求職者，但他們逐漸發覺程序正在系統地降低女性候選人的級別，標記為女子足球隊或女子大學這樣的詞條，都會導致簡歷被降級。由于亞馬遜在歷史上雇用男性的比率很高，他們的算法系統便學會了認為男性比女性更適合這些工作。[14]普林斯頓大學計算機科學教授阿爾溫德·納拉亞南（Arvind Narayanan）對人工智能驅動就業決策做出了回應，他認為人類決策者可能有偏見，但至少有一個“偏見”的多樣性。想象一下在未來，每個雇主都使用自動簡歷篩選算法，而這些算法都具有相同的啟發式邏輯，而沒有通過這些檢查的求職者在任何地方都會被拒絕。[15]315

二、為非殖民化機器辯護的批判性設計

隨著社會進程日益自動化，傳統上在公開場合爭論的社會問題，現在都變成了有技術解決方案的數學問題。數據記者梅雷迪斯·布薩德（Meredith Boussard）指出“技術沙文主義（Technochauvinism）”的困境，即毫無疑問地認為技術總是首選解決方案。[16]對技術純粹功能性的認知還會導致一種風險——計算思維。計算思維內化了解決主義的核心要義。在這種思維主導下，我們思考世界、描述世界的方式只能通過計算得出。[17]所以僅用“去偏見”數據集來解決技術不公平是不夠的，還需批判性審視與反思不對稱的權力動態，這將有助于對機器和人工智能提出迫切性、根本性、替代性的看法。

1.非殖民化的邊界思維與批判性設計

沃爾特·米尼奧洛教授（Walter Mignolo）認為，殖民權力矩陣（Colonial Matrix of Power）是現代性“西方代碼”取得成功的基礎。它們通過宣稱歐洲中心主義的認識論、本體論和美學是普遍的，并在幾個世紀的時間里持續傳播，而且這種力量從未消失。[18]16他在《非殖民化調查的政治學》一書中討論了非殖民化如何跨越思想的邊界，提出：“最終的、最緊迫的非殖民化任務是與西方文明的認識論和美學統治的普遍性‘脫鉤’，并重建那些被西方文明轉化為‘赤貧的外部性’的非歐洲語言知識。”[19]這樣一種非殖民化的邊界思維，為知識的生產打造另一個空間。此外，波多黎各社會學家拉蒙·格羅斯福格爾（Ramón Grosfogue）也強調，非殖民主義的認識論不應該簡單地用另一種抽象的普遍性來取代西方的普遍性，而是要以構建不同的批判性認識、倫理、觀念之間的批判性對話為目標。這樣一來，非殖民化的思維就包含了一種多元的普遍性，而不是一個普遍的世界。[18]17

設計似乎被重新定位為生產有關思想和行動的中心領域，“其他方式（Otherwise）”的概念來自于人類學家阿圖羅·埃斯科瓦爾（Arturo Escobar）。在《為多元的世界設計》中，他將批判性設計研究理解為一種多元的、認知間對話，呼吁設計的“其他方式”與拉丁美洲、非洲裔人民非殖民化努力的歷史相聯系，這表明批判性設計研究正在被積極地重構。[20]

2.批判性設計的責任與批判框架

批判性設計采用思辨的方式，去挑戰狹隘的假設和先入之見，這個概念源于設計學者安東尼·鄧恩（Anthony Dunne）與菲奧娜·雷比（Fiona Raby）對技術進步以及人們盲目依賴技術的擔憂。批判性設計除了提出想象和虛構的非現實美學之外，更多強調的是基于真實世界的技術現實，對另一種平行世界進行謹慎的推論。[21]但批判性設計經常受到質疑的是，設計師是否會在自己的社會背景之外想象未來，從而避免對未來承擔責任。紐約現代藝術博物館的展覽“設計與暴力”就引發了一場關于特權空間中思辨有效性的精彩討論。

《流涎共和國》這一作品，是設計師新田美智子（Michiko Nitta）和邁克爾·伯頓（Michael Burton）思考如果我們的社會面臨糧食短缺和饑荒會發生什么，他們設想了一種反烏托邦式的后果，根據個人工作、情感、體力和智力需求，實施嚴格的食物配給政策。有人認為這個項目屬于批判性設計或思辨性設計的范疇，它不是從解決方案回應問題的范式出發，而是從通過創造虛構情景來提高人們對問題的認識和辯論的立場出發。但另一部分人認為，作品中思辨的情況在世界許多地方都是現實，批判性設計的關注點只不過是人們與電子產品關系中“缺乏詩意的維度”。絕大多數批判性設計、思辨設計實踐者所宣傳的社會敘事和批判似乎只關于歐洲白人中產階級如何通過技術手段改變現狀的美麗思考，幾乎沒有對社會技術變革的驅動因素進行政治分析，也沒有對事情應該走向何方采取立場。對于一門致力于批判性地回應主流設計觀念的學科來說，從視覺話語到對近未來場景的表述，批判性設計似乎都顯得非常冷漠和非政治化。[22]

這是一場經典的“設計作為解決問題”與“設計作為說服性修辭”的辯論，在此過程中，出現的最緊迫問題之一是批判性設計缺乏政治責任。面對批判性設計沒有采取政治立場，是一種有關近未來不加反思的特權想象與技術空談的指責。一個有用的參考是由設計師佩德羅·奧利維拉（Pedro Oliveira）和路易莎·普拉多（Luiza Prado）撰寫的“非（或少）殖民主義思辨性設計手冊”。他們整理了七條細則以便設計師檢視自己的立場與特權。只有當批判性設計充分理解其試圖影響改變對象的所有政治道德層面和倫理維度時，它就能夠承擔責任并在想象更好的社會中發揮作用。[23]此外，批判性框架還包括薩沙·科斯坦薩—喬克教授（Sasha Costanza-Chock）提出的“設計正義”概念，一種由邊緣化群體主導的設計思維，讓我們更多地思考設計的過程和跨越壓迫的多軸權力動態，為踐行和拓展批判性設計研究提供了有益的思考。[24]

三、機器非殖民化的批判性設計實踐

算法系統產生的偏見與不公正各不相同，這取決于所使用的訓練和驗證數據、基本設計假設以及部署系統的具體環境等因素。[8]5算法系統的負面影響，尤其是對邊緣化群體的影響，促進了有關算法公平性的研究。

1.“重新想象技術”替代“技術解決方案”

技術解決方案的工作范圍主要集中在微調特定模型、使數據集更具包容性或代表性，以及“去偏見”數據集等方面。[8]1目前已有許多工作轉向算法不平等的技術修復，例如，“Appolition”數字應用幫助無力支付保釋金的人走出牢籠；[15]353“算法正義聯盟”發起了安全面孔承諾，呼吁各組織采取公開立場，以減少對面部識別分析技術的濫用。[25]盡管這些干預可以構成部分補救措施，但從根本上講，這種技術解決方案抑制了對更深遠目標的呼吁，即數據實踐應優先考慮深入的理解背景而非預測，這種實踐會質疑先前的信念——根深蒂固的結構性不平等以及關于正義和技術本身的假設。[8]6公平之路必須審視更廣泛的情況，將人工智能倫理與批判性研究置于技術解決方案之上，而不是將研究結果作為建立預測系統的算法規范。

批判性設計中的批判框架鼓勵我們研究與實踐未闡明的假設，以當代技術想象蘊含的隱喻為基礎，通過數據敘事、調查美學兩種創造性的方式顛覆技術現實，用新的視覺詞匯來描述人類與機器之間的關系。重新想象技術可能看起來是一種激進的選擇，但正如凱瑟琳·海倫·奧尼爾所說，“大數據過程是對過去的編纂，它們并沒有發明未來，我們需要對社會公正的想象力進行更大的投資”。[15]390

2.數據敘事

個人數字助理、聊天機器人等不同形式的智能代理已經滲透到日常生活中。與族群和性別中立的商業化數字助理不同，當對話界面被用作一種敘事媒介時，這些社會偏見和技術限制也成了校準交互界面特性的工具。通過向智能代理Bina48和Teeny輸送以生活經驗為形式的族群數據，我們得以觀察技術是如何調解族群觀念并建立身份認同的。[26]1

Bina48是漢森公司仿照非裔美國企業家比娜·羅斯布拉特（Bina Rothblatt）制作的類人機器人，它被設計成擁有羅斯布拉特的“思想檔案”，并且可以獨立思考的智能代理。由黑人身份和個人記憶編織的族群觀念在藝術家斯蒂芬妮·丁金斯（Stephanie Dinkins）的作品《與Bina48對話》（圖3）中被用作發展進一步敘事的技術。這部作品包括四種類型的對話，其中有關“你了解族群觀念嗎？”這一問題，編碼到Bina48中的個人記憶被調用并以第一人稱回應了該問題，然而它的局限性在于只能模仿和敘述輸入內容，并不能體現既定的經驗。丁金斯與Bina48關于族群觀念的對話清楚地表明，盡管被移植了個人生活經歷，但它無法成為羅斯布拉特的替身，也無法代表黑人的主體性。因此，正是丁金斯精心挑選的有關Bina48的系列語言行為構成了它的性格與身份。[27]同時，作為一種可塑性工具，族群觀念的敘事被用來對抗智能代理無族群的規范，這也可以在瑪蒂娜·西姆斯（Martine Syms）的《神話存在》（圖4）中看到。她利用“威脅模型（Threat Model）”創造了一個在場景中空白的數字聲音，揭示了在日益中介化和自動化的世界中嵌入的意識形態及其放大效應。作者思辨的是“某種不想為你服務的代理”，所以她利用自己的身體來模擬所謂的“反Siri”，以數字化身Teeny顛覆了蘋果Siri、亞馬遜Alexa等數字助理的性別服從性期望。此外，Teeny和Bina48一樣，也繼承了由藝術家個人記憶編碼的族群觀念，通過文本與觀眾互動，以一種刻意夸張的自我方式行事。它使用非裔美國人的方言英語，以相當辱罵性的語言反思了整個網絡數據和算法系統中固有的系統性偏見和族群成見。[28]學者李瑞勛（Suhun Lee）認為丁金斯與Bina48的對話以及觀眾與Teeny的互動塑造了它們的數字身份,這兩部作品都反映了當代社會的價值體系，參與分享生活經驗并承認其存在，從而為未來虛擬身份的構建提供了批判性的視角。[26]20

圖3 斯蒂芬妮·丁金斯，《與Bina48對話》，2014-至今

圖4 瑪蒂娜·西姆斯，《神話存在》，2018

科技領域缺乏對黑人女性的多維度描述，能否通過讓受眾接觸有色人種創作的認知增強內容來降低偏見和刻板印象？連字符實驗室（Hyphen-Labs）借由作品《神經思辨非洲女性主義（NeuroSpeculative AfroFeminism）》（圖5），將集體需求和體驗置于不斷發展的敘事中心，以美容經濟學作為推進敘事的載體。作者利用Oculus傳感跟蹤器和頭戴式耳機實現沉浸感和位置反饋，讓觀眾置身于黑人女性的角色，通過重新語境化具有文化特色的美發儀式，窺見黑人女性開拓大腦研究和神經調節的思辨性未來。[29]在這個超現實的數字殿堂中陳列著專為有色人種女性設計的思辨性產品，包括設計師亞當·哈維（Adam Harvey）開發的計算機視覺偽裝“超級面孔”，它的工作原理是根據人臉的理想算法表示提供最大激活的假面，將更多注意力轉移到附近的假面區域來降低真面（人物）的置信度。這些最大激活的假面是針對特定算法的，如OpenCV的默認正面特征、卷積神經網絡或基于HoG/SVM的邊緣檢測器等其他模式。[30]該技術概念源于設計師早期作品“計算機視覺炫彩（CV Dazzle）”（圖5）的理念，這是一種通過最小化真面的置信分來實現計算機視覺匿名的偽裝技術，在人臉檢測階段使用特定外觀來降低概率判斷的檢測閾值，這打破了人臉的視覺連續性，降低了計算機視覺系統的理解能力。由于人臉檢測是任何自動人臉識別系統的第一步，因此檢測階段的阻塞也會截斷包括人臉識別和情緒識別等后續分析。偽裝對計算機視覺的價值以及許多算法的脆性現已得到公認，上述作品驗證了人臉如何以雙重感知狀態存在的，降低信息捕捉與分析的風險，挑戰計算機視覺領域日益嚴重的不平等現象，特別是面部識別技術的廣泛應用。[31]

圖5 連字符工作室，《NSAF》（上），2017 亞當·哈維，“計算機視覺炫彩”（下），2020

這些作品挑戰了人們對人機關系的傳統理解，并以信息為驅動力，輸出智能數據處理，但并不優先考慮人類對可讀性或實用性的期望，而是在視覺蒙太奇中反映著批判性的數據敘事。

3.調查美學

如今，設計師們在人權保護、環境暴力和技術統治等領域展開調查工作；同時，一種新的美學維度也在科學與批判性計算、新聞與數據分析、法律與人權等傳統意義上的調查領域中顯現出來。[32]22這就是法證建筑（Forensic Architecture）創始人埃亞爾·韋茲曼（Eyal Weizman）所說的 “調查美學（Investigative Aesthetics）”，他們的工作成功地將設計從專業實踐領域轉移到國際法庭和人道主義組織。通過創造新的表現、分析和研究系統，將空間調查與圖像制作、數據采集與虛擬建模相結合，解讀微弱信號、搜集無意證據、還原事件描述，向社會表達真相。

法證建筑希望利用技術努力做到兩件事。第一件事是實用性的，將技術作為調查、展示、傳播數據與觀點的有力工具。第二件事是關鍵性的，在使用技術的同時，對技術的構想和運作方式進行批判性自我反思。這可能包括對產生這些技術的歷史、內部偏見或傾向以及目前可能將這些技術納入其中的濫用情況進行調查。不過，這里的前提是，對特定技術的批判性審查往往可以通過使用和重新加工這些技術來實現。只有通過批判性的使用和實踐，才能最充分地發現、理解并在可能的情況下揭露矛盾、偏見和局限性。例如，法證建筑通過使用機器學習和人工智能,來幫助篩選和分流網上流傳的越來越多的視頻證據，但他們也會借此機會試圖揭示支撐這些證據的計算過程，否則這些過程往往是不透明的和不負責任的。[32]26-27

歐洲邊界的悲慘事件是法證建筑關注的領域，他們采用衛星通信、遙感技術、流體動力學模擬、數據挖掘等方法，持續為此類案件調查和審判過程提供可視化的信息作為證據。在去年6月發生的移民沉船事件中，法證建筑建立了一個交互式制圖平臺（圖6），繪制了移民船從利比亞東部海岸出發到國際水域希臘搜救區內沉沒的路線。他們的地圖匯集了不同的信息來源，包括船上乘客分享的求救信號、附近商船拍攝的視頻照片、船只跟蹤和飛行路徑數據、衛星圖像、航海日志以及證詞。他們還使用相同的照片和視頻制作了沉沒移民船和小型公海巡邏艇的三維模型，并與代表幸存者的律師分享，以便他們在收集證詞時使用。在這項工作中，模型與視頻的關系構建了一個圖像空間，它同時也是一種分析工具。在這個空間中，每個事件都可以采用多個攝像機同時拍攝，即多情景視角，而不是從建筑平面圖所特有的俯視視角進行審視。這種將多視角攝像與視頻圖像編織在一起的方式，使每個圖像都成為通向另一個圖像源的鉸鏈或大門。這些數據與幸存者的證詞相互參照，幫助他們從各自的角度重建船上的狀況以及推論導致移民船沉沒的原因。[33]

圖6 法證建筑，《反調查個展》（上），2018 《沉船事件》（下），2023

“調查美學”并不是一種美化行為，而是一種細心的調適和注意，它涉及調整和解讀微弱的信號，并注意到在視覺、音頻、數據文件中或在環境物質構成中記錄的無意證據。“調查美學”既使用技術，又對所使用技術的政治性提出質疑，它并沒有放棄其批判理論的根基，也沒有轉向過去的實證主義，它仍然對“事實”“證據”“真理”等術語心存疑慮，但尋求的是重構和開掘它們，而不是拋棄它們。這些術語被重新組合和使用，以產生批判性的洞察力。[32]27-29

四、結語

非殖民化的邊界思維擴展了原本批判性設計中的框架與策略，它強調有責任的干預機制來審視特權想象，挑戰編碼到機器中的社會風險問題。這種由邊緣化群體主導、包含多元普遍性的批判探索，不是通過烏托邦式的夢想或理想主義的圖式，而是通過實際行動來推進未來思想的具體化，為創造更加平等和可持續發展的世界投射出一種積極變革的力量。