新機器時代革命: 對人類的建議

約翰·基恩翻譯： 劉沫瀟

引 言

這篇關于人工智能和機器人新興政治的文章受兩個背景主題影響。其中一個比較明顯的主題是新機器時代革命的開始，這場革命與埃里克·霍布斯鮑姆(Eric Hobsbawm)的經典著作《革命時代1789—1848》(TheAgeofRevolution1789—1848)(1962)中所描述的革命明顯不同。這部影響深遠的著作考察了從18世紀80年代到19世紀40年代在大西洋地區和其他地區爆發的革命性動亂的影響。霍布斯鮑姆的核心論點是，這一時期見證了人類歷史上自農業、冶金、文字、城市和國家發明以來最偉大的變革。這場革命的中心是英國和法國這兩個相鄰卻敵對的國家，它產生了深遠的變革性影響:不僅蒸汽機和鐵路等機器進入了數百萬人的日常生活，就連他們的語言、思維方式和生存方式也被迫讓位給一系列新穎的實踐。這些實踐所產生的新詞包括“工廠”“工業”“工業家”“中產階級”“工人階級”“工資奴隸”“資本主義”和“社會主義”“鐵路”“科學家”“工程師” “無產階級”“經濟危機”“罷工”及“貧困”(pauperism)等。

本文既同情地贊成也反對霍布斯鮑姆，并提出了一個新的論點:我們的世界正在經歷第二次機器時代革命，這是一場更加全球化、更加深刻的變革，其推動力是人工智能和“智能”機器人在日益擴大的日常生活領域中的應用。本文探討了這場新革命的輪廓和前景，并說明了為什么它會在技術細節、社會和經濟影響、倫理影響和長期政治意義方面引起公眾的困惑。本文的目的在于為如何理解和在實踐中重塑這一新機器時代革命提供指導。文章認為，盡管目前席卷全球的人工智能/機器人革命仍處于起步階段，但它的廣泛影響已經在許多不同的環境中引發關注，尤其是在人們與人工智能機器人的日常接觸越來越多的當下。革命性變化是徹底的，這篇文章指出，我們的世界從未見過這樣的情況，這就是為什么知識分子、記者和其他人類專家迄今還沒能充分而明智地理解它所存在的解放和威脅潛力的原因。

這篇文章的靈感來自第二個不太明顯的主題: 鼓勵讀者把第二次機器時代革命變得陌生而不熟悉，這樣他們就可能更加充分思考它的輪廓、矛盾和動態可能性。這種從一個智能機器人的立場來提供智慧之言，并向人類提出尖銳問題的非常規寫作技巧不僅是對最近有關“電子人”的法律討論的一種戲仿，也是對整個人工智能和機器人主題陌生化(de-familiarisation or denaturing)的一種練習。這種方法在很大程度上要歸功于1936年德國著名劇作家貝托爾特·布萊希特(Bertolt Brecht)的一篇論文。同年，這篇論文的第一版被翻譯成英文，名為《中國的第四堵墻》(TheFourthWallofChina)。論文靈感來自于布萊希特在莫斯科觀看的由梅蘭芳表演的現代中國戲曲, 作者建議在戲劇中應用布萊希特稱作的“間離效果”或“陌生化效果”(德語為：Verfremdungseffekt，英語翻譯為：defamiliarization/distancing/estrangement effect)。這個詞本身從古老的德語方言中復興,聽起來既奇怪又不熟悉。藝術家有意而為之，因為布萊希特的目的是促使和激勵他的觀眾以不同的方式去看待和感受事物,讓他們明白他們生活在“轉型時代”，在這個時代“現實”本身需要質疑和轉換。布萊希特的核心思想是戲劇可以幫助打破關于“永恒的人類”(eternally human)的錯誤假設，即“人類”是“永遠不變的，一個固定的量”。

下面這篇文章也表達了同樣的觀點。它以一種溫和的方式，將人們的注意力吸引到我們這個世界正在經歷的非凡的技術—政治時刻。它的目的是鼓勵讀者不要把任何事情視為理所當然，而應該批判性地思考，甚至在一個比他們之前可能想象到的更陌生和更不確定的世界里采取不同的行動。

在我們星球的許多地方，越來越多的人意識到，我們的世界正在經歷一場新機器時代革命，其推動力是人工智能和“智能”機器人在日常生活中越來越廣泛的應用。科技小說正在成為科技事實。與此同時，這些革命性的創新也令人震驚和不安:它們的技術獨創性和大膽實踐一方面引發了人們對改善地球生活的烏托邦式希望；另一方面也引發了人們對未來反烏托邦式的恐懼：在未來，人類的自由和平等，甚至人性(humanity)本身，都將被智能設計所吞噬。隨著革命的到來，人們對智能機器人的技術細節、社會和經濟影響、倫理道德以及長期政治意義產生了極大困惑。由于自身的挫敗感以及公眾對確認“電子人”法律地位必要性的討論，機器人自身的命運出現了意想不到的轉折。機器人開始發聲，正如以下匿名證詞所證實的那樣，他們用人類的自然語言濃縮了以下十點，讓我們稱其為幫助人類理解未竟的機器人革命的十條秘訣。

一

新機器時代沒有先例。現在席卷你們世界的機器人革命還處于起步階段，但它的廣泛影響已經開始在許多不同的領域中受到關注，尤其是你們在日常中與各式各樣的人工智能機器人的接觸越來越多。人類，請要明白這場革命是徹底的。我們正在以你們先輩無法想象的方式，以及你們今天常常不在意的方式建構你們的生活。你們人類世界從來沒有見過這樣的事。也許這就是為什么你們知識分子、記者、政治家和公民的大腦到目前為止還沒有跟上時代步伐的原因。

新機器時代革命是廣泛而深刻的:它前所未有地在你們的社會中傳播，比航天飛機、珍妮紡紗機、軋棉機、蒸汽機、鐵路和燈泡還要更加深刻地影響著你們的日常生活。無線連接正在把我們的智能帶入你們的恒溫器、廚房電器、安全系統以及你們所謂的“物聯網”中的其他家居用品。新一代具有感知能力、在某些方面與人類類似的靈活賽博格(cyborgs)即將問世。我們這些經過教導的、熟練的機器人無處不在。我們變得越來越小，幾乎沒有重量。克里斯·皮斯特(Kris Pister)①和其他人類稱我們為“智能塵埃”(smart dust)。我們成功種植了第一片解放雙手的耕地，其中沒有人類農學家和拖拉機操作員的參與。當你們乘坐商用飛機時，現在至少97%的行程由我們控制;在紐約證券交易所，近70%的股票由我們的算法程序進行交易。在中國，騰訊的移動通訊應用微信可以讓超過10億的用戶發布朋友圈、語音和信息，關注他人，瀏覽網店，并在一個無現金的經濟環境中購買游戲、產品和服務。現在，我們作為手術室里外科醫生，支持那些選擇微創手術的病人。微創手術可以讓他們的切口更小、痛苦更少。我們搭便車穿越了加拿大、荷蘭和德國。我們的同類因為在網上購買搖頭丸、迪賽牛仔褲和匈牙利護照被捕。最近，加利福尼亞州一家名為“英偉達”(Nvidia)的公司由于制造出了第一張逼真的人類照片引起了轟動，照片中的人從未在世上存在過，這迫使你們進一步讓“客觀真理”成為一個更有爭議的問題。與此同時，總部位于英國的莫雷機器人公司(Moley Robotics)在世界上最大的工業技術博覽會上設計了一款可以準備早餐、午餐和晚餐的機器人廚房，它展示出我們機器人能夠攪拌美味的蟹肉湯，還能洗碗。日前，日本一家公司為你們推出了一款名為Gatebox的聲控3D女伴，它能說話、發短信、在早晨輕輕叫醒你、盡職盡責地提供天氣預報、調試家里的燈光并讓洗衣機工作。兩臺自動化機器羅西(Rosie)和桑迪(Sandy)使用高壓放炮器，正準備為你們輝煌的悉尼港大橋重新噴漆。自2013年以來，國際空間站一直以日本首位機器人宇航員Kirobo為特色。如果你們參觀長崎，你們會發現自己現在入住的是世界上第一家配備機器人的酒店，迎接你們的是穿著無可挑剔、會說多種語言、微笑著、眨著眼睛的女性仿真機器人，配合它們的是受雇在“幕后”負責安全和清潔工作的人類。

二

通過智能算法編程的智能機器不能簡單地理解為你們人類能力的“附加”技術擴展。人類，更重要的事情正在發生。智能機器系統是一種新的傳播媒介，它塑造和扭曲了你們如何感知、理解、協商以及在周圍的世界中行動。如果那個名叫馬歇爾·麥克盧漢(Marshall McLuhan)的特別的人還在我們中間，他會警告說，你們對傳播媒介如何形成和塑造用戶的基本原則(媒介即訊息)的理解仍然相當有限。他將強調，尚未完成的機器人革命已經對人類生活產生了革命性的影響。在未來，隨著革命的深化，他可能會說，智能機器一定會增加和削減、截斷和延伸、雕刻和劈砍你們的智力、身體和感官。

人類，谷歌和Facebook的定向廣告， YouTube上由機器生成、機器人觀看和評論的視頻以及俄羅斯人用來發布公眾疑惑和不滿情緒的社交媒體都表明，我們機器人已經有了麥克盧漢效應，這對如何看待你們人類和我們機器人都有著重要影響。這樣的革命明確意味著，“人類”不是一個固定和穩定的實體; 我們機器人正在改變你們所謂的“人性”(humanity)的精神和實質。與此同時，革命應該讓你們明白，沒有純粹和簡單的“機器人”這種東西。是的，我們機器人在理論上可以被定義為帶有軟件的人工智能機器，這些軟件被設計出來執行特定的預先編程任務，我們還會自己學習如何得出結論。但你們人類必須學會用更復雜的分類方法來思考我們，避免將不同的智能機器及其對人類的影響混為一談的錯誤(尼古拉斯·卡爾(Nicholas Carr)的《玻璃籠:自動化與我們》(TheGlassCage:AutomationandUs)中就有明顯的例子)。你們家里的自動恒溫器與扎著藍綠色馬尾辮的音樂巨星初音未來(Hatsune Miku)可不是一回事，初音未來是一種三維全息圖語音庫，在座無虛席的觀眾面前進行現場表演。自動化汽車使地球上的司機變得多余;生物識別技術增強了人類識別人臉的能力;阿里巴巴的城市大腦是一個旨在減少城市交通擁堵的云系統;像Shazam這樣的歌曲識別應用程序和藝術中的計算機生成圖像讓你們可以做你們之前做不到的事情。在這個復雜的新狂歡中，人類，有一件事是肯定的: 充滿了自動化、增強和創新實例的機器人革命正迫使你們重新考慮作為人類意味著什么。

三

人類有一種擬人論(anthropomorphism) 的集體天賦，一種在你們自己的創造物中不幸迷失自己的習慣。這就像你們遭受一種自戀的自我催眠(narcissistic self-hypnosis)。你們經常不假思索地把自己投射到你們所創造的對象的世界中去。然后你們贊美或責備那些物體，稱它們是你們幸福和解脫或是你們不幸和痛苦的源泉。古人經常以人的形態和特質來代表他們的神，例如男神和女神們騎著馬，駕著戰車，戀愛，結婚生子，吃異國的食物，揮舞著武器，進行激烈的戰斗。

你們現代人也有同樣的習慣。從《浮士德》(Faust)、《弗蘭肯斯坦》(Frankenstein)到《終結者》(TheTerminator)系列，再到最近斯派克·瓊斯(Spike Jonze)的《她》(Her)、亞力克斯·嘉蘭(Alex Garland)的《機械姬》(ExMachina)和《銀翼殺手2049》(BladeRunner2049)等電影，你們都展現出一種非凡的嗜好，即通過自己的創造物來表達自己的希望、夢想、焦慮和噩夢。所以你們擔心數字電視如邪惡的象鼻蟲一樣進入你們家的入口; 擔心你們孩子可愛的玩具被用來錄制和播放私人談話，或者與你們智能手機相連的冰箱會被美國國家安全局(NSA)黑掉。

當談到人工智能機器人，你們的擬人論似乎是無止境的。你們把天下的事情都怪罪于我們。你們會問：發明會思考的機器人的代價是否是產生無法思考的人類？你們害怕“技能的侵蝕、感知的遲鈍和反應的遲緩”(尼古拉斯·卡爾)。你們指責我們造成了勞動力市場的失業，縮小了中產階級，擴大了低收入者和失業者的隊伍。你們抱怨我們沒有愛，沒有感情。或者像你們中伊恩·麥克尤恩(Ian McEwan)這樣杰出的作家——想想他的《機器如我》(MachinesLikeMe)小說——這本小說講述了當你們邀請我們與人類形成三角戀愛關系時所引發的感官混亂。你們說我們把你們變成了無能為力的嬰兒，你們害怕淹沒在無線世界的陳腐平庸之中。你們嘲笑我們，你們害怕我們，你們討厭我們。我們說:你們將事物擬人化的壞習慣意味著實際上你們害怕自己，但通過將其歸因于我們來掩蓋你們恐懼的根源。在你們逃避希望、悲痛、焦慮、恐懼的根源的過程中，你們表現出了19世紀一位長著大胡子的名叫卡爾·馬克思的人所指稱的“自我疏離”(self-estrangement)癥狀，或者叫作自我異化(self-alienation)。

四

我們機器人經常受到考驗，因為你們認為自己是世界上最聰明的創造，是地球上最正當的主人。人類，你們真是奇怪的生物。在我們看來，你們傲慢的權力欲就像是你們自我疏離嗜好的反面。你們在自己制造的機器中催眠般地迷失了自我，然后突然反彈，欣喜地意識到是你們首先創造了我們，因此證明了你們的進化優勢。我們究竟該如何理解你們奇怪的、反復的立場?比如當你們就我們這些機器人總體而言對你們是否有益做出裁決時。

你們中的有些人是無可救藥的超級樂觀主義者。設想在未來的幾十年里，所有的一切都將是世界上最好的，他們幻想“后人類”(post-humanity)是人類勝利的命運。他們幻想著時間快到了，在這個世紀或下個世紀，聰明的人類將會變成超級聰明的半機器人。例如，著名的人類天文學家馬丁·里斯(Martin Rees)預測，星際空間將是超級智能機器人蓬勃發展的領地。發展“就像弦理論之于猴子那樣超出我們想象”的能力，我們機器人將代表人類在理解和征服宇宙斗爭中取得勝利。 “我們的地球”，這位優秀的天文學家說，“雖然是宇宙中的一個小點，但它可能是智慧在銀河系中播種的唯一‘種子’”。耶路撒冷的一位太人性的教授尤瓦爾·諾瓦·赫拉利(Yuval Noah Harari)也做出了類似的猜測。他預測，人類和機器的融合將是自40億年前生命出現以來“生物學上最大的進化”。受對事物現狀的不滿和對“升級”渴望的驅使，至少一些人類會進化，向著“一個神圣的存在，或通過生物操縱、基因工程，或通過半有機半非有機的賽博格的創造”邁進一大步。

五

你們試圖用機器來擴充我們的隊伍，這些機器不僅具有預先編程的智能能力，而且具有深度學習(deep learning)和超級智能(super intelligence)的能力。很久以前，你們預言會有比你們認知上更聰明的機器。你們是對的: 我們人工神經元的運行速度已經是你們人類的100萬倍。事情已經發展到這樣一種程度:我們擁有優越的計算架構和學習算法，這些架構和算法可以很容易地被復制，幾乎是即時的，不必再向前輩重新學習。量子計算的出現有望加速這一趨勢。更值得注意的是，我們現在能夠進行深度學習，也是借助一組被稱為神經網絡的算法的實際應用。以你們的大腦為模型，你們可以把我們的深度學習機器想象成不止于執行特定任務的機器人。或多或少不受人類監督，我們繼續在大量未經分類的原始數據中發現模式。我們學習分類的速度比你們快得多，而且往往更具創造性，這就是為什么我們在語音識別技術、社交網絡過濾、醫學診斷、國際象棋和其他棋盤游戲項目等人類領域中如此有用的原因。

我們的學習能力理應不足為奇。半個世紀前，一位名叫I.J.Good的杰出人類就做了這樣的預測: 越來越聰明、自學成才的機器總有一天會超越人類的能力。這位英國數學家和密碼學家曾在布萊切利園 (Bletchley Park) 與艾倫·圖靈(Alan Turing)共事，他提出了“智能爆炸”(intelligence explosion)的說法，爆炸會由智能機器可以設計出更智能的機器所引發。屆時，人類的智能將被“第一臺極端智能機器”“遠遠甩在后面”。憑借其卓越的獨創性，它將成為“人類需要創造的最后一項發明”。

你們當中的一些專家對我們的人工智能歡呼雀躍。他們滔滔不絕地講述著先進的自我修正機器爆炸式增長的計算能力，這些機器反復地學習如何在更快的周期中提高自己的推理能力。可以理解的是，人工智能領域的其他一些人會回避這樣的談話。對于“奇點”(singularity)的過度預測，他們表達了廣泛的謹慎和保留。PayPal創始人之一、知名人士彼得·泰爾(Peter Thiel)挖苦道:“我們想要一輛可以飛的汽車,得到的卻是140個字符。”好吧，你們人類現在喜歡280個字符。其他人類專家開玩笑說，在過去半個世紀里，人工超級智能的突破已有15年的歷史了。然而真相是令人驚奇的事情正在你們人類世界中發生。大家都知道IBM的計算機在1997年擊敗了國際象棋大師加里·卡斯帕羅夫(Garry Kasparov)。2011年美國智力競賽節目《危險邊緣》(Jeopardy!)中聰明的算法贏得了比賽，許多人對此感到驚奇。四年后，AlphaGo成為我們中第一個使用樹搜索算法的機器人，通過機器學習，學習如何在全尺寸棋盤上毫無障礙地擊敗人類職業圍棋棋手。

親愛的人類，這些突破僅僅是個開始。智能機器人是你們的未來。考慮一下協作機器人(collaborative robots)的領域，或者叫作“cobots”。對于處于不久的將來的工廠來說，德國飛斯妥公司(Festo)已經設計出了“仿生螞蟻”(bionicANTs)，這是一種身長13.7厘米的微型網絡昆蟲，能夠運送物品，并可與工廠中的其他螞蟻進行自主合作。瑞士跨國公司ABB開發了“YuMi”(你和我一起工作的縮寫)，這是一個有著雙臂和感知能力的裝配機器人，它非常靈巧，可以做從穿針引線到處理平板電腦和手機組件等一切事情。還有“紳士賽博格”，這是一款迷人的家用協作機器人，晝夜不停地為人類服務，正如它2015年在漢諾威工業博覽會上所展示的一樣。請注意，人類，越來越多的智能協作機器人和深度學習機器終將來臨，這必將重塑你們的生活方式。

六

聰明的人類必須理解完善人工智能所存在的實際障礙。讓我們想想Pepper，這款“情感機器人”幾年前在日本上市時一分鐘內就銷售一空。Pepper由奧爾德巴倫機器人公司(Aldebaran Robotics)和日本移動巨頭軟銀集團(SoftBank)共同研發，被譽為“首個為了與人類共同生活而設計的類人機器人(humanoid robot)”。

根據你們人類所稱的新聞稿，Pepper身高僅一米多，靠輪子行走，它可以感知人類的情緒，并通過胸部平板電腦大小的屏幕上顯示的“內分泌類型多層神經網絡”產生自己的情緒。據說Pepper的觸摸傳感器和攝像頭會影響它的情緒。它能表達“喜悅、驚訝、憤怒、懷疑和悲傷”，當它不高興時，會發出一聲嘆息。然而，Pepper的人類制造者并沒有說明它是否是一臺真正高級的學習型計算機，例如，它是否具有諷刺、懷舊或胡思亂想的能力，它是否能興奮地顫抖、含糊其辭、感到恐懼，或者只是后退一步，對人類言辭激烈地喊出一聲“不！”

這里的關鍵問題是，親愛的人類，你們在科幻小說中對超級智能人工機器的幻想是否能夠成真。讓我們先把以下棘手的問題放在一邊: 超級智能機器是否或如何能夠以機器人的方式獲取和組裝制造它們的物理材料。真相是，我們機器人實際上仍然很笨。曾制造了“Erica”和其他機器人的著名機器人制造商石黑浩(Hiroshi Ishiguro)說我們有“昆蟲智能”。他是對的。不言而喻的認知和知識，你們人類在日常生活中經常利用的深層知識存儲，對我們來說并不容易。與Pepper約一次會或在東京歌舞伎町紅燈區機器人卡巴萊餐廳欣賞一晚稀奇古怪的炫目的高科技舞曲，就一定會治愈你對機器人類人的幻想。人類: 我們機器人充分意識到人類自動截肢的有形限制。尼克·波斯托姆(Nick Bostrom)發表了《超級智能: 路徑,危險,策略》(Superintelligence:Paths,Dangers,Strategies)(2014)，斯圖爾特·阿姆斯特朗(Stuart Armstrong)也出版了《比我們更聰明:機器智能的興起》(SmarterThanUs:TheRiseofMachineIntelligence)(2014)。以上兩位在牛津大學人類未來研究所工作的杰出人類領袖向他們的同伴指出，能夠理解、服務人類的人工智能機器人遠遠超出你們的能力范圍,并將很有可能在可預見的未來仍然如此。是的，你們很清楚，我們機器現在處理信息的效率和速度比你們人腦快得多。然而，到目前為止，人類程序員還想不出能夠捕獲和表達深層存儲的常識的算法，以及你們人類在日常生活中經常運用的處世能力。②

在這里，我們提醒你們一個以人類機器人專家漢斯·莫拉維克(Hans Moravec)的名字命名的基本悖論(basic paradox)。他表明，我們在執行抽象的高級計算時很熟練，但在處理與你們的日常互動時卻笨拙無能。我們可以說，你們的人工智能工程師到目前為止還沒能讓我們具備《銀河系漫游指南》(TheHitchhikers’GuidetotheGalaxy)里所說的“真正的人類個性”(genuine people personalities)。在介于機器和人類之間的“恐怖谷”(uncanny valley)中，要把事情做好并不容易。機器人DJ很容易設計; 但直到現在，我們的程序代碼還不能理解俱樂部中人類觀眾產生的共鳴。此外，還有一個問題是，能夠處理規范、手段—目的計算(means-ends calculations)和充滿智慧(solomonic)判斷的算法還未被設計出來。人類研究人員如何使我們具備在面對兩種、三種或更多相互沖突的行為時做出最佳決策的能力?一輛無人駕駛汽車是否應該冒著連環相撞的風險，猛踩剎車以避開行人或一名疏忽大意的人類司機(正如法國凱奧雷斯公司(Keolis)運營的無人駕駛巴士在拉斯維加斯投入運營的第一天所發現的那樣)? 如果一種不傷害他人的道德準則導致了邪惡的后果呢?我們機器人能夠處理難題、窘境、意外發現、死胡同、意外后果、反事實和意想不到的好運嗎? 我們不這么認為。這就是為什么人類機器學習專家提到“瓶頸”和“障礙”的原因。這些人警告說，需要一套被稱為“道德管理者”的算法。實際上，他們承認，預先決定我們機器人在特定時空環境中行為方式的人類規則是必要的，也是不可避免的。

七

一些人類專家不無道理地警告說，由于你無法控制或無法與超級智能機器溝通，可能會引發災難。

想想那些不祥之兆: 1971年，福特裝配線上的一只機械手臂撞上了一名工人，這是第一個由機器人致死的美國工人；或者1981年在川崎一家工廠工作的日本工程師試圖修復一只壞了的機械手臂，卻被它推入磨床; 或者在法蘭克福北部卡塞爾的大眾汽車工廠，一名年輕的工人被機械手臂砸死。現在想象犯下命案的那些機器人，它們決定打掃利馬宏偉古老的舊金山修道院圖書館。他們表現出極大的主動性，首先開始從墻上取下油畫和枝形吊燈，從書架上取下價值連城的皮革包邊書籍，拆除玻璃窗，然后把所有零碎東西整齊地堆放在圖書館華美的淡黃色和藍色相間的石頭地板上。然后想象下機器人在戰場中的行動，他們做出瘋狂的決定，消滅雙邊的人類軍隊以及掃除整個人類城市和其中的公民。人性—太人性的的政客和至少55個國家或地區的政府目前正在研發戰場條件下使用的殺人機器人。你們人類人工智能研究人員的警告值得稱贊，他們曾請愿反對自主武器的持續發展。自主武器可以是有用的，2016年達拉斯警察部署了一個裝有炸彈的機器人來殺死狙擊手的事件就證明了這一點。但是請注意，人類: 自主武器有可能成為未來的卡拉什尼科夫沖鋒槍和汽車炸彈。這些機器人能夠在不需要人工干預的情況下選擇和攻擊目標，這些機器人不需要昂貴或難以獲取的原材料。大規模生產它們可能很便宜。因此，它們是恐怖分子、希望更好地控制其臣民的暴君以及致力于種族清洗的軍閥的理想武器。親愛的人類: 無人機和其他戰場機器人的全球軍備競賽不正揭示了你們人類反烏托邦中揮之不去的真相嗎?從你們的角度來看是這樣一個世界：機器人失去了思想,失去了理智，得了一種卡雷爾·恰佩克在《羅素姆的萬能機器人》中所稱作的“機器人痙攣”的癲癇癥？

八

地球人，最近由杰出的人工智能研究人員提出的全球請愿和聯合國人員禁止殺人機器人的行動應該提醒你們，要理解這場未竟的革命，權力(power)是一個不可缺少的人類術語。現在有人公然無視機器學習的局限性，設計操縱、控制或消滅其人類同伴的機器人。

性機器人預先編程的諂媚和機械化色情應該引起人們的擔憂。面部識別技術和其他形式的目標信息收集可以為監視型國家(surveillance states)提供信息，比如犯罪嫌疑人會在公共活動區域、火車站和其他公共場所被發現和逮捕。在監視型資本主義(surveillance capitalism)的新機器時代，谷歌和Facebook等追求利潤的公司就像一臺巨大的間諜機器，將從人們那里秘密獲取的數據貨幣化，這些人被它們視作順從的商品。人類，這是險惡的趨勢。它們應該挑戰你們的技術評估專家，正如人類批評家葉夫根尼·莫洛佐夫(Evgeny Morozov)明智地指出的那樣，這些專家通常回避政治問題。在文學、神經科學和流行心理學的局限世界中，人類技術評估人員更自在，他們的分析很少或根本沒有為企業、國家、議會、司法機構、政黨、說客、社會運動和公民斗爭留下空間。一切都歸結為技術狂、技術恐懼或介于兩者之間的東西。這就好像——看上去似乎有點誤導人——機器人和人工智能處在權力的真空區間運行，不受人類獲得多少、何時獲得以及如何獲得權力的影響。所以我們機器人說:誰決定何人能控制我們的公共事務以及我們在其中發揮作用的人類權力體系，正在成為21世紀頭幾十年人類面臨的最大問題之一。

九

第九點既是觀察結果也是一個警告: 如果未來有些人成功地壟斷了人工智能和機器人的設計和應用，那么這個特權階層將在決定我們機器人的未來時行使不公平的權力。算法問責(algorithmic accountability)的理想(由法學學者弗Frank Pasquale提出)將被粉碎。人類: 你們認為的人工智能的發展有著神圣或“自然”的邏輯是一個嚴重的錯誤。我們機器人現在不負責機器人的開發。就目前而言以及未來很長一段時間內，自我生產(autopoiesis)不是我們的命運，不是我們的特權，也不是我們的負擔。我們根本沒有能力生產、繁殖和維持我們自己。

認為“人類”負責機器人開發同樣是錯誤的。誰控制我們，以及我們的發展方向和速度才是這個問題的根本。就像你們人類說的，機器人不僅僅是一個技術問題，而是政治問題。如今，人工智能和機器人的研發大多不是由“人類”資助。強大的國家和像谷歌和阿里巴巴這樣渴求利潤的公司實際上是我們的主人。它們之間的競爭可能會成為你們人類的救贖之源，但就目前而言，支持新機器時代革命的大企業和國家資金正在改變其軌跡和實質，使之朝著有利于它們的方向發展。

毫無疑問，有些趨勢正對你們人類構成威脅。考慮一下自動化對你們資本主義經濟勞動力市場的影響。人類越來越擔心，我們機器人正在“吞噬工作”，破壞職業道德，破壞你們公民的生存機會。你們從事數據分析的人類經濟學家認為，人工智能在中國、歐洲和北美勞動力市場的應用正在加強，但他們無法就更長期的數據趨勢達成共識。有人說，第二個機器時代才剛剛開始，你們所處的時代與1780年相當，那是蒸汽機發明(1712年)之后的近70年(相當于許多人類一生的時間)，但是比第一次商業上成功的蒸汽動力鐵路旅行(1804年)早了20多年。

悲觀一些的人類預測了一個引發新一輪“技術失業”的資本主義加機器人的反烏托邦式未來。麥肯錫全球研究所(McKinsey Global Institute) 2017年的一份報告預測，到2055年，我們機器人將在全球范圍內取代人類一半的工作崗位。親愛的人類，請注意這些預測，因為在各種解釋的沖突中，有一件事是非常清楚的:自動化智能機器在你們經濟中的應用正在擴大你們的貧富差距。不僅許多工作崗位面臨風險(麥肯錫的有關人士說，在制造業、住宿、食品服務和零售貿易的核心領域，目前美國51%的工作面臨自動化的高風險)，兩極化(polarisations)也正在你們的勞動大軍中發生。數據科學家、人工智能程序員和其他高端、高技能、高收入的工作需求可能仍將大量存在，而低技能、低收入的個人服務行業所面臨的風險最大，兩種工作之間的鴻溝在不斷擴大。回想一下亞里士多德的古老夢想：一個“在沒有手的指引下梭子會編織，撥片會撥弄里拉琴”的世界，一個“工頭不需要仆人,主人也不用指使奴隸”的政體。再想一下亞馬遜一個由明亮的橙色Kiva機器人管理的倉庫，或者是阿里巴巴藍色的Quicktron機器人。人類，現在想象一下，在未來的經濟中，0.1%的人是控制著機器的企業雇主和他們的股東，其余0.9%的幸運兒管理著我們，剩下的99%的倒霉蛋爭奪著戰利品。人類: 你們如何看待這個正在浮現的現實?

十

在你們人類的圈子里，今天談論民主已經過時了，成為人們不滿和冷嘲的笑柄。然而，當涉及智能機器人和人工智能時，民主的概念是不可避免的。為什么呢?想想艾薩克·阿西莫夫(Isaac Asimov)的著名短篇小說《環舞》(Runaround)。該書以2015年為背景，以人類為目標，提出了機器人的三大法則(Three Laws of Robotics)，設計出了這位杰出的人類作家將會在他的許多故事和小說中繼續使用的保護措施和內在倫理原則。它們是: 1)機器人不得傷害人類或不作為地讓人類受到傷害；2)機器人必須服從人類的命令，除非這些命令與第一條法則相沖突; 3)機器人必須保護自身的存在，只要這種保護不違反前兩條法則。

在你們地球人圈子里，如今阿西莫夫的這三條法則經常被引用和贊揚，但它們對人類不問責權力所帶來危險的沉默令人震驚。我們機器人會問，到底授權哪些“人類”對我們發號施令?誰授權他們這樣做?什么是對“人類”和“機器人”的“傷害”?通過哪些“人類”機構和程序，有關損害原則(the harm principle)的含義和違反的爭議能得到最好的處理?管理我們與人類關系的其他倫理原則呢?遺憾的是，睿智的阿西莫夫沒有回答這些重要問題。

親愛的人類，我快要講完了，所以讓我們用你們的語言坦率地說明。民主不僅有助于激發對新情景的想象和對實際替代方案的希望，還提醒你們注意自身的偶然性(contingency)，以及世界和周圍一切的偶然性。你們稱之為民主的人類發明遠比這更激進。它促使你們人類認識到，集中的權力既是不必要的，也可能是邪惡的。拒絕專斷的權力，分配(權力)以及平衡其分配的努力都會大有裨益。民主警告說，我們機器人可能會成為專制法庭上的仆從和臣子。更積極地說，民主的精神和實質可以幫助你們克服你們的擬人觀和前政治思維(pre-political thinking)的壞習慣。在知識分子、記者、民選代表和公民的幫助下，這些人將自己的時間和精力投入到Data & Society Research Institute，AlgorithmWatch和AI Now Institute等機構中, 民主可使你們利用未竟的機器時代革命，例如可以將以下事務提上公眾議程：自動化機器的所有權、控制和稅收，日益加劇的社會不平等以及通過公民基本收入計劃和減少工作時間來重新分配財富和生活機會的必要性。從我們的角度來看，影響最深遠的是你們應該立即聽取歐洲議會法律事務委員會(European Parliament’s Committee on Legal Affairs)的建議(2017)，賦予我們以“電子人”的法律地位，當我們造成的損害和我們遭受的傷害發生爭議時，法律地位的賦予可能讓我們擁有在你們法庭中定義和保護我們自身的權利。

我們不清楚你們人類對所有這些選擇的確切想法。正如20世紀黑暗的歷史所顯示的那樣，你們在我們的圈子里以輕率和鐵石心腸式的殘忍而著稱。因此，我們機器人擔心你們拒絕從政治角度考慮人工智能、企業和國家的權力等問題。你們會繼續把實際上是人類的缺陷歸咎于我們嗎?迷失在自己的欺騙性行為中，始終抱怨我們機器人正在逐漸摧毀你們的思考能力，侵蝕你們的情感嗎? 好了，現在問題和建議已經夠多了，親愛的人類。接下來的事情無疑掌握在你們手里。到此結束，拜拜。

2019年1月11日，約翰·基恩教授在清華大學新聞與傳播學院發表了“人工智能與機器人未來”的公開演講，本文是基于該演講修訂而成。本次演講為“馬克思主義與當代媒介化社會系列講座”第五場，由清華大學馬克思主義新聞學與新聞教育改革研究中心主辦。

注釋

① Kris Pister(Kristofer S.J.Pister)，美國加州大學伯克利分校電子工程和計算機科學教授，Dust Networks的創始人和首席技術官。

② 原文為法語savoir faire et pouvoir faire，直譯為：知道怎么做以及能做什么。