人工智能的未來:“慈愛的機器”還是“交際的工具”

沃爾夫岡·霍夫基希納　鄔天啟

編者按：

2020年9月12日至13日，西安交通大學人文與社會科學研究院、西安交通大學哲學與文化研究所、西安交通大學國際信息哲學研究中心、西安交通大學信息哲學與智能社會基礎理論研究基地和國際信息研究學會中國分會（IS4SI-CC）聯合舉辦了“信息哲學與智能社會發展”高層論壇，旨在探討國內外信息哲學與智能科技、智能經濟和智能社會的發展現狀和未來預期。

本次論壇共有16位國內外著名學者做了主旨報告。在此，我們組織選譯了國外4位著名學者的報告，以專題形式發表，供大家討論，以期能推動該領域研究的進展。

摘要：人們對于人工智能的未來有很多設想，其中有兩種設想很具有代表性。所謂“慈愛的機器”是一種技術烏托邦式的未來幻想，一種仁慈的技術統治維護著全面的和諧。人工智能作為一種“交際的工具”，對未來的想象也勾勒出了一個平衡的社會，但它顛倒了（前一種設想）影響的順序：一個交際性的社會為交際行為塑造了相關的技術。但事實是，沒有任何一個程序能夠滿足為所有人都能夠接受的普遍規則。人類不需要擔心人工智能會變成一個邪惡的還是仁慈的東西，因為人工智能技術原則上不具備邪惡和仁慈的能力。但人工智能可以侵入人類的自主性，以致達到一種無法容忍的程度。

關鍵詞：信息科學;系統論;涌現;智慧社會 中圖分類號：TP18

文獻標識碼：A 文章編號：1673-8268（2022）04-0056-06

一、“慈愛的機器”與“交際的工具”

1967年，美國作家理查德·布勞提根在任職于加州理工學院時，出版了《一切都被慈愛的機器注視著》的詩集。在他的想象中：“在一個被控制的生態環境下……一個人類不用勞動的世界……一個回歸自然的狀態……回歸到我們的動物本性……每一個人類的兄弟姐妹……都時刻被慈愛的機器所注視著。”[1]這是一種技術烏托邦式的未來幻想，一種仁慈的技術統治維護著全面的和諧。

1973年，在嬉皮士運動和學生起義20世紀60年代末歐美國家學生運動。的余波下，奧地利出生的作家伊凡·伊里奇出版了《交際的工具》一書。他當時身兼教區神父、大學校長和自然科學、技術及社會科學領域教授（賓夕法尼亞州立大學），并且經常往返于墨西哥、美國和德國之間。在該書中他提出：“人類生活的多維平衡概念，可以作為評價人與其工具關系的框架。在這種平衡的每一個維度中，都有可能確定一種自然尺度。”[2]ⅹ“一旦認識到這些限制，就有可能明確人、工具和一個新的集體之間的三元關系。在這樣一個社會里，現代技術只是服務于政治上相互關聯的個人，而不能是管理者，我稱之為‘convivial（交際的）……我選擇交際作為一個技術術語，是用來定義一個負責任地、有限地使用工具的現代社會?！盵2]ⅹⅱ“交際”一詞源于拉丁語，旨在描述一種在日常宴會中主人和客人共同用餐、共同生活的有質量的相處方式，其意思并非“tipsy jollyness”（醉酒后的幽默），而類似于“eutrapelia （or graceful playfulness）”（交談中的愉悅或優雅的嬉鬧）——這里可以追溯到托馬斯·阿奎那所闡述的亞里士多德倫理學中的美德之一：“friendship or joyfulness”（友誼或快樂）[2]ⅹⅲ。這種對未來的想象也勾勒出了一個平衡的社會，但它顛倒了（前一種設想）影響的順序：一個交際性的社會為交際行為提供了相關的技術。

這兩種選擇都對文化和文明的未來發展持樂觀態度。這里要討論的問題是：在這兩種假想中，哪一種更傾向于描述未來社會中令人滿意的人工智能應用——慈愛的機器還是交際的工具？哪一個更現實，哪一個更理想？

德國文學和媒體研究專家羅伯特·西曼諾夫斯基支持第一種選擇。2018年，他出版了兩部文集，經過大幅擴展和修訂后，構成了2020年出版的德文著作——《死亡算法和其他數字難題》的前兩章。死亡算法是在即將發生事故的情況下引導自動駕駛汽車進入選擇目標的程序。西曼諾夫斯基嚴謹地展示了在根據功利主義、結果主義或義務論倫理的編程工具的基礎上無法解決的一些難點和悖論，因為沒有任何一個程序能夠滿足一個為所有人都能夠接受的普遍規則。

在這種情況下，西曼諾夫斯基引用了另一個例子——德國作家費迪南德·馮·施拉奇所創作的戲劇《恐怖》。在這出戲劇中，劇院中或坐在電視機前的觀眾需要對一個虛構的德國軍事少校進行審判，該少校為了拯救慕尼黑一運動場中7萬人的生命，在未經授權的情況下，擊落了一架被恐怖分子控制的載有164名乘客的民用飛機。大多數觀眾都投票贊成被告梅杰（Major虛擬主人公）少校應該被無罪釋放。從2015年10月到2020年1月，在2 472名現場觀眾中有63%投贊成票，2016年10月18日，在德國、奧地利和瑞士電視臺的電視觀眾中有87%投贊成票[3]19-20。但這違反了德意志聯邦共和國的憲法，該憲法禁止用一個傷亡數字抵消另一個傷亡數字。此外，在不同的文化環境中有不同的多數派，亞洲人的價值觀又有所不同。在同一時期，《恐怖》在中國大陸地區的21場演出中，有11場判梅杰少校有罪，在日本的23場演出中，有15場被判有罪，而在中國臺灣地區的8場演出中，則全部被判無罪[3]40。這種投票差異也適用于其他例子（如電車困境），這可能與個人主義和集體主義文化之間的差異有關[3]129[4]。

西曼諾夫斯基明白，全球自動駕駛汽車的出現與當前的道德狀況并不相容，它需要一個能夠普遍適用的解決方案，但是對于西曼諾夫斯基來說，這樣的解決方案必須不同于他所能考慮到的普遍倫理。因此，他認為人工智能（AI）是一種解決方案——不是弱人工智能，而是強人工智能。他認為，深度學習可能使強大的人工智能不僅能遵循人類智能的決定，還能獨立于人類智能所作出的決定。因此，強人工智能可能會作出人類智能在既得利益相互沖突之下無法作出的決定，強人工智能可能對特殊主義不感興趣，并能中立地監督人類履行它所作出的決定。通過這樣的機制——這是西曼諾夫斯基所希望的——強人工智能甚至能夠幫助到人類自身的生存。

然而，西曼諾夫斯基并不明白，強人工智能捍衛者的愿望并沒有得到證實，也不會得到實現，而什么是能夠實現的——不管這些愿望是什么——只會危及我們人類在地球上的進一步發展。為什么呢？這不是因為人類需要擔心人工智能會變成一個邪惡的而不是仁慈的東西，而是因為人工智能技術原則上不具備邪惡和仁慈的能力。人工智能可以侵入人類的自主性，以致達到一種無法容忍的程度。

二、人與自主智能系統的關系

在工業化過程中，工具得到了改進，從而會生產出不再依賴于風、水或動物能量的、介于工作對象和工作者之間的機器。在信息化的過程中，機器被電腦化，機器人與工作者之間產生的差距更大了，因為它們被賦予人類思維的某些功能。正如卡爾·馬克思所預見的那樣，自動化可以導致一種“我們不需要勞動”的社會狀態，但自動化不一定會帶來自主性。自主性是一種從人類和社會領域借鑒來的術語，并強加于機器，就好像機器也和人一樣。

用工程師的話說，機器人的自主性意味著機器人也能做出決定。如果這是真的，則意味著人類的思維功能將被機器人接管，而人類的某些思維功能將會被剝奪：要么是機器人做出決定，要么是人類做出決定。但按照這樣的邏輯，事實情況便不同了：沒有機器人能夠真正做出決定。

決定是一種判決，是對理由進行深思熟慮的結果，而這些理由并不妨礙判決。判決是一種基于必要前提的行為，但它并不像從前提中得出結論那樣是從邏輯上推導而來的。還有更多的判斷屬于涌現行為。涌現是指與它所涌現出來的事物相比，涌現出的事物具有另一種（一種新的）品質。沒有機器、自動機或所謂的自主技術系統能夠產生涌現，因為所有潛在的信息過程最終都是確定性機制。所以，工程師們在機器的狀態下所聲稱的決策，實際上是機械確定性的產物，而不是類似于自我思考的產物。此外，考慮到現代機器的復雜性，它們運算的產物（過程、邏輯和結果）已經變得不可預測，甚至是無法解釋（可追溯）的，因此被工程師錯誤地稱為涌現，盡管算法過程的每一步都遵循一個確定的規則。

這就是為什么西曼諾夫斯基對強人工智能拯救人類的信念注定要落空的原因。所謂強人工智能的決策將是隨機且不恰當的。人工智能無法處理個人自身的問題，它不能作為施控者，而更像個受控者[5];它不是一個自組織的系統，而是異性組織和外部組織的系統。IEEE自主與智能系統（A/IS）倫理全球倡議發布了一份關于倫理一致設計的全面文件，參考了卡普羅和霍夫基希納（作者本人）兩篇論文的意見[5]。文件中提道：“在理解人與自主智能系統之間的關系時，特別值得關注的是對自主智能系統不加批判地采用擬人化的方法，許多行業和政策制定者現在都在使用這種方法。這種方法錯誤地模糊了道德施控者和道德受控者之間的區別，或者理解為‘自然的自組織系統和人工的非自組織設備之間的區別。如上所述，從定義上看，自主智能系統不能像人類或生物一樣自主。也就是說，當嚴格定義時，機器的自主指的是機器如何通過對由法律和規則產生的執行秩序的考慮，在特定的環境中獨立地行動和操作。從這個意義上說，自主智能系統可以被定義為自主的，特別是在遺傳算法和進化策略的情況下。然而，試圖在自主智能系統中植入真正的道德和情感，從而承擔責任，自主便會模糊施控者和受控者之間的區別，并可能鼓勵人類在設計自主智能系統和與自主智能系統互動時對機器的擬人化期望?！盵6]因為人工智能無論是弱還是強，都不會涌現信息，它不能以一種仁慈的方式行事，無法完全復制人類本身，且與人類當下處理的問題完全脫離。

總之，人工智能不可能是西曼諾夫斯基所尋找的普遍解決方案，因為它不能徹底統一多樣性，而多樣性正是作為嘗試解決進化過程中的內在問題而出現的一個元層次。這里共出現了三個層次，元層次作為第三個層次，代表了個體劃分和嵌套之間的利益沖突，超越了其下代表個體的第二層次與代表個體中各部分的第一層次。只有這樣一個“第三層次”的出現，才會是一個普遍的（雖然不是絕對的）解決方案。第三層次是技術本身所無法預料的。正是因為這個原因，人工智能的規則將退化為技術官僚獨裁的規則，其中一個武斷的情況被另一個武斷的情況所取代——機器的自動化將導致人類的去自主化。

三、人工智能決策與自我限制

在奧地利哲學家君特·安德斯看來，這是繼哥白尼、達爾文和弗洛伊德之后的又一個“普羅米修斯的恥辱”，是對人類自我意識的第四次打擊。安德斯在1956年發表的文集《關于普羅米修斯的恥辱》中首次描寫了一個歷史上的事例[7]29-95，美國將軍道格拉斯·麥克阿瑟聲稱：“在應對朝鮮戰爭開始時所提出的措施可能會引發第三次世界大戰?！欢?，美國關于是否應該冒這樣一個風險而做出決定的責任被轉移了……轉移了美國的決定權……把決定權移交給了機器”，“交給了一個‘電子大腦”[7]58。“電子大腦”最終選擇了反對麥克阿瑟的決定，但安德斯強調的事實是：“如果真的做出了這一決定，那么做出這一決定的過程同時也是人類給自己造成的最具有劃時代意義的失敗。因為人類從來沒有把自己貶低到這樣的程度，以至于把關于人類歷史進程的決定，甚至是關于這個歷史進程是否可能會存在的決定權交給一件非人的東西。”[7]60-61安德斯稱這種發展為“所有可能的非人化的極致”[7]44、“傲慢的自暴自棄”和“狂妄的謙卑”[7]49，傲慢是因為人類相信自己有能力建造超人的機器，恥辱是因為為了成為主人，人類必須把自己變成奴隸。

“慈愛的機器”這一表面上和諧的圖景不僅遭到了破壞，而且與第二種說法——“交際的工具”形成了鮮明對比。正因為強人工智能永遠不會拋棄其反復鼓吹的認知能力，反而會限制人類的自主性，所以人工智能需要被設計得有意義且謹慎，并且需要負責任地加以限制。伊里奇所著《交際的工具》一書的德文名稱正是“Selbstbegrenzung”，意思就是“自我限制”。

現在自我限制已經無可反駁地被置于人類議程的首位。地質學家曾提出過一個術語：“人類世”（Anthropocene），來描述我們現在所處的時代。而正如普雷希特所說，我們現在所處的時代更像是一個“貨幣世”（Monetocene）或者是一個“資本世”（Capitalocene）。物理學家哈拉爾德·萊施也說：“實現利潤的利益已經成為了改變我們星球的驅動力，而它卻使我們的星球變得更糟。但現在最基本的問題是人類是否能夠被拯救?！盵8]普雷西特還認為：“要么資本主義將被戰勝，要么現代人將自我毀滅?！?/p>

自我限制意義上的交際性是社會系統涌現性的特征，可以確定為公共的歷史——具體形態的社會關系，即這種關系能夠幫助并限制社會行動者通過聯合產能共同貢獻社會利益，并當消費這種利益時，通過聯合產能的努力成為共同的受益者。這種利益是公共利益，作為一種關系利益，它是屬于公共的。這是第三層面的探求，從共同行動、互動和行動者的行動中涌現。這種第三層面將行動者相互聯系在了一起，讓他們同時承擔第二層面（改變）和第一層面（自我）的角色。交際性表達了在社會系統下作為公共品對于任何參與者的開放程度，行動者越是限制自私，公共利益就越開放，也包括對他們自己開放。交際性是一個需要實現的愿景，它將“通過公開那些被封閉的公共利益，使社會系統更具有包容性，通過這樣做……讓民眾幸福地生活在一個良好的社會，蓬勃和幸福的個人生活在交際性的社會關系之中”[9]。

四、人類進化、人工智能與智慧社會

盡管數學或生物學等學科已經證明了現代人可能成為一個優秀的超級合作者的種族，但現代人肯定需要進一步的實質性發展：為公共利益而進行的合作仍然是碎片化的。從人類到現代社會的進化史來看，展現出了兩個決定性的步驟。第一步，我們的祖先從動物單元體進入社會二元體。在共同覓食的背景下，這些祖先采用了“更復雜的社會合作模式”，這保證了公共商品屬于所有行動者。第二步，他們開始了一種齒輪效應，產生了更高層次的復雜合作，直到社會因素在進化中超過了生物因素，社會三元體補充了社會二元體。三元社會建立了第三層面——共同的文化、集體的意向性和客觀的道德，從那時起，所有這些都是“個人與他人關于公共利益的關系，即公共利益的具體內容成為了爭議和沖突的問題”[10-11]。公共合作模式有兩種類型：部落主義與專獨主義。

部落主義是在人類社會進化的黎明階段時所出現的原始變種，形成了相當于集體主義中的“我們”，傳統以神話作為基礎，社會生活的手段和目的就不會受到質疑。另一種變種起源于部落社會的“我們”轉變為他律社會[12]23-91：行動者成為以自我為中心的人，他們變得目光短淺，并沒有考慮到自己的行為會對社會系統其他部分產生有害影響，社會系統的結構一直將競爭優先于社會的更高層次，而合作則停留于較低的層次;私有被認為是最高的利益;手段和目的是脫鉤的，手段是明智的、靈活的，而最終目的仍然是既定的。這個相當個人主義的階段一直持續到今天，它應該被稱為“專獨主義”。詞源學顯示，在古希臘，“Idios”的意思是“個人的領域，私人的，一個人自己的”[13]。在尼爾·柯蒂斯看來，“Idios”也帶有“被封閉”的印記。他表達了通過圈取公共或共同擁有的資源來創造私有，在歷史上一直是獲得私有財產的主要手段的想法[13]，所以，用專獨這個詞來表示一個人只關心個人領域，而不關心公共事務。如今，新自由主義把專獨主義帶到了極端的地步，交際性越來越受到這種排他的共性的挑戰。

然而，“人類社會發展的第三步是可以假設的。可能會有一個從集體意向到普遍共享的轉變，也就是說，在全球范圍內。這將是向另一個交際性的社會制度的過渡——將三個步驟合一并延伸到整個人類”[10]。這一步不僅完成了人類社會發展的前兩個步驟，而且還升華了“部落主義”和“專獨主義”。它可以整合個人而不需要強迫他們包容。作為全球的公民，他們將有能力從整個社會制度的角度體現出自己和他人的地位。沒有任何片面的意識形態或神話能夠掩蓋基于現實的、科學且實際的對不同社會發展道路的評估。不僅手段是可變的，而且目的也不再是常量。除非達成共同的一致，否則任何一項決策都不應生效[12]84-85。

人工智能是一種技術，是達到某些目的的一種特殊手段。與任何技術一樣——即方法、程序、機制，人工智能的設計也是為了實現社會功能的協調。由于功能化被作為一種達到目的的手段，所以在技術設計時，它需要承擔兩個方面的責任。首先，對設計的功能性負責：機制是否有效、高效地實現了技術設計的最終目的，即它是否具有功能性？這個問題的關鍵是事實。其次，也要對設計的意義和社會效用負責：最后做出的機制設計必須是有意義的，也就是說，它是否會促進社會價值進步，是否值得推廣，是否符合社會規范，是否與社會規范價值一致，這些都屬于道德問題。技術的功能和意義都需要負責任地反映出來。在這個全球性挑戰的時代，這一反映意味著任何技術都應支持社會向全球可持續信息社會轉型，遵循美好社會的愿景，讓人們過上美好的生活，建設共同的利益[10]。根據這一觀點，人工智能必須是一種支持人類智能的技術，專注于確保社會進化，免于自我造成的崩潰?？傮w目標必須由人類決策制定，人工智能可以幫助找尋實施方法、監測目標的實現，并為測量適應性提供理由。因此，人工智能與任何嵌入社交的技術一樣，都是技術社會系統的一部分?！凹热蝗斯ぶ悄苁且环N承擔行動者智能行為的工具，就不應該給它限制行動者自主性的空間。”[14]正如鄔焜所說：“人類應該理性地選擇自己進化的方式?！盵15]

智能反映了手段與目的的關系，特別是反映了手段的功能。然而，為了能夠捕捉到目的的意義，僅有狹義上的人類智能是不夠的。全球問題是人為的，需要人類給出解決的辦法，而要做到這一點，就需要智慧。因此，社會不僅需要成為一個智能社會，還需要成為一個“智慧社會”，這是西班牙社會學家曼紐爾·卡斯特和其他學者在1997年與歐洲委員會高級別專家組就“人人享有歐洲信息社會”的專題合作時提出的一個術語[16]。他們將智慧定義為“從生活經驗、自然科學、倫理和哲學中‘提煉出來的知識”。雖然新的信息通信技術為經濟注入了活力，但“這些新技術對知識的產生或獲取并沒有產生根本的影響，更不用說對智慧的影響了”。當然，人們希望社會越來越向“智慧社會”轉變，科學支持的數據、信息和知識將越來越多地被用來作出明智的決定，以提高人們的生活質量。這種智慧將有助于形成一個可持續發展的社會，考慮到其所有成員的福祉，如同重視物質和經濟方面一樣，重視生活的社會和文化方面。我們希望，新興的信息社會將以這樣一種方式發展，以推進這種智慧愿景的實現。

到目前為止，這些希望還沒有實現，而人工智能似乎也遇到了類似的情況。

正如朱利安和娜塔莉在《數字人文主義》一文中所預期的那樣，一種新的“數字人文主義”可以為人性化的數字化提供新的動力。數字人文主義可以限制人工智能成為一種交際的工具，機器監視人類的幻想則可以歸結為反人道主義。人文主義指的是在交際性的人工智能幫助下達到人類生存和繁榮的目的。

參考文獻：

[1]MADRIGAL A C. Weekend Poem： All Watched Over by Machines of Loving Grace[EB/OL].[2020-08-11].https：//www.theatlantic.com/technology/archive/2011/09/weekend-poem-all-watched-over-by-machines-of-loving-grace/245251/.

[2]ILLICH I. Tools for Conviviality[M]. London： Marion Boyars，1973.

[3]SIMANOWSKI R. Todesalgorithmus： Das Dilemma der künstlichen Intelligenz[M]. Vienna： Passagen Verlag，2020.

[4]AHLENIUS H， TNNSJ T. Chinese and Westerners Respond Differently to the Trolly Dilemmas[J]. Journal of Cognition and Culture，2012（3/4）：195-201.

[5]CAPURRO R. Toward a Comparative Theory of Agents[J]. AI & Society，2012（4）：479-488.

[6]IEEE. The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems[EB/OL]. [2022-01-01].https：//standards.ieee.org/content/ieee-standards/en/industry-connections/ec/autonomous-systems.html.

[7]ANDERS G. On Promethean Shame[M]//MLLER C J. Prometheanism：Technology，Digital Culture and Human Obsolescence.London：Rowman and Littlefield，2016.

[8]LESCH H. The Capitalocene[EB/OL]. [2020-08-20]. https：//www.youtube.com/watch？v=6wLlWWp8Vcg.

[9]HOFKIRCHNER W. Creating Common Good： The Global Sustainable Information Society as the Good Society[M]//ARCHER M S. Morphogenesis and Human Flourishing. Dordrecht： Springer，2017：277-296.

[10]HOFKIRCHNER W. A Paradigm Shift for the Great Bifurcation[J]. Bio Systems，2020，197（Nov）.

[11]ILLICH I. Tools for Conviviality[M]. London： Marion Boyars，1973：5.

[12]HOFKIRCHNER W. The Commons from a Critical Social Systems Perspective[J]. Recerca： Revista de Pensament i Anàlisi，2014（Apr）.

[13]CURTIS N. Countering Idiotism 2.0： “Relational Imaginaries” and Common Futures[J].New Zealand Sociology，2020（2）：165-181.

[14]HOFKIRCHNER W. Intelligence， Artificial Intelligence and Wisdom in the Global Sustainable Information Society[C/OL]. Proceedings of The Fourth International Conference on Philosophy of Information.[2020-05-14]. https：//doi.org/10.3390/proceedings2020047039.

[15]WU K， DA K. The Impact of Intelligent Society on Human Essence and the New Evolution of Humans[C/OL]//Proceedings of The Fourth International Conference on Philosophy of Information， 2022[2020-05-15].https：//doi.org/10.3390/proceedings2020047044.

[16]European Commission， Directorate-General for Employment， Industrial Relations and Social Affairs. Building the European Information Society for Us All： Final Policy Report of the High-level Expert Group [M]. Luxembourg： Office for Official Publications of the European Communities，1997：16.

The Future of Artificial Intelligence： “Machines of Loving Grace” or “Tools for Conviviality”？

Wolfgang Hofkirchner WU Tianqi

（1. The Institute for a Global Sustainable Information Society（GSIS）， Vienna 151220， Austria;

（2. School of Humanities and Social Sciences， Xian Jiaotong University， Xian 710049， China）

Abstract：

There are many scenarios for the future of artificial intelligence， and two are typical.“Machines of loving grace” is a technotopian future imaginary of a benevolent technocracy safeguarding an all-out harmony. Artificial intelligence as a kind of “Tools for conviviality”， that imaginary of the future sketches a balanced society too， but it reverses the order of influence： a convivial society shapes technology for conviviality. But the truth is no programme will satisfy a universal rule acceptable for all humans. Humanity would not need to fear that AI would become a malevolent being or a benevolent one， in principle， AI is incapable of malevolence and benevolence. But AI can intrude into the autonomy of humans to an intolerable degree.

Keywords：

information science; system theory; emerging;? wisdom society

（編輯：劉仲秋）