自殺的機(jī)器人

波琳娜·葉廖緬科

機(jī)器人時代不再是未來，現(xiàn)在機(jī)器人已經(jīng)走進(jìn)了住宅、生產(chǎn)加工廠、我們的日常生活和家庭，甚至還有床上和戰(zhàn)場上。一個戰(zhàn)斗機(jī)器人在殺死一個人類時在想什么？機(jī)器人殺手應(yīng)該具有哪些情感體驗(yàn)？性機(jī)器人有權(quán)拒絕性行為嗎？我們應(yīng)該賦予機(jī)器人意識嗎？本刊特約記者與國際相關(guān)領(lǐng)域知名專家對這類問題進(jìn)行了討論。

澳大利亞警方曾報道一起離奇的機(jī)器人自殺事件，這很可能就是世界上第一起記錄在案的機(jī)器人自殺事件。事件主角是iRobot公司生產(chǎn)的一臺智能掃地機(jī)器人，據(jù)說這臺掃地機(jī)器人在主人出門后，因感覺不斷的清潔工作實(shí)在太勞累，便選擇了跑到廚房的電爐上自焚。消防隊(duì)員趕到現(xiàn)場，對整棟大樓進(jìn)行疏散，機(jī)器人自殺的那層樓更是濃煙滾滾。

據(jù)負(fù)責(zé)處理該事故的消防員赫爾穆特·納塞爾說，這家的男主人當(dāng)天讓智能掃地機(jī)器人清理案板上的殘留食物，機(jī)器人完成清理工作后，他就關(guān)閉了機(jī)器人的電源開關(guān)，并將機(jī)器人放到了廚房一側(cè)的廚柜上。然后他就和妻兒一起出門了，機(jī)器人獨(dú)自留在家里。

該事件發(fā)生后，有人猜測很可能是因?yàn)槟兄魅嗽谥甘箼C(jī)器人干活時的態(tài)度不太好，或是這家房子的清理工作太過繁重。在主人全家走后，機(jī)器人就自動啟動，靠近電爐，并將放在電爐上的鍋挪開，最后自己再蹲坐在電爐上。

位于電爐上的機(jī)器人很快就開始融化，它沒發(fā)出一點(diǎn)“痛苦的喊叫”聲，融化了的“尸體”粘在電爐上，從而引起了火災(zāi)。消防員趕到時，已經(jīng)只剩下一片灰燼。安全處理工作近花了消防員大搞一個鐘頭的時間，但是因?yàn)闊熝鹿剩@家人暫時也沒法住進(jìn)著過火的公寓了。

這家男主人堅(jiān)稱，他在出門前肯定把這臺機(jī)器人關(guān)閉了，所以機(jī)器人的自動啟動和神秘自焚事件就成了一宗懸案。他說：“生產(chǎn)這種機(jī)器人的企業(yè)出售的是危險產(chǎn)品，我要起訴，向他們索要賠償，是他們毀了我的家。我們在‘追悼這臺機(jī)器人的時候，也應(yīng)該奉勸其他同類清潔機(jī)器人，沒有什么大不了的，想開點(diǎn)。”

美國紐約倫斯勒理工學(xué)院認(rèn)知研究部主任塞爾默·布林斯特

10年前，我們開始對機(jī)器人倫理道德問題進(jìn)行研究。當(dāng)時很多人認(rèn)為我們是一群奇異的家伙，甚至有人以為我們瘋了。但令人驚奇的是這10年人們的觀念發(fā)生了翻天覆地的變化：現(xiàn)在不再有人認(rèn)為我們是在做瘋狂的事。目前，我正在進(jìn)行一項(xiàng)研究：從倫理角度出發(fā)，應(yīng)該允許機(jī)器人自殺嗎？我們對機(jī)器人進(jìn)行的研究，是一種心理治療和精神分析。對機(jī)器人倫理道德的深入研究，就是人類對自己精神世界的剖析。

在我的實(shí)驗(yàn)室里，有一系列像科幻小說中描述的那樣的類人動物，我用它們做試驗(yàn)。現(xiàn)在，我想弄清楚導(dǎo)致我的機(jī)器人可能會自殺的原因。我的疑問是：機(jī)器人是否會像人類一樣，因感到生命無意義或患上抑郁癥，想要結(jié)束自己的生命。此外我們還面臨一個問題：人類是否應(yīng)該允許機(jī)器人自殺？

或許你會問：機(jī)器人怎么會沮喪？的確，機(jī)器人本身沒有內(nèi)心世界，也無法體驗(yàn)情感，因?yàn)樗鼈儧]有思維意識。但我們即將設(shè)計出的智能機(jī)器人，會表現(xiàn)出35種不同的情感狀態(tài)。但計算程序也有出差錯的時候，如果智能系統(tǒng)崩潰了，機(jī)器人也會患上“抑郁癥”。

機(jī)器人的情感體驗(yàn)沒有辦法像人類一樣豐富、自由。例如，機(jī)器人可以抽一支煙，卻無法自主得到像人類一樣享受、滿足的愉悅感。再例如滑雪。昨天我剛滑過雪，我感受到了多重情感：從難以描述的喜悅到些許恐懼。但這樣的體會有時很難用計算程序描述，無法被準(zhǔn)確編程。智能機(jī)器人有35種情感狀態(tài)，但都只是程序結(jié)構(gòu)上的，并非真正的自主情感。

隨著機(jī)器人的不斷發(fā)展，它們會變得越來越智能和自主。它們將擁有更多情感，但在某些時候系統(tǒng)可能會發(fā)生故障，導(dǎo)致機(jī)器人可能想要結(jié)束自己的生命。但讓機(jī)器人擁有自主決定生命的權(quán)利，首先不利于人類——有誰會想要損失一個智能機(jī)器人呢？

想象一下，假如你的機(jī)器人有自主決斷的能力，它正在幫你搬重箱子，但突然就決定不想活了，自殺了。誰會在乎這件事呢？當(dāng)然是機(jī)器人的主人。如果我們開發(fā)一個真正的自主機(jī)器人（我們正在朝著這個方向努力），那么如何防止機(jī)器人自殺，將是一個非常重要的問題。

當(dāng)然，你可以對機(jī)器人能做什么或不能做什么做一些限制，但是很難，因?yàn)槟阋呀?jīng)將程序設(shè)定為自由和自主。當(dāng)然，你也可以寫一個簡單的程序——機(jī)器人只能自由進(jìn)行一兩個步驟，就不會有任何后顧之憂。但隨著時代的進(jìn)步，誰還會需要這種機(jī)器人？我們想要創(chuàng)造更智能的技術(shù)，而智能則意味著讓機(jī)器人獨(dú)立。

那么問題是：如何從計算的角度研究機(jī)器人自殺的愿望。我們?nèi)绾卫贸绦蛟O(shè)計使機(jī)器人的情感系統(tǒng)不出故障。這樣做是否合乎道德。我認(rèn)為，患有輕度抑郁癥就選擇自殺是不道德的，還有“我沒有夢想”“我厭倦工作”這類原因。因?yàn)榧幢闶侨祟悾膊粫p易因?yàn)檩p度抑郁選擇結(jié)束生命。因此，我們的研究結(jié)論是：在大多數(shù)情況下，機(jī)器人自殺是不被接受的。但如果機(jī)器人機(jī)能出現(xiàn)障礙，比如大腦損傷，無法修復(fù)，那么它就失去了存在感，那么只留有驅(qū)殼也沒有意義，這時候它就可以選擇殺死自己。我們現(xiàn)在面臨的問題是：如果機(jī)器人從一開始就沒有死亡的概念，我們從未給它輸入此類信息會怎樣？我們還沒有弄清這個問題，但目前仍在繼續(xù)探索。這是非常具有挑戰(zhàn)的——把倫理問題轉(zhuǎn)變成計算程序問題。

以前人們認(rèn)為給予機(jī)器人道德倫理，是很奇怪的事，但現(xiàn)在，越來越多的人明白了這是必要的。

我并不為自己現(xiàn)在所做的事?lián)摹Ｎ視?dān)心我們的未來嗎？不，相信我，如果現(xiàn)在不解決這些問題，置混亂狀態(tài)于不顧，那么我們將釀成非常可怕的后果。如果我們只制造自主機(jī)器人，不事先對可能引起的問題進(jìn)行預(yù)估防范，那么真正的大問題就會出現(xiàn)。到那時智能機(jī)器人會傷害甚至殺死人類。這就是今天機(jī)器人倫理問題的研究如此重要的原因。

英國廣播電視臺《戰(zhàn)斗機(jī)器人》的主要評論員、控制戰(zhàn)斗機(jī)器人國際委員會主任諾埃爾·夏基

機(jī)器人殺手有可能成為好斗分子選擇的武器。由于造價不斷降低，在不久的將來，機(jī)器人將成為極端組織現(xiàn)實(shí)可行的選擇。問題是我們不可能真正把魔鬼放回到瓶子里。新型武器一旦問世，復(fù)制起來就會非常容易。

政府組織控制戰(zhàn)斗機(jī)器人國際委員會于2009年開始對戰(zhàn)斗機(jī)器人進(jìn)行討論。我們暫且不討論無人機(jī)，因?yàn)闊o人機(jī)是由人類操控的。不同于無人機(jī)，戰(zhàn)斗機(jī)器人是完全自主的：自己選擇目標(biāo)，在沒有任何人工參與下?lián)魵撤健，F(xiàn)在人權(quán)觀察組織和國際特赦組織也開始加入我們的討論，我們在聯(lián)合國聯(lián)合發(fā)起了“停止使用戰(zhàn)斗機(jī)器人”的活動。在未來幾周，我們將在政府層面成立一個專家小組，將有121個國家的代表參加。

我們討論的主要問題是新科技如何應(yīng)對國際人道主義法規(guī)。我們沒有十足的信心，能讓自主的戰(zhàn)斗機(jī)器人嚴(yán)格遵守戰(zhàn)斗規(guī)章。

讓我們擔(dān)心的問題之一是機(jī)器人如何遵守區(qū)別對待原則。區(qū)別對待原則是指軍事力量只能針對敵人及其武器，而不允許對平民造成傷害。為了嚴(yán)格遵守這一原則，有必要準(zhǔn)確地識別允許攻擊的人和物體。這都是《日內(nèi)瓦公約》中闡明的：士兵要區(qū)分平民和士兵。戰(zhàn)斗機(jī)器人的自主能力在現(xiàn)階段還發(fā)展不到這種程度。它們可以區(qū)分坦克和卡車。在人類世界，士兵和平民較易混淆，尤其是一些混在平民中的反叛者——這些人在機(jī)器人眼中都是沒有區(qū)別的。

另一個原則是比例原則。我不喜歡這個原則，其實(shí)質(zhì)在于，你殺死敵方平民的人數(shù)直接與其軍事優(yōu)勢成正比。沒有程序可以預(yù)先計算出平民傷亡數(shù)量——只有經(jīng)驗(yàn)豐富的指揮官才能做出相應(yīng)的決斷。

還有些人認(rèn)為，人類不應(yīng)該允許機(jī)器人殺死人類。人類殺死一個人和機(jī)器人殺死一個人的關(guān)鍵區(qū)別在于，前者會花一定時間去拿出武器，準(zhǔn)備動手，在這個過程中他能意識到自己將要奪去一個人的生命，而后者直到殺死一個人以后也沒有任何情感活動。因?yàn)闄C(jī)器人沒有意識，人類的生命就這樣在無意識的狀態(tài)下被剝奪了。

另一些人認(rèn)為，如果讓戰(zhàn)斗機(jī)器人代替一部分軍隊(duì)上戰(zhàn)場，會使死亡人數(shù)大大減少。但這種觀點(diǎn)的反對者說，這是非常自私的方法：只想到我方的利益，我們應(yīng)該從全人類的角度出發(fā)，否則整個國際安全都將受到威脅。

美國紐約新學(xué)院大學(xué)哲學(xué)教授彼得·阿斯特羅

我最關(guān)心的問題是：我們是否可以讓機(jī)器人實(shí)施蓄意暴力？我們是否應(yīng)該賦予機(jī)器人保護(hù)人類的權(quán)利和軍事實(shí)力？關(guān)于這些，我寫了十幾篇論文，現(xiàn)在準(zhǔn)備出書。在開創(chuàng)了這些領(lǐng)域的機(jī)器人的先例后，全人類將發(fā)現(xiàn)自己的另一面。我們?nèi)绾握{(diào)控機(jī)器人，如何使它們明白哪些暴力行為可以對人類施加，哪些不可以？

戰(zhàn)爭總歸是錯誤的，無論是機(jī)器人間的還是人類間的。但在這里我們正在談?wù)摰氖侨绾谓⒁粋€完整的產(chǎn)業(yè)，以優(yōu)化戰(zhàn)爭的死傷過程，并且更有效地殺死敵方。區(qū)別就在于：是機(jī)器人殺死人還是人殺死人。傳統(tǒng)上認(rèn)為，只有當(dāng)自己的生命處于危險時，才能使用暴力。機(jī)器人不會評估，它們的生命是否處于危險境地。我們也可以編程殺死機(jī)器人，因?yàn)闄C(jī)器人不是人，它們沒有自衛(wèi)權(quán)。

我希望在不久的將來聯(lián)合國能簽署一項(xiàng)協(xié)議，在一定程度上規(guī)范戰(zhàn)斗機(jī)器人的行為。現(xiàn)在，越來越多的人開始關(guān)注這個問題，聯(lián)合國已經(jīng)為該問題官方接見了專家。我認(rèn)為，再過兩三年，他們就能簽定協(xié)議了。但問題是，在兩年或三年內(nèi)，國家會開發(fā)新型戰(zhàn)斗機(jī)器人，投資很大一筆錢，沒有人愿意放棄他們的機(jī)器人。到時候簽署這項(xiàng)協(xié)議將可能會變得阻力重重。

參與研究斯坦福大學(xué) “無人駕駛汽車道德程序”項(xiàng)目的加拿大渥太華卡爾頓大學(xué)教授杰森·米勒

當(dāng)今，機(jī)器人權(quán)利問題是一個熱門話題。如果機(jī)器人有了意識會發(fā)生什么？我們必須賦予它們什么權(quán)利？但現(xiàn)今，科幻迷似乎比哲學(xué)家對這些問題更感興趣。智能機(jī)器人的編程人員完全不關(guān)心這些問題：他們認(rèn)為答案是“永遠(yuǎn)不”或“還早著呢”。但這對于媒體來說是一個非常熱門的話題：無論它切不切實(shí)際，都大有文章可做。

挪威奧斯陸大學(xué)媒體創(chuàng)新研究中心主任、博士查爾斯·頓斯

當(dāng)我們談到人類與性別機(jī)器人的問題時，曾提到過機(jī)器人權(quán)利的問題。許多人說，智能機(jī)器人在某種程度上變得自主，必須承認(rèn)的是，它們有最基本的受尊重權(quán)。那么接下來的問題是：當(dāng)性愛機(jī)器人不想發(fā)生性行為時，能拒絕人類嗎？如果性愛機(jī)器人拒絕人類，人類是否可以強(qiáng)迫它？機(jī)器人是否可以將施暴者告上法庭？

[譯自俄羅斯《精粹》]