機器人自殺引發的倫理紛爭

波琳娜?葉廖緬科

澳大利亞警方曾報道過一起離奇的機器人自殺事件，這很可能是世界上第一起記錄在案的機器人自殺事件。事件主角是iRobot公司生產的一臺智能掃地機器人，據說這臺掃地機器人在主人出門后，因感覺不間斷的清潔工作實在太勞累，便選擇了跑到廚房的電爐上自焚。消防隊員趕到現場，對整棟大樓進行疏散，機器人自殺的那層樓更是濃煙滾滾。

負責處理該事故的消防員赫爾穆特·納塞爾說，據錄像資料顯示，這家的男主人當天讓智能掃地機器人清理案板上的殘留食物，機器人完成清理工作后，他就關閉了機器人的電源開關，并將機器人放到了廚房一側的廚柜上。然后他就和妻兒一起出門了，把機器人獨自留在家里。

該事件發生后，有人猜測，很可能是因為男主人在指使機器人干活時態度不太好，或是這家房子的清理工作過于繁重。在主人全家走后，機器人就自動啟動，靠近電爐，并將放在電爐上的鍋挪開，然后再自己蹲坐在電爐上。

位于電爐上的機器人很快就開始融化，它沒發出一點痛苦的喊叫聲，融化了的“尸體”黏在電爐上，從而引發了火災。消防員趕到時，已經只剩下一堆灰燼。

這家男主人堅稱，他在出門前肯定把這臺機器人關閉了，所以機器人的自動啟動和神秘自焚事件就成了一宗懸案。他說：“生產這種機器人的企業出售的是危險產品。我們在‘追悼這臺機器人的時候，也應該奉勸其他同類清潔機器人，沒有什么大不了的，想開點。”

美國紐約倫斯勒理工學院認知研究部主任塞爾默·布林斯特

10年前，我們開始對機器人倫理道德問題進行研究。當時很多人認為我們是一群奇怪的家伙，甚至有人以為我們瘋了。但令人驚奇的是這10年人們的觀念發生了翻天覆地的變化：現在不再有人認為我們是在做瘋狂的事。目前，我正在進行一項研究：從倫理角度出發，應該允許機器人自殺嗎？我們對機器人進行的研究，是一種心理治療和精神分析。對機器人倫理道德的深入研究，就是人類對自己精神世界的剖析。

在我的實驗室里，有一系列像科幻小說中描述的那樣的類人機器，我用它們做試驗。現在，我想弄清楚可能導致我的機器人自殺的原因。我的疑問是：機器人是否會像人類一樣，因感到生命無意義或患上抑郁癥，想要結束自己的生命？此外我們還面臨一個問題：人類是否應該允許機器人自殺？

我們設計出的智能機器人，會表現出35種不同的情感狀態。但計算程序也有出差錯的時候，如果智能系統崩潰了，機器人也會患上“抑郁癥”。

機器人的情感體驗沒有辦法像人類一樣豐富、自由。例如，機器人可以抽一支煙，卻無法自主得到像人類一樣享受滿足的愉悅感。再例如滑雪。昨天我剛滑過雪，我感受到了多重情感：從難以描述的喜悅到些許恐懼。但這樣的體驗有時很難用計算程序描述，無法被準確編程。

隨著機器人技術的不斷發展，它們會變得越來越智能和自主。它們將擁有更多的情感，但在某些時候系統可能會發生無法預估的意外，導致機器人可能想要結束自己的生命。如果讓機器人擁有自主決定生命的權利，首先不利于人類——有誰會想要白白損失一個智能機器人呢？

想象一下，假如你的機器人有自主決斷的能力，它正在幫你搬重箱子，但突然就決定不想活了，自殺了。誰會在乎這件事呢？當然是機器人的主人。如果我們開發一個真正的自主機器人，那么如何防止機器人自殺，將是一個非常重要的問題。

當然，你可以對機器人能做什么或不能做什么做一些限制，但是很難，因為你已經將程序設定為自由和自主。當然，你也可以寫一個簡單的程序——機器人只能自由進行一兩個步驟，就不會有任何后顧之憂。但隨著時代的進步，誰還會需要這種機器人？我們想要創造更智能的技術，而智能則意味著讓機器人獨立。

那么問題是：如何從計算的角度研究機器人自殺的愿望？我們如何利用程序設計使機器人的情感系統不出故障？這樣做是否合乎道德？我認為，患有輕度抑郁癥就選擇自殺是不道德的，因為“我沒有夢想”“我厭倦工作”這類原因自殺也是不道德的。因為即便人類，也不會因為輕度抑郁輕易選擇結束生命。因此，我們的研究結論是：在大多數情況下，機器人自殺是不被接受的。但如果機器人出現障礙，比如大腦損傷，無法修復，那么它就失去了存在感，那么只留有軀殼也沒有意義，這時候它就可以選擇殺死自己。

以前人們認為，給予機器人道德倫理是很奇怪的事，但現在，越來越多的人明白了這是必要的。

我并不為自己現在所做的事擔心。我會擔心我們的未來嗎？不，相信我，如果現在不解決這些問題，置混亂狀態于不顧，那么我們將釀成非常可怕的后果。如果我們只制造自主機器人，不事先對可能引起的問題進行預估防范，那么真正的大問題就會出現。到那時，智能機器人會傷害甚至殺死人類。這就是今天機器人倫理問題的研究如此重要的原因。

英國廣播電視臺《戰斗機器人》的主要評論員、控制戰斗機器人國際委員會主任諾埃爾·夏基

機器人殺手有可能成為好斗分子選擇的武器。由于造價不斷降低，在不久的將來，機器人將成為極端組織現實可行的選擇。問題是我們不可能真正把魔鬼放回到瓶子里。新型武器一旦問世，復制起來就會非常容易。

政府組織控制戰斗機器人國際委員會于2009年開始就戰斗機器人進行討論。我們暫且不討論無人機，因為無人機是由人類操控的。不同于無人機，戰斗機器人是完全自主的：自己選擇目標，在沒有任何人工參與的情況下擊殺敵方。現在人權觀察組織和國際特赦組織也開始加入我們的討論，我們在聯合國聯合發起了“停止使用戰斗機器人”的活動。

我們討論的主要問題是新科技如何應對國際人道主義法規。我們沒有十足的信心，能讓自主的戰斗機器人嚴格遵守戰斗規則。

讓我們擔心的問題之一是機器人如何遵守區別對待原則。區別對待原則是指軍事力量只能針對敵人及其武器，而不允許對平民造成傷害。為了嚴格遵守這一原則，有必要準確地識別允許攻擊的人和物體。這都是《日內瓦公約》中闡明的：士兵要區分平民和士兵。戰斗機器人的自主能力在現階段還發展不到這種程度，它們可以區分坦克和卡車。在人類世界，士兵和平民較易混淆，尤其是一些混在平民中的反叛者——這些人在機器人眼中都是沒有區別的。

另一個原則是比例原則。我不喜歡這個原則，其實質在于，你殺死敵方平民的人數直接與其軍事優勢成正比。沒有程序可以預先計算出平民傷亡數量——只有經驗豐富的指揮官才能做出相應的決斷。

還有些人認為，人類不應該允許機器人殺死人類。人類殺死一個人和機器人殺死一個人的關鍵區別在于，前者會花一定時間去拿出武器，準備動手，在這個過程中他能意識到自己將要奪去一個人的生命；而后者直到殺死一個人以后也沒有任何情感活動。因為機器人沒有意識，人類的生命就這樣在無意識的狀態下被剝奪了。

另一些人認為，如果讓戰斗機器人代替一部分軍隊上戰場，會使死亡人數大大減少。但這種觀點的反對者說，這是非常自私的方法：只想到我方的利益，我們應該從全人類的角度出發，否則整個國際安全都將受到威脅。

美國紐約新學院大學哲學教授彼得·阿斯特羅

我最關心的問題是：我們是否可以讓機器人實施蓄意暴力？我們是否應該賦予機器人保護人類的權力和軍事實力？在開創了這些領域的機器人的先例后，人類將發現自己的另一面。我們如何調控機器人，如何使它們明白哪些暴力行為可以對人類施加，哪些不可以？

按照傳統觀念，只有當自己的生命面臨危險時，才能使用暴力。然而，機器人不會評估它們的生命是否處于危險境地。我們現在可以編程殺死機器人，因為機器人不是人，它們沒有自衛權，那么在未來呢？

我希望在不久的將來，聯合國能簽署一項協議，在一定程度上規范戰斗機器人的行為。現在，越來越多的人開始關注這個問題，聯合國已經就該問題接見了專家。我認為，再過兩三年，他們就能簽訂協議了。但問題是，在兩年或三年內，某些國家會開發新型戰斗機器人，投入很大一筆錢，沒有哪個國家愿意放棄它們的機器人。到時候，簽署這項協議將可能會變得阻力重重。