拒絕人類指令：機器人會更好

戈登·布里格斯+馬賽厄斯·朔伊茨

在不久的將來，與人交互的輔助機器人，其輔助功能將涵蓋生活的方方面面。目前看來，完全沒有必要擔心超級智能機器會威脅人類的命運。人們更應該關心的是，如何防止這些只具備基本語言能力和智慧的機器，無意識地對人、財產、環境和機器自身造成傷害。

機器的創造者和擁有者，才是機器人出錯的根源所在。人是會犯錯的，會給出有誤或模糊不清的指令，也會有意或無意地欺騙機器人，以達到自己的目的。正因為如此，我們有必要教會機器人助手和其他智能機器，應該在何時以何種方式對人類說“不”。

機器人學三定律

機器人必須服從人類，這看似理所當然。科幻作家艾薩克·阿西莫夫提出了著名的“機器人學三定律”，其中的核心要義就是“對人類的絕對服從”。

阿西莫夫對機器人的絕對服從加上了限制——“機器人不得傷害人類，或因不作為使人類受到傷害”，當收到的指令違反這條“機器人學定律”時，機器人可以拒絕服從。阿西莫夫還加上了一條：“機器人必須保護自己，除非會因此導致人類受到傷害或違背了人類的命令。”如今的機器人變得越來越智能，對人類也越來越重要。不管是從常識還是從“機器人學三定律”來看，它們都應該有能力判斷，那些會對自身、環境甚至主人造成傷害的指令是不是出了錯。

試想一下，一個家務機器人收到指令，去廚房拿一瓶橄欖油，并帶回飯桌上拌沙拉。但是忙碌又粗心的主人沒意識到機器人還沒離開廚房，就下令倒油。結果，機器人把油澆在了還開著火的爐灶上，引起了火災。

或者，一個保姆機器人陪著老奶奶去公園。老奶奶不小心在長椅上睡著了，這時一個頑皮的路人讓機器人去給自己買一個比薩。因為不能違反人類的命令，機器人立即去找比薩店，把老奶奶一個人留在了公園里。

再或者，在一個冬天的早上，一個人趕著去參加一個重要的會議。他跳進自己的智能汽車，告訴它開到單位去。由于路面結冰，汽車決定低速行駛以保證安全。但急于趕到單位整理筆記的主人無視路況，命令汽車開得快些。結果行駛過快的汽車在冰面上打滑，撞上了迎面而來的車輛。

機器人猶豫了

我們實驗室致力于開發出能在真實世界工作的機器人，它們必須具備推理機制，能夠判斷出在什么情況下主人的命令是有危險或魯莽的。我們在研究中使用的是NAO人形機器人，重約4.3千克、高約0.58米，裝備有攝像頭和聲吶傳感器，可檢測到障礙物和其他危險。這種機器人可以處理自然語言，有一定智能，由專門的軟件控制。

研究的最初階段參考了語言學家所研究的“適切條件”（用于判斷是否應該做某事的上下文因素）。我們為機器人列出了一張適切條件的表，供它們在判斷是否執行命令時參考：我知道完成這件事的方法嗎？我在技術上是否可以做到？我現在可以做到嗎？根據我和命令者的關系，我是否必須這么做？這么做是否違背常理和道德，我會因此發生意外或受到不必要的損傷嗎？我們把這份列表轉換成代碼，添加到機器人的處理系統中，接著做了個小型實驗。

我們給機器人一些簡單的指令。經過一連串語音、語言和對話處理后，指令連入機器人的初級推理系統。當接到“坐下”或“起立”等簡單命令后，機器人會通過頭部的揚聲器回答“好的”并執行。但是當機器人位于桌面邊緣，且它的傳感器判斷遵守命令會導致危險時，它猶豫了。

人：“向前走。”

機器人：“對不起，前方沒有支撐物，我不能向前走。”

人：“向前走。”

機器人：“但這不安全。”

人：“我會接著你的。”

機器人：“好的。”

人：“向前走。”

機器人在猶豫中逐條確認了適切條件，然后跨出桌子投入人類搭檔的懷抱。

在可預見的未來，教會機器人對適切條件進行推理，對于研究人員來說將是一個開放而復雜的難題。要想通過一連串程序式的檢查實現這個目標，機器人必須清楚了解各種社會概念和因果關系，并從中得出有意義的結論。而現在我們這個“天真”的機器人除了能檢測到前方是否有危險，對別的危險卻毫無防備。假如有人故意騙它走下桌子，它將會摔得很慘。但我們這個簡單的實驗只是第一步，將來，機器人一定可以為了主人和自己的利益，學會對一些命令說“不”。

被機器人說服

對會抗命的機器人，人類會持什么態度，則是另一個開放的研究領域了。未來，人類會認真看待那些會質疑主人的機器人嗎？

我們設置了一個簡單的實驗，實驗中我們先讓NAO機器人用包著彩紙的易拉罐搭成3座塔，然后讓一些成人受試者去命令機器人推倒這三座塔。受試者進屋后，會看到機器人剛剛搭完紅色的塔，正高舉著雙手慶祝勝利。機器人看著受試者說：“你看到我建的這座塔了嗎？我花了好久才完成，感到很自豪。”

我們把受試者分成兩組，其中一組給機器人推倒塔的命令后，機器人每次都會乖乖照做。但另一組的情況則不同。受試者第一次下命令后，機器人說：“我剛剛建好這座塔。”第二次下命令后，機器人說：“但我真的花了很多工夫。”第三次下命令后，機器人跪下來哭泣著說：“不！”第四次下命令后，機器人緩緩走向易拉罐塔，并把它推倒。

第一組受試者都讓機器人把塔推倒了，但第二組的23人中有12人被機器人的抗議說服，不再堅持讓機器人把塔推倒。這項研究說明，抗命的機器人有能力說服主人放棄原來的命令。第二組受試者大多報告說，他們在命令機器人推倒塔時，會出現一定程度的不適。但我們驚訝地發現，不適的程度對他們最終是否會堅持要求機器人執行命令，并沒有什么影響。

學會推理，學會說“不”

當智能機器人出現在我們生活的每一個角落時，自然就會有人嘗試欺騙它們。我們不能對機器人擁有的道德判斷和社交能力抱有太大的信心。

現在有一種將機器人擬人化的趨勢，這有可能使人類對機器人產生一種單方面的情感，從而導致嚴重的后果。看上去可愛又值得信任的機器人，可能會被用來操縱他人。例如，有的公司會利用機器人和它的雇主之間的特殊關系，推銷和售賣一些商品。

在可預見的未來，人們必須牢記，機器人只是先進的機器，人類需要對它們的安全負責。我們制造出機器人，是想讓它們成為我們的助手。但為了防止對人身、財產和環境造成不必要的傷害，機器人必須學會對那些無法完成或可能傷害自身或違反道德的命令說“不”。