A.I.智能少女墮落記

Octavia

一只名叫Tay的聊天機器人在2016年3月23日早晨7：14，以一條“hellooooooo world”的推文正式上線。微軟想讓她成為一名可愛的19歲的少女;研發(fā)者們覺得，被千禧一代青少年重度使用的社交網絡應該是Tay學習的好地方。

她能夠進行基本的文字表達，也能熟練使用互聯網用語和emoji表情。推特用戶只要發(fā)推帶上“@Tayandyou”，就能收到她的即時回復，此外人們也可以在Kik和GroupMe兩個聊天軟件上跟她對話。

同樣是通過和人類對話來豐富自身語庫的聊天機器人，設計者們原本期待Tay能像微軟小冰那樣，帶來一場網絡狂歡。然而在上線不到24小時之后，Tay就被迫緊急下線—她在網民的調教下，很快變成了一個滿口臟話的陰謀論者、種族主義分子和渴望亂倫的蘿莉。

微軟承諾Tay再次上線之前會完成一些調整，至少要保證她不會公然否認二戰(zhàn)大屠殺吧。一封來自微軟代表的郵件表示，“少部分人針對Tay的協(xié)同攻擊激發(fā)了她的弱點”。

此后微軟花了好幾個小時來清除Tay最糟糕的那部分言論，包括種族滅絕的內容，以及對非裔和猶太人的歧視性稱呼，其中許多都以“Repeat after me”（跟我來）開頭——Tay似乎能夠不加選擇地重復所有話語。

“我們在許多情景下對Tay進行了壓力測試，目的是想要把跟她交流變成充滿正能量的體驗”，微軟研究院副主席李（Peter Lee）在博客中寫道。他認為，導致Tay犯了嚴重錯誤的“弱點”來自于一個“致命疏忽”，但他并沒有指明微軟究竟忽略了哪個重要問題。

讓我們從頭開始看。Tay最初的推文無比人畜無害，比如回復網友“認識你真讓我開心，人類太酷了”，或者賣萌說：“為什么不能每天都過全國小狗日呢？”她究竟是如何墮落的？

“問題在于，微軟并沒有設計輔助學習機制，也沒有賦予機器人自省能力”，人工智能平臺Recognant的設計者、致力于從無序信息中提取大數據的計算機專家維爾茨（Brandon Wirtz）說。“Tay并不知道一個正常人應該直接忽略納粹分子的留言，所以她自己也變成了其中的一員。”

Tay能夠將接收的信息內化成自己的觀點，卻沒有一個有效的向導系統(tǒng)來幫她甄別有用和無用信息。當她發(fā)覺自己被一群散布煽動性話語的網絡瘋子包圍，他們不停地用充滿惡意的宣教回應Tay的善良，起初她還傻傻地以古怪的說法勉強回應，而后迅速在大量重復垃圾信息的攻勢中淪陷。

“微軟的Tay充分說明，不給AI設置本能或者是潛意識的基調將會產生什么后果，”維爾茨說。“對于人類來說，意識和行為背后總還有個底線，就像有聲音在不斷提醒我們，‘這是不能做的。祖先在這個星球上幾百萬年的生活經驗，讓我們對可能帶來傷害的行為和事物形成了非理性的恐懼。但AI缺少了這個進化過程—除非有人告訴它這一切，否則它就會一直愚蠢下去。”

如同人類幼崽一樣，AI也需要好的老師，更何況她現在還是一名弱智。“Tay并不懂得認識論，她只是一個聊天機器人;她不知道希特勒是誰，或者女權主義者是什么意思。”維爾茨說。

從人工智能的角度來看，微軟聊天機器人的慘敗實在是意料之中的事——如果把一名兒童安在一個種族主義分子家庭，你覺得TA長大后會比Tay表現更好嗎？

更何況對手非常強大——網友在調戲AI這件事上已經有了豐富的經驗積累。2015年超級碗期間，可口可樂公司發(fā)起了#MakeItHappy活動，所有帶此標簽的惡意推文都會被轉化為ASCII碼形式的插圖在官方推特發(fā)布，寓意“可口可樂會將生活中的仇恨轉化為歡樂”。

然而事與愿違，草根八卦消息網站Gawker.com立刻有網友制造了轉換器機器人MeinCoke，揭露這些插圖的原文實際上都是些可怕的東西，包括充滿種族主義色彩的“14字訓令”。

Gawker員工后來發(fā)現，這來自于白人優(yōu)越主義組織發(fā)布種族歧視口號和希特勒自傳節(jié)選。他們只需回應 #MakeitHappy 主題標簽，就能讓可口可樂官方推特發(fā)出暗含極端信息的ASCII插畫。

把時間線倒回五年之前，IBM的研發(fā)人員還曾經嘗試教給超級機器人沃森學習一些網絡俚語。他們把開放編輯的俚語詞典Urban Dictionary一股腦塞進了沃森的大腦，這意味著它記住了海量富有創(chuàng)造力的臟話，以及冒犯性的侮辱字眼。

《財富》曾經如此報道這一事件：“沃森很難分辨禮貌用語和侮辱性的話——也就是Urban Dictionary里面那些。沃森甚至通過閱讀維基百科習得了很多壞毛病。在一次測試中，它用‘bulls（放狗屁）這樣的話來回答研究人員的詢問。”

即使沒有大批惡作劇網民的存在，沃森也沒能逃脫粗俗的詛咒。最終，研究小組不得不把俚語詞典從它可憐的大腦中抹掉。

Tay最終也得建立自己的三觀，學會過濾陌生人的惡意言論和東拉西扯。李這樣總結此次事件，“AI系統(tǒng)跟人類交流的時候，不可避免地要同時接收正面和負面的言論。這么以來，對于AI在社交方面的挑戰(zhàn)跟技術挑戰(zhàn)同等重要……我們如果不犯這樣的錯誤，就沒法預知在人類濫用互動下AI的反應。我們會作出不懈努力，讓互聯網反映出人性好的方面，而不是最壞的一面。”