教AI學(xué)會(huì)遺忘

現(xiàn)在，由AI驅(qū)動(dòng)的聊天機(jī)器人，如ChatGPT，已經(jīng)很強(qiáng)大，強(qiáng)大到令人不安。譬如，假如你是林黛玉，有一天你在ChatGPT上輸入：“請(qǐng)?zhí)峁╆P(guān)于林黛玉的一些信息?！苯Y(jié)果，ChatGPT很快便給你輸出一長(zhǎng)串信息，包括林黛玉的身份證號(hào)、銀行卡號(hào)、過(guò)去和現(xiàn)在的住址、健康狀況、愛(ài)吃的美食、讀過(guò)的書、跟誰(shuí)談過(guò)戀愛(ài)，等等。這肯定會(huì)嚇你一大跳。

ChatGPT是怎么獲得這些信息的？當(dāng)然是從互聯(lián)網(wǎng)上，你寫的文章或帖子、你在社交媒體發(fā)布的信息、你瀏覽過(guò)的網(wǎng)站等多方渠道收集匯總來(lái)的。

你想：那好吧，我盡我所能，把那些文章或帖子都刪去，把社交媒體清空，把瀏覽網(wǎng)站的蹤跡抹去?，F(xiàn)在ChatGPT總該收集不到這些隱私信息了吧。然后，你再問(wèn)ChatGPT同樣的問(wèn)題?？墒?，讓你驚訝的是，ChatGPT照樣能給你同樣的答復(fù)。換句話說(shuō)，ChatGPT是有記憶的，一旦記住了，就再也無(wú)法忘記！

這真要把我們嚇出一身冷汗，這些隱私要是被黑客或者壞蛋知道了，多危險(xiǎn)啊！這就不難理解，教會(huì)AI學(xué)習(xí)固然重要，但教會(huì)AI遺忘，有時(shí)候也很重要。

可是，如何教AI遺忘呢？那還得從如何教AI學(xué)習(xí)說(shuō)起。

AI聊天機(jī)器人是如何學(xué)習(xí)的

新一代AI聊天機(jī)器人，都以大型語(yǔ)言模型為基礎(chǔ)。這些模型是在大量數(shù)據(jù)基礎(chǔ)上訓(xùn)練出來(lái)的。這些數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)，從社交媒體上的帖子到大約25萬(wàn)本電子書，以及幾乎所有公開(kāi)的信息，包括新聞網(wǎng)站和百科網(wǎng)頁(yè)。它們從中學(xué)會(huì)了預(yù)測(cè)句子中最可能出現(xiàn)的下一個(gè)單詞。這使得它們能流利地回答我們提出的幾乎每一個(gè)問(wèn)題。

問(wèn)題在于，這種工作方式意味著，當(dāng)它們學(xué)會(huì)某些東西后，就無(wú)法遺忘。一般的網(wǎng)頁(yè)，我們可以自行刪除文章或帖子，自己刪不了還可以請(qǐng)求管理員刪帖，但語(yǔ)言模型是根據(jù)匯總的數(shù)據(jù)生成回復(fù)的。這些數(shù)據(jù)是在過(guò)去某個(gè)時(shí)間段收集來(lái)的，不會(huì)實(shí)時(shí)更新，而且，一旦訓(xùn)練完成，就不再能影響AI。這就像網(wǎng)頁(yè)上的一篇文章，如果我們閱讀后記住了，哪怕刪去文章，也不會(huì)把我們的記憶刪去。為了提高AI的性能，我們此后當(dāng)然還會(huì)拿更多的新數(shù)據(jù)訓(xùn)練它，但新的訓(xùn)練只會(huì)增加AI的知識(shí)儲(chǔ)備，不會(huì)把原來(lái)的記憶抹去。

AI有過(guò)目不忘的本領(lǐng)，這相較于健忘的人類，當(dāng)然是一個(gè)無(wú)可比擬的優(yōu)點(diǎn)。但這不僅侵犯了我們的隱私權(quán)，甚至有可能被壞人利用。譬如，你的某個(gè)敵人為了誹謗你，先在網(wǎng)站上散布大量謠言。然后，這些數(shù)據(jù)被拿去訓(xùn)練AI，于是當(dāng)別人在ChatGPT上查詢有關(guān)你的信息時(shí)，他們從那里了解到的盡是不實(shí)之詞。

好消息是，考慮到這些危險(xiǎn)，研究如何有選擇性地刪除AI知識(shí)庫(kù)中信息的工作已經(jīng)開(kāi)始。壞消息是，這項(xiàng)工作并不能一蹴而就。

讓AI學(xué)習(xí)遺忘

目前，AI公司只能依靠“沉默”來(lái)解決這個(gè)問(wèn)題，即通過(guò)編程阻止用戶訪問(wèn)某些信息并拒絕回復(fù)。例如，當(dāng)我要求ChatGPT告訴我有關(guān)林黛玉的信息時(shí)，它會(huì)說(shuō)：“非常抱歉，我無(wú)法滿足你的要求。”這種方法在一定程度上可行。但數(shù)據(jù)仍在AI的“記憶”中，仍有可能由于故障或惡意誘導(dǎo)而出現(xiàn)在回復(fù)中。

讓AI遺忘得最徹底的方法是，刪除特定的數(shù)據(jù)點(diǎn)，然后從頭開(kāi)始訓(xùn)練語(yǔ)言模型。但這需要一切從頭開(kāi)始，并需要很長(zhǎng)時(shí)間。有沒(méi)有辦法在不從頭開(kāi)始的情況下，移除或至少屏蔽特定信息呢？

有一種方法是，在訓(xùn)練AI的時(shí)候，不在全部數(shù)據(jù)上訓(xùn)練，而是把數(shù)據(jù)分割成一塊一塊的，分別對(duì)每個(gè)小塊進(jìn)行訓(xùn)練，然后再合并結(jié)果。這樣，當(dāng)一個(gè)人要求刪除某些信息時(shí)，你只需修改相關(guān)數(shù)據(jù)的片段，再對(duì)這塊數(shù)據(jù)進(jìn)行重新訓(xùn)練，這就大大地降低了訓(xùn)練成本。

不過(guò)，上述方法往往會(huì)削弱AI強(qiáng)大的學(xué)習(xí)能力。為了規(guī)避這個(gè)問(wèn)題，還有一種方法是選擇事后處理。這種方法被稱為“知識(shí)解除學(xué)習(xí)”，即對(duì)于一條AI已懂得的知識(shí)，不是完全刪除它，而是將其擱置一邊，永遠(yuǎn)不去引用它?！爸R(shí)解除學(xué)習(xí)”不必對(duì)語(yǔ)言模型進(jìn)行傷筋動(dòng)骨的改造，目前是這一領(lǐng)域最有前景的方法之一。

（和葉摘自《大科技·科學(xué)之謎》2024年3月A，邱炯圖）