訓練AI的類比能力

編譯 莫莊非

于1979年斬獲普利策獎的著作《哥德爾、埃舍爾、巴赫》（G ?del, Escher, Bach）激發(fā)了大批計算機科學家的靈感，但很少有人像梅蘭妮?米切爾（Melanie Mitchell）那般——在讀完這本777頁的著作后，決定將她的天賦從紐約某高中的數(shù)學教育跨界帶到人工智能領域。米切爾很快找到此書作者、人工智能研究員侯世達（Douglas Hofstadter），并說服他給了自己一個實習機會。當時的高中數(shù)學老師只學過幾門計算機科學課程，但她的膽量令普利策獎得主印象深刻，而后者似乎也并不關心她的學歷。米切爾趕上了“最后一刻”的研究生申請，并加入了侯世達在密歇根大學安娜堡分校的新實驗室。在接下來的6年里，兩人密切合作，開發(fā)了名為“Copycat”的計算機程序，而設計Copycat的目的是“得到有見地的類比，并以心理現(xiàn)實的方式這樣做”。

Copycat提出的類比是圍繞簡單的字母模式進行的，類似于標準化測試中的類比。舉個例子，“如果字符串‘a(chǎn)bc’變成了字符串‘a(chǎn)bd’，那么字符串‘pqrs’會變成什么？”侯世達和米切爾認為，理解類比的認知過程——人類如何在相似的想法、感知和經(jīng)驗之間建立抽象聯(lián)系——對于創(chuàng)造真正像人的人工智能至關重要。

米切爾認為類比可以比案例型（exam-style）模式匹配更深入。“類比是通過將某種情況映射到另一種已經(jīng)被理解的情況，進而理解此情況的本質(zhì)。比方說你告訴了我你曾經(jīng)歷的一段往事，那么我或許可以從記憶庫里找出一段可類比你的經(jīng)歷的故事——雖然嚴格來說你的過往絕非我所親歷，但二者間關聯(lián)映射讓它們非常相似。”

曾在美國圣達菲研究所擔任教授的米切爾將她的研究范圍擴展到了機器學習以外，目前也正領導著圣達菲的一個關于自然和人工系統(tǒng)智能的基礎（Foundations of Intelligence in Natural and Artificial Systems）項目。不過在她的工作中，類比的內(nèi)容比以往任何時候都更重，尤其是在與人工智能聯(lián)系起來的時候——AI領域過去十年的主要進展大多由深度神經(jīng)網(wǎng)絡（DNN）推動，DNN是一種模仿哺乳動物大腦中神經(jīng)元分層組織的技術。米切爾如此說道：“今天最先進的神經(jīng)網(wǎng)絡非常擅長處理某些類型的任務，但它們難以將自己在A情況下學到的知識轉(zhuǎn)移至B情況——類比思維的本質(zhì)。”

《量子雜志》最近采訪了米切爾，并與其討論了人工智能如何進行類比思考，該領域迄今為止取得的成果，以及未來發(fā)展方向。

為什么類比對人工智能如此重要？

類比是一種基本的思維機制，可幫助AI達成人類希望它們實現(xiàn)的目標。有人認為預測未來或檢索在當前情況下有用的記憶是AI任務清單上的重中之重——那么在這些方面，類比思維則是重中之重。舉個例子，我們想擁有成熟的自動駕駛汽車，但一個關鍵問題擺在眼前，如果機器遭遇一些與其曾接受過的培訓略有不同的情況，它們會不知道如何是好。假若把汽車替換為人類，我們會用過往經(jīng)驗來類比當前處境，進而迅速給出應對方案。這也是我們需要現(xiàn)實世界里的AI能獲得的技能。

如果類比是這么基礎性的內(nèi)容，為什么學界一直沒有足夠重視？

研究不足的原因之一是很多學者并未認識到類比對認知基石般的重要性。早期的AI研究更多聚焦于解析行為規(guī)則的邏輯，設計相關程序。現(xiàn)在，人們又選擇讓AI從大量示例中學習，然后希望它能借助對已學知識的數(shù)據(jù)統(tǒng)計來歸納推導以前從未見過的事物——研究者希望概括和抽象的能力會從數(shù)據(jù)統(tǒng)計中產(chǎn)生，但顯然AI沒能交出滿意答卷。例如，您可以向DNN展示數(shù)百萬張橋梁圖片，它可能會識別出河上橋梁的新圖片或其他東西，但它永遠無法將“橋梁”的概念抽象升華為諸如“愛情之橋”或“文化之橋”之類的概念。事實證明，DNN難以習得抽象化能力。我們現(xiàn)在只是在努力彌補它在這方面的短板。

機器永遠學不會抽象嗎？

有像所謂元學習（meta-learning）之類的新方法來幫助機器可以更好地“學會學習”，也有自監(jiān)督學習（selfsupervised learning）的概念——例如GPT-3系統(tǒng)就會學習填充缺了某個詞的句子，這讓它能夠生成非常令人信服的語言。有些人覺得此類系統(tǒng)最終會在有足夠數(shù)據(jù)支撐的情況下學會完成抽象任務，但我不這么認為。從人類角度來說，AI系統(tǒng)不理解它們所處理的數(shù)據(jù)。這里所謂的“理解”，在我看來，抽象和類比的思維機制是其關鍵部分，AI得理解發(fā)生的機制——人類能夠以某種方式把我們已經(jīng)知道的東西映射到新的東西上。

那么類比是生物體保持認知靈活性的一種方式，而非像機器人那樣……

我認為在某種程度上，是的。類比不僅僅是我們?nèi)祟惖膶＠械膭游镉悬c像機器人，但也有的物種能夠獲取先前的經(jīng)驗并將其映射至新的境遇。或許這是將一系列智能應用到不同種類的生命系統(tǒng)中的一種方式：你能在多大程度上進行更抽象的類比？

關于人類為何具有這種特殊智力的一個理論是，因為我們的社交屬性太強了。你需要做的最重要的事情之一就是模擬其他人的想法，了解他們的目標并預測他們將要做什么。你會把自己放到別人的位置上去思考，然后將自己的想法映射到他們的情況。這種“心智理論”是人工智能領域的從業(yè)者一直在談論的話題，它本質(zhì)上是一種進行類比的方式。

您的Copycat系統(tǒng)是計算機的早期類比嘗試。還有其他人做過這方面工作嗎？

人工智能中的“結(jié)構映射”工作更側(cè)重基于邏輯的情況描述并在它們之間進行映射。當人類試圖理解事物的相似之處時，我們應該更關注關系而不是特定對象。

結(jié)構映射會將那些非常具有人類意義的表達——比如“地球圍繞太陽公轉(zhuǎn)”和“電子圍繞原子核運動”——相互映射，但“圍繞”之意是沒有內(nèi)部模型，僅僅是一個象征。Copycat與字符串配合得很好，但關于如何將其擴展并推廣到我們真正關心的領域，我們還沒有確切答案。

眾所周知，深度學習的擴展性非常好。那么它在產(chǎn)生有意義的類比方面是否也更高效呢？

有一種觀點認為，DNN在輸入層和輸出層之間展現(xiàn)了某種意義上的類比能力。既然AI能比人類更擅長識別不同種類的狗，那么它也理應能夠解決那些非常簡單的類比問題。有研究者創(chuàng)建了一個大數(shù)據(jù)集來訓練和測試他們的神經(jīng)網(wǎng)絡，最后發(fā)表論文稱：“我們的方法在這個測試中得到了80%的正確率。” 可問題在于，當你不得不用成千上萬的案例去訓練AI，這種做法就意味著你已經(jīng)失敗了。通過海量學習來實現(xiàn)類比的效果不是抽象的全部意義。機器的抽象能力應該是“小樣本學習”的能力，即從非常少的示例中學習的能力。

那么我們現(xiàn)在還缺少什么？為什么我們不能像搭樂高積木一樣將這些方法組合在一起？

沒有哪一本指導手冊會教你怎么做到這一點！但我確實認為我們必須把它們組合在一起。這是本研究領域的前沿：所有這些東西的關鍵是什么，它們?nèi)绾蜗嗷パa充？

很多人對抽象推理語料庫（ARC）非常感興趣。ARC是一項非常具有挑戰(zhàn)性的小樣本學習任務，圍繞人類與生俱來的“核心知識”（Core knouledge）而構建。我們知道世界應該被解析為對象，我們知道一些關于空間幾何的知識，比如某物在另一物之上或之下。在ARC中，某種顏色網(wǎng)格會變成另一種顏色網(wǎng)格，而人類可以用自己的核心知識來描述顏色網(wǎng)格的變化。比如，某種顏色的所有方塊都向右，另一種顏色的全部方塊都向左。它給你一個這樣的例子，然后要求你對另一個顏色網(wǎng)格做同樣的事情。我認為這是一個類比挑戰(zhàn)。你試圖以某種方式抽象描述A形象到B形象的變化，你無法學習任何奇怪的統(tǒng)計相關性，因為你只有兩個例子。如何讓機器利用嬰兒擁有的核心知識進行學習和推理是我此前提到過的任何系統(tǒng)都無法做到的。這就是它們都不能處理這個ARC數(shù)據(jù)集的原因。

如果嬰兒天生就擁有這種“核心知識”，那是否意味著人工智能要進行此類類比還需要一個“身體”？

這是一個相當有價值的問題，同時也充滿爭議——人工智能群體還未就此達成共識。我的直覺告訴我答案是肯定的，如果沒有某種“身體”，我們將無法在AI中實現(xiàn)人類能做的類比能力。擁有一個“身體”可能是必不可少的，因為其中一些視覺問題需要你進行三維思考。對我來說，這與生活在這個世界上并四處走動需了解事物在空間上的關系有關——我不確定機器是否必須歷經(jīng)此階段，不過我覺得它可能需要。

資料來源Quanta Magazine