孕育人工智能的奇異物理學(xué)

現(xiàn)代智能機器的誕生，離不開對復(fù)雜材料物理學(xué)的深刻理解。

自旋玻璃或許是人類發(fā)現(xiàn)過的“最無用也最有用”的東西。

這些通常由金屬而非玻璃制成的材料展現(xiàn)出令人費解的行為，自20世紀(jì)中期起就吸引了一小群物理學(xué)家的關(guān)注。雖然自旋玻璃本身并未找到任何實際的材料用途，但因解釋其奇特行為而發(fā)展出的理論，最終卻引發(fā)了當(dāng)今人工智能的革命。

1982年，凝聚態(tài)物理學(xué)家約翰·霍普菲爾德（JohnHopfield）借用了自旋玻璃的物理概念，構(gòu)建出一種能夠?qū)W習(xí)和記憶的簡單網(wǎng)絡(luò)。在此過程中，他重振了神經(jīng)網(wǎng)絡(luò)（由數(shù)字神經(jīng)元組成的錯綜網(wǎng)絡(luò)）這一曾被大多人工智能研究者放棄的研究領(lǐng)域，并將物理學(xué)帶入了一個全新的領(lǐng)域：思維研究，包括生物思維和機械思維。

霍普菲爾德將記憶重新設(shè)想為一個統(tǒng)計力學(xué)（研究“集體行為”的物理學(xué)）中的經(jīng)典問題：給定一定的組成成分，這個系統(tǒng)整體將如何演化？對于任何簡單的物理系統(tǒng)（包括自旋玻璃在內(nèi)），其答案源自熱力學(xué)：系統(tǒng)將“趨向低能量狀態(tài)”。霍普菲爾德找到了一種方法，利用集體系統(tǒng)的這一簡單特性，通過數(shù)字神經(jīng)元網(wǎng)絡(luò)來存儲和調(diào)用數(shù)據(jù)。更專業(yè)地說，他找到了一種將記憶置于能量斜坡底部的方法。要喚起一段記憶，這種后來被稱為霍普菲爾德網(wǎng)絡(luò)（Hopfieldnetwork）的神經(jīng)網(wǎng)絡(luò)無須查詢?nèi)魏螙|西。它只需“順坡而下”。

米蘭博科尼大學(xué)的理論物理學(xué)家馬克·梅扎爾（MarcMézard）說，霍普菲爾德網(wǎng)絡(luò)是一次“概念上的突破”。通過借鑒自旋玻璃的物理學(xué)原理，后來的人工智能研究者可以“使用所有為這些舊的物理學(xué)系統(tǒng)所開發(fā)的工具”。

2024年，霍普菲爾德與他的同行杰弗里·辛頓（GeoffreyHinton，人工智能先驅(qū)）因在神經(jīng)網(wǎng)絡(luò)統(tǒng)計物理方面的研究，獲得了諾貝爾物理學(xué)獎。有人抱怨這似乎更像是對人工智能研究的褒獎，而非純粹的物理學(xué)。但自旋玻璃的物理學(xué)并沒有因為幫助建立記憶模型和思維機器而失去其“物理性”。如今，一些研究人員相信，霍普菲爾德曾用來賦予機器記憶的同一套物理學(xué)，或許也能幫助機器“想象”，并打造出我們能夠真正理解的神經(jīng)網(wǎng)絡(luò)。

涌現(xiàn)的記憶

霍普菲爾德的職業(yè)生涯始于20世紀(jì)60年代從事半導(dǎo)體物理學(xué)研究。但到了60年代末，“在凝聚態(tài)物理領(lǐng)域，似乎再也找不到能夠讓我發(fā)揮才能的問題了”。他在2018年的一篇文章中寫道。于是，他開始尋找新方向。在涉足生物化學(xué)領(lǐng)域并提出了一個解釋生物體如何“校對”生化反應(yīng)的理論后，霍普菲爾德轉(zhuǎn)向了神經(jīng)科學(xué)。

“我在尋找一個‘問題’，而

不是一個難題。”他在文章中回憶道，并強調(diào)必須找出真正重要的科學(xué)問題。“對我而言，大腦如何產(chǎn)生思維是我們?nèi)祟愄岢龅淖钌羁虇栴}。這無疑是一個‘大問題’。”

霍普菲爾德意識到，聯(lián)想記憶正是這個“大問題”的一部分，而他的凝聚態(tài)物理學(xué)工具箱或許能派上用場。

在傳統(tǒng)計算機中，數(shù)據(jù)以靜態(tài)形式存儲，并通過地址訪問。這個地址與存儲的信息本身并無關(guān)聯(lián)，只是一個訪問代碼。因此，如果地址稍有錯誤，就會訪問到完全錯誤的數(shù)據(jù)。

而人類的記憶卻并非如此。我們常常通過聯(lián)想來記憶。一絲線索或一個記憶碎片，會讓整件事情涌上心頭。比如聞到丁香花的香味時，會想起童年在爺爺花園中的一段往事；又或者，聽到一首歌的前幾句，就能情不自禁地唱出整首你自以為已忘記的歌曲。

霍普菲爾德花了數(shù)年時間研究聯(lián)想記憶，并試圖將其翻譯為神經(jīng)網(wǎng)絡(luò)模型。他對隨機連接的神經(jīng)網(wǎng)絡(luò)和其他潛在的記憶模型進(jìn)行了修補。起初結(jié)果并不理想，直到最后，霍普菲爾德找到了解決這個“大問題”的一個意想不到的關(guān)鍵點。

自旋玻璃

神經(jīng)元相互作用的簡化模型與磁性自旋的伊辛模型有許多相似之處。首先，神經(jīng)元通常被建模為基本的二元開關(guān)：要么激活（發(fā)放信號），要么不激活（靜止）。同樣，自旋也可以向上或向下。此外，一個激活神經(jīng)元可以促進(jìn)或抑制其相鄰神經(jīng)元的激活。神經(jīng)元之間這些可變的相互作用強度讓人聯(lián)想到自旋玻璃中自旋之間可變的相互作用強度。瑞士聯(lián)邦理工學(xué)院洛桑分校（EPFL）的物理學(xué)家兼計算機科學(xué)家倫卡·茲德博羅娃（LenkaZdeborova）說：“從數(shù)學(xué)角度講，可以將這些自旋或原子替換為其他系統(tǒng)，用同樣的工具描述。”

霍普菲爾德的網(wǎng)絡(luò)由一組人工神經(jīng)元構(gòu)成。這些神經(jīng)元既可以處于“開”（激活）狀態(tài)，也可以處于“關(guān)”（靜止）狀態(tài)。每個神經(jīng)元都會影響其他神經(jīng)元的狀態(tài)，而這些交互作用是可以調(diào)整的。網(wǎng)絡(luò)在任何給定時刻的整體狀態(tài)取決于哪些神經(jīng)元激活、哪些靜止。這兩種狀態(tài)可以用二進(jìn)制編碼：激活為1，靜止為0。將整個網(wǎng)絡(luò)在某一時刻的狀態(tài)寫出來，就得到了一串比特。確切地說，這種網(wǎng)絡(luò)并不“存儲”信息，它本身就構(gòu)成了信息。

為了向網(wǎng)絡(luò)“教授”某種模式，霍普菲爾德通過調(diào)整神經(jīng)元之間的相互作用強度來“雕刻”其能量景觀，從而使目標(biāo)模式處于一個低能穩(wěn)定態(tài)中。該狀態(tài)一旦達(dá)成，網(wǎng)絡(luò)就不再演化，而是穩(wěn)定地停留在該模式。霍普菲爾德制定了一條類似神經(jīng)科學(xué)經(jīng)典法則“共同激活的神經(jīng)元更易連接”的訓(xùn)練規(guī)則。他提高目標(biāo)狀態(tài)下共同激活（或共同靜止）神經(jīng)元之間的交互強度，削弱不一致神經(jīng)元之間的聯(lián)結(jié)。一旦網(wǎng)絡(luò)通過這種方式學(xué)會了一種模式，網(wǎng)絡(luò)就可以通過網(wǎng)絡(luò)能量景觀的下坡導(dǎo)航再次達(dá)到這種模式；當(dāng)它進(jìn)入平衡狀態(tài)時，就會自然而然地達(dá)到這種模式。

“霍普菲爾德建立起其中的聯(lián)系并說：‘看，如果我們能調(diào)整自旋玻璃中的交換耦合，也許我們就能塑造這些平衡點，使其變成記憶。’”梅扎爾說。

霍普菲爾德網(wǎng)絡(luò)可以存儲多重記憶，每段記憶都有自己的能量谷。網(wǎng)絡(luò)最終落入哪個谷，取決于初始狀態(tài)在能量景觀中的位置。例如，在一個存儲了貓和宇宙飛船圖像的網(wǎng)絡(luò)中，如果初始狀態(tài)具備“貓”的模糊特征，最終很可能滾入“貓谷”。同樣地，如果網(wǎng)絡(luò)的初始狀態(tài)呈現(xiàn)出飛船的幾何結(jié)構(gòu)，則通常會促使網(wǎng)絡(luò)趨向“飛船谷”。這正是霍普菲爾德網(wǎng)絡(luò)成為聯(lián)想記憶模型的核心原因：

給它一段殘缺或模糊的記憶，它會動態(tài)重建出整段記憶。

舊模型，新思路

從1983年到1985年，辛頓和他的同事們在霍普菲爾德工作的基礎(chǔ)上繼續(xù)努力。他們找到了將隨機性注入霍普菲爾德網(wǎng)絡(luò)的方法，從而創(chuàng)建了一種新型的神經(jīng)網(wǎng)絡(luò)一玻爾茲曼機。這些網(wǎng)絡(luò)不再“記憶”而是學(xué)習(xí)訓(xùn)練數(shù)據(jù)中的統(tǒng)計模式，并生成與這些模式相匹配的新數(shù)據(jù)，這可謂是早期的生成式人工智能。進(jìn)入21世紀(jì)初期，辛頓利用精簡版的玻爾茲曼機，成功破解了訓(xùn)練“深層”神經(jīng)網(wǎng)絡(luò)（由多層神經(jīng)元組成）這一長期難題。

到2012年，辛頓和其他先驅(qū)開發(fā)的深度神經(jīng)網(wǎng)絡(luò)取得的成功已不容忽視。“很明顯，這些模型的實際效果非常好，而且正在改變整個科技行業(yè)。”茲德博羅娃說。我們今天日常接觸的生成式人工智能模型，包括ChatGPT等大型語言模型和Midjourney等圖像生成模型，皆屬于深度神經(jīng)網(wǎng)絡(luò)。它們的成功可以追溯至20世紀(jì)70年代那些不愿讓“無用”的自旋玻璃性質(zhì)無解的好奇物理學(xué)家們。

然而，霍普菲爾德網(wǎng)絡(luò)并不僅僅是人工智能的過去。得益于一些新思路，這些舊模型也可能迎來復(fù)興。

2016年，霍普菲爾德和IBM研究院的德米特里·克羅托夫（DmitryKrotov）意識到，霍普菲爾德網(wǎng)絡(luò)其實不僅僅是一種模型，更是一個具有不同記憶存儲能力的模型族。隨后，在2020年，另一個團(tuán)隊發(fā)現(xiàn)，變換器架構(gòu)（最成功的現(xiàn)代人工智能模型的藍(lán)圖）的一個關(guān)鍵部分也屬于擴展版的霍普菲爾德網(wǎng)絡(luò)族。

2024年12月，杰弗里·辛頓（左）和約翰·霍普菲爾德在斯德哥爾摩舉行的儀式上接受諾貝爾物理學(xué)獎。該獎項旨在表彰他們在最早期神經(jīng)網(wǎng)絡(luò)模型方面所做的開創(chuàng)性工作，這些模型基于自旋玻璃的物理學(xué)原理而設(shè)計

倫卡·茲德博羅娃是瑞士聯(lián)邦理工學(xué)院洛桑分校的物理學(xué)家與計算機科學(xué)家，研究物質(zhì)物理學(xué)如何幫助建模機器學(xué)習(xí)算法的行為

基于這一發(fā)現(xiàn)，克羅托夫和他的同事們最近開發(fā)出了一種新的深度學(xué)習(xí)架構(gòu)：能量變換器。典型的人工智能架構(gòu)多是憑經(jīng)驗摸索出來的。但克羅托夫認(rèn)為，能量變換器可以根據(jù)特定的能量狀況進(jìn)行更有目的性的設(shè)計，就像一個更復(fù)雜的霍普菲爾德網(wǎng)絡(luò)。

雖然霍普菲爾德網(wǎng)絡(luò)最初是為“記憶”而設(shè)計的，但研究人員如今正探索其“創(chuàng)造”能力。圖像生成模型如Midjourney由“擴散模型”驅(qū)動，而該模型本身受到擴散物理過程的啟發(fā)。為了訓(xùn)練這些模型，研究者在訓(xùn)練數(shù)據(jù)（例如貓的圖像）中加入噪聲，再訓(xùn)練模型去除噪聲。這與霍普菲爾德網(wǎng)絡(luò)的工作方式非常相似，只是擴散模型不會每次都回到同一張貓圖像上，而是從嘈雜、隨機的起始狀態(tài)中去除“非貓”噪聲，從而生成新的貓圖像。

德米特里·克羅托夫是IBM研究院的計算機科學(xué)家，他指出，當(dāng)今一些最先進(jìn)的人工智能模型采用的基本原理，與霍普菲爾德網(wǎng)絡(luò)最初使用的原則如出一轍

克羅托夫與其同事發(fā)現(xiàn)，擴散模型其實可以被視為現(xiàn)代霍普菲爾德網(wǎng)絡(luò)的一種特例。這一視角可用于預(yù)測這些網(wǎng)絡(luò)的行為。他們的研究表明，向現(xiàn)代霍普菲爾德網(wǎng)絡(luò)提供越來越多的數(shù)據(jù)，不會導(dǎo)致記憶飽和，而是會使網(wǎng)絡(luò)的能量景觀變得更加崎嶇，最終它更有可能建立一個虛構(gòu)的記憶而不是一個真實的記憶。它變成了一個擴散模型。

對于物理學(xué)家而言，量變（這里指的是訓(xùn)練數(shù)據(jù)的數(shù)量）引發(fā)質(zhì)變并不新奇。正如著名凝聚態(tài)物理學(xué)家菲利普·安德森（PhilipAnderson）在1972年所言：“更多即不同。”在集體系統(tǒng)中，僅僅擴大各部分之間的相互作用網(wǎng)絡(luò)，就可能產(chǎn)生令人驚訝的新行為。“（神經(jīng)網(wǎng)絡(luò)）能起作用是一種涌現(xiàn)屬性。”梅扎爾說。

無論是在深度學(xué)習(xí)架構(gòu)中，還是在大腦中，涌現(xiàn)現(xiàn)象既令人著迷，也難以捉摸；自前還沒有關(guān)于涌現(xiàn)的統(tǒng)一理論。而統(tǒng)計物理學(xué)，作為最早揭示集體行為的工具，或許正是我們理解這些難以解釋的人工智能問題的關(guān)鍵。 2資料來源QuantaMagazine

本文作者埃莉斯·卡茨（EliseCutts）原本是一位地球生物學(xué)家，后來意識到撰寫科學(xué)文章比自己動手做科學(xué)研究有趣得多，便成了一位科學(xué)作家。