10月8日,2024年物理學獎頒給91歲高齡的約翰·霍普菲爾德和77歲的杰弗里·辛頓——兩個研究機器學習、掀開當前人工智能革命的大師與“教父”。
看似與傳統物理學研究不搭邊,但仔細查看他們的研究會發現:霍普菲爾德運用物理學原子自旋原理,發明了一種得以保存記憶的神經網絡。后人以他的名字命名為Hopfield神經網絡。辛頓以Hopfield 網絡為基礎,開發了一種新的神經網絡:玻爾茲曼機。靈感同樣來源于奧地利物理學家玻爾茲曼百年前提出的理論。
科學的突破與發現并非一蹴而就。人工智能在過往30多年發展起起伏伏,信念不斷被推倒又重建。以辛頓為代表的AI 學者,用他們的人生證明:有時候,成功來源于最大程度地堅持自我。
77歲的辛頓身體不好。從2005年開始,腰背部出現問題,很難坐立,不敢搭乘飛機出行,遇上商務宴席,他也不能坐在椅子上,而是選擇雙腿跪在地上,經常招來服務員奇怪的眼光。
身體失去控制總是讓人心生絕望,但在辛頓的人生里,他從來都是與缺乏確定性、無法受控的事情相伴。
1947年,辛頓出生在英國一個科學家和教授世家。在十幾歲時,辛頓遇上了促使他思考一生的命題。那是高中時期,一位朋友問他:“你知道嗎,大腦的記憶并不是儲存在某個特定的地方,而是分布在整個大腦,在整個神經網絡里傳播,就像全息圖一樣工作。”他從此開始對人腦機制產生了濃厚興趣。
大學期間,因為這個問題,辛頓曾學過多個專業,先是數、理、化,大二時又學了哲學、建筑學,后來又攻讀了心理學。四年大學讓他發現,這些學科都無法解答人腦神經元如何連接并工作的奧秘。最終,畢業后的辛頓選擇當一名木匠。
只是,這位天真的知識分子發現,他不適合用此謀生。這段日子里,一到周末,他就到圖書館自學大腦工作原理。1972年,他再度“轉行”,憑借發表論文,他到愛丁堡大學就讀人工智能學的博士。
不巧的是,此時正值人工智能的寒冬。在當時的人工智能界,人們開始廣泛地懷疑運用模擬人腦的神經網絡進行機器學習。最著名的論斷來自當時的“人工智能之父”馬文·明斯基,連辛頓的博士導師都被明斯基的理論說服了。他開始勸說自己的學生,換一個有前途的方向吧,別做神經網絡了。辛頓回憶,博士期間,他的研究方向始終與導師期望的背道而馳。辛頓說,他認可明斯基指出的神經網絡的缺陷,但與多數人的選擇不同,他想繼續往“有缺陷的方向”前進,完善前人指出的漏洞。
辛頓回憶,他從小在宗教學校上學,卻是全班唯一不信仰宗教的人?!懊總€人都可能是錯的,你需要堅持自己的主張,直到實現它或者徹底否定它。做科學就需要這樣的精神?!?/p>
固執的辛頓在1978年順利博士畢業。當時的學者也沒預料到,他的堅持從此掀開了人工智能深度學習革命,并讓21世紀的各大巨頭爭相進行科技軍備競賽。
博士畢業后,孤獨的辛頓漂至了美國,總算在加州大學圣迭戈分校找到了一些志同道合的人士。他們相信用計算機多層神經網絡可以模擬人類大腦的演算方式,并擁有推理能力。
1982年,加州理工學院教授霍普菲爾德率先開發了一種神經網絡,用于模擬大腦如何相互作用并產生穩定記憶。
人腦的運作好比需要集體演奏的交響曲,只有當神經元共同作用時,它們才能產生新的、強大的特性?!叭绻阒魂P注網絡中的每一個獨立神經元,是很難察覺這些特性的。”擁有物理學背景的霍普菲爾德,開始想到原子自旋而產生的特性。這一特性使每個原子都成為一個微小的磁鐵。相鄰原子的自旋會相互影響,自旋方向一致的區域得以形成。
運用自旋特性,霍普菲爾德成功構建了有節點和連接的神經網絡,并以能量函數作為表達,大致實現原理類似于人類的聯想記憶。更年輕的辛頓也深受影響和鼓舞。
1986年,辛頓與兩名學者共同發表了一篇題為“通過反向傳播誤差來學習”的論文,成為當代機器深度學習的奠基之作。反向傳播成功解決了多層神經網絡的訓練問題,證明了神經網絡絕非只停留在想象里的空中樓閣。
同一時期,辛頓與同事們發明了玻爾茲曼機。這個新神經網絡汲取了統計物理學的原理,也是當今短視頻等平臺算法令人無法自拔的基本原理:算法可以分析和找到大數據之間的聯系,計算不同類別的人最大概率會喜歡和討厭的內容,并根據每次的點擊情況,實時進行概率計算和內容推送。
1986年,經過訓練的玻爾茲曼機能夠識別出它未曾見過的信息中的熟悉特征。這也就意味著,計算機擁有了自我學習的能力,這正是神經網絡的擁躉多年來所期許的。
然而,進入20世紀90年代,人工智能發展再度進入瓶頸期。各種基于統計的機器學習方法興起,研究神經網絡的人越來越少,辛頓成了少數幾個仍在堅持的人。
后來人們才發現,當時的停滯并不代表辛頓提出的理論和設想是錯誤的,而是受限于當時計算機技術處理計算的能力。
這樣的停滯伴隨著辛頓接下來的20 余年科研歷程,神經網絡始終不受主流學界認可。為了拿到教研經費,他曾在倫敦大學學院、多倫多大學等地工作。
2006年以前,辛頓即使已經在英國、加拿大是院士級別的人物,但他的發現只在學界有名氣,從未得到現實的廣泛應用。然而他始終堅信神經網絡將引起人工智能革命。據稱,為了給自己打氣,辛頓還養成了一種自我激勵的方法,每周發泄般大吼一次:“我發現大腦是怎樣工作的啦!”
2006年,深度學習革命終于在全球打響。這個新時代的序幕依然是由辛頓和學生拉開的。2012 年,在華裔科學家李飛飛舉辦的ImageNet 圖像識別競賽中,辛頓和學生伊利亞( 前OpenAI首席科學家)、亞歷克斯組成團隊,設計了名為“AlexNet”的卷積深度網絡程序,取得了顛覆性的勝利。
后來的故事更為人所知。2012年一舉成名后,辛頓收到了來自百度、谷歌、微軟等巨頭千萬美元年薪的橄欖枝,他最終加入谷歌繼續AI 研究。
如今,大模型、AIGC 等多個應用迎來大爆發,辛頓等到了盼望已久的深度神經網絡引發的人工智能浪潮,這是屬于他引領的時代。
他卻自述過往,認為他的人生與AI浪潮一樣,徘徊在反反復復的起伏里。“我經常會告訴大家,我弄清大腦的工作機制了,可過段時間,我又失望地發現之前的結論是錯誤的。但事情就應該是這樣發展的。正如英國詩人威廉·布萊克的兩句詩,‘將快樂和憂傷編織,披在我神圣的心上’。”
他近年因為大模型的熱潮早已榮譽加身,人們喊他“教父”,對他進行膜拜??瓷先バ令D沒有什么煩惱可言了,但他表現得越來越憂心忡忡,擔心AI 有一天會掌控人類社會。
2024年,他在諾貝爾獎頒獎的現場連線時說:“我感到愧疚和后悔?!薄昂蠡谟袃煞N。一種是因為你做了一些明知不該做的事情而感到內疚;另一種是你做了一些在同樣情況下會再次做的事情,但最終結果可能并不好。我的遺憾是第二種。我擔心這種做法的后果是,比我們更聰明的系統最終會掌控一切?!?/p>
(摘自“南風窗”微信公眾號)