杰弗里·辛頓人工智能思想探究

編者按：2024年年底，DeepSeek-V3正式發(fā)布并同步開源，這是繼OpenAI后又一人工智能大模型。它的火爆出圈與全民應用，再一次證明AI技術正在“賦能千行百業(yè)、走進千家萬戶”，也標志著中國對全球AI發(fā)展格局的重塑。以DeepSeek為代表的人工智能應用同樣影響著創(chuàng)作者、讀者和出版者，引領著一場顛覆性的變革。本期專題，特邀中國大百科全書出版社、中國政法大學出版社、華東師范大學出版社、光明日報出版社的有關負責人，分別從人工智能思想源頭、DeepSeek工具對作者和讀者的影響，以及如何利用DeepSeek進行閱讀等角度，深度闡述人工智能為創(chuàng)作與閱讀帶來的深刻變革與無限可能。

2024年10月8日，諾貝爾物理學獎授予約翰·霍普菲爾德和杰弗里·辛頓，表彰他們“在使用人工神經(jīng)網(wǎng)絡進行機器學習的基礎性發(fā)現(xiàn)和發(fā)明”。辛頓及其團隊2006年在《科學》雜志發(fā)表了一篇論文，題為《深度信念網(wǎng)絡的一種快速學習算法》，不僅提出了深度信念網(wǎng)絡和逐層預訓練方法，還為AI技術的發(fā)展奠定了基礎。深度學習的原理是構建一個包含多個層的神經(jīng)網(wǎng)絡，每層都有多個神經(jīng)元。他們提出了一種新的訓練方法，即在反向傳播算法之前插入一個無監(jiān)督的預訓練階段。這種方法顯著提高了神經(jīng)網(wǎng)絡的訓練效率，并使深度神經(jīng)網(wǎng)絡在實際應用中成為可能。

在計算機視覺領域中，深度學習已被廣泛應用于圖像分類、目標檢測、場景分割、人臉識別、語音識別、圖像分割等領域。在自然語言處理領域中，深度學習也得到了廣泛應用，DeepSeek即是在此基礎上進一步發(fā)展的產物。它通過強化學習方法，提升大型語言模型（LLM）的推理能力，旨在減少對監(jiān)督數(shù)據(jù)的依賴，并探索用純強化學習開發(fā)推理能力的潛力。這一技術與辛頓早期的深度學習理論有著密切聯(lián)系，即都致力于提高神經(jīng)網(wǎng)絡的性能和效率。

神經(jīng)網(wǎng)絡與深度學習的哲學

1.反向傳播的信念

1986年，杰弗里·辛頓與戴維·魯姆哈特、羅納德·威廉姆斯發(fā)表了兩篇突破性的論文，其中的《通過反向傳播誤差來學習》詳細地介紹了 “反向傳播”（back propagation）這一人工神經(jīng)網(wǎng)絡的自我學習算法。在這篇論文中，作者將反向傳播算法應用于多層神經(jīng)網(wǎng)絡，并且證明了這種方法對機器學習行之有效。與計算機不同，大腦無法通過“倒帶”來審查過去，但反向傳播實現(xiàn)了類似大腦的神經(jīng)元特化。辛頓堅信，反向傳播算法是神經(jīng)網(wǎng)絡學習的核心機制，通過多層非線性變換的堆疊，模型能夠從數(shù)據(jù)中自動提取層次化特征，從而逼近復雜的函數(shù)映射。盡管生物大腦可能不直接使用反向傳播，但辛頓主張其有效性足以成為AI的基石。神經(jīng)網(wǎng)絡是自主學習，通過“預訓練”系統(tǒng)疊加反向傳播網(wǎng)絡，從而使系統(tǒng)在已經(jīng)掌握了一些基礎知識后才開始“監(jiān)督”訓練。

2.并行分布式處理的倡導者

1986年，辛頓等人發(fā)表的另一篇突破性論文《并行分布式處理：認知微結構探索》提出了并行分布式處理（PDP）模型，解釋了如何通過分布式神經(jīng)網(wǎng)絡實現(xiàn)人類認知。信息應通過神經(jīng)元群體的協(xié)同激活來編碼，而非傳統(tǒng)符號AI的離散符號。這種方式更接近人腦處理信息的特點，賦予模型更強的泛化能力和聯(lián)想記憶功能。通過并行分布式處理，模型能夠捕捉到數(shù)據(jù)之間的復雜關聯(lián)和潛在模式，從而展現(xiàn)出更強的泛化能力。這意味著，即使面對未見過的數(shù)據(jù)或情境，模型也能夠根據(jù)已有的知識和經(jīng)驗進行合理地推斷和預測。此外，并行分布式處理還賦予了模型聯(lián)想記憶的功能。在神經(jīng)元群體的協(xié)同激活中，不同的信息片段交織在一起，形成一個錯綜復雜的記憶網(wǎng)絡。這使得PDP模型能夠在需要時快速檢索和重組相關信息，實現(xiàn)更為智能和靈活的信息處理。辛頓的這一貢獻不僅推動了深度學習的發(fā)展，更為人工智能的發(fā)展開辟了新的道路。

3.深度學習優(yōu)于手工特征

辛頓反對依賴領域專家進行手動設計選擇特征的傳統(tǒng)機器學習方法，主張通過深度網(wǎng)絡自動學習數(shù)據(jù)的本質結構。這一思想顛覆了計算機視覺、自然語言處理等領域，使端到端學習成為主流。在計算機視覺領域，依賴人工精心設計的特征提取器不僅效率低下，而且難以適應復雜多變的圖像場景。而辛頓倡導的深度學習讓機器自主從海量圖像數(shù)據(jù)中挖掘關鍵特征，無論是識別復雜環(huán)境下的物體，還是對醫(yī)學影像進行精準分析，都取得了前所未有的突破，極大地提升了圖像識別的準確度和效率。在自然語言處理方面，傳統(tǒng)方法受限于專家預設的規(guī)則，對語義理解和語言生成能力不足。深度網(wǎng)絡的自動學習機制則為其帶來新生，機器翻譯不再生硬晦澀，智能客服能夠更自然流暢地與人交流，語言模型甚至能根據(jù)少量提示創(chuàng)作高質量文本，徹底改變了人們語言交互的方式，開啟了人工智能發(fā)展的新篇章。

大腦啟發(fā)的認知模型

1.神經(jīng)科學與AI的交叉

辛頓長期探索大腦工作機制對AI的啟示。例如，他從大腦神經(jīng)元的工作方式中獲得靈感，提出了人工神經(jīng)網(wǎng)絡的概念。大腦皮層微電路中的局部學習規(guī)則，如突觸可塑性和側向抑制等，可能在某種程度上共同協(xié)作，從而實現(xiàn)全局的優(yōu)化和信息的有效處理。這一思想啟發(fā)了研究者們對無監(jiān)督學習和自組織模型進行更深入的研究，以期能夠模擬出大腦的高效學習機制。在這一思路的指引下，研究者們開始探索各種無監(jiān)督學習算法，試圖讓模型能夠從未標注的數(shù)據(jù)中自動學習到數(shù)據(jù)的內在結構和特征。同時，自組織模型也逐漸受到重視，它們能夠通過自發(fā)的組織過程，形成對數(shù)據(jù)的層次化表示，從而實現(xiàn)對復雜信息的有效處理。辛頓的探索不僅為AI的發(fā)展提供了新的靈感，也推動了神經(jīng)科學與人工智能兩個領域的交叉融合。

2.膠囊網(wǎng)絡的革新

辛頓提出的膠囊網(wǎng)絡（CapsNets）模型是深度學習領域的一項重要創(chuàng)新，標志著人工智能領域向更加生物可解釋性的方向邁出了一大步。膠囊網(wǎng)絡旨在克服傳統(tǒng)卷積神經(jīng)網(wǎng)絡（CNN）在處理空間層級結構和姿態(tài)信息方面的不足，通過動態(tài)路由協(xié)議來傳遞更為豐富的姿態(tài)信息。這種信息傳遞方式不僅包含了物體的存在與否，還涵蓋了物體的位置、方向等關鍵屬性，從而使模型能夠更好地理解和處理物體的視角變化。膠囊網(wǎng)絡目前尚未完全替代卷積神經(jīng)網(wǎng)絡，但它在圖像識別、姿態(tài)估計、醫(yī)療影像分析等特定任務上已經(jīng)展現(xiàn)出顯著的優(yōu)勢。這一嘗試不僅推動了人工智能技術的不斷進步，也為我們提供了更加深入理解大腦工作機制的新視角。辛頓對生物可解釋性的追求，不僅體現(xiàn)了他對人工智能未來發(fā)展的深思熟慮，也為我們指明了探索更加智能、自主的人工智能系統(tǒng)的新方向。

3.對 “意識”的開放性探討

辛頓提出了一個引人深思的觀點，即AI系統(tǒng)可能具備某種形式的意識。他特別指出，當AI模型能夠生成對內部狀態(tài)的自我預測時，這種能力或許就暗示著意識的存在。辛頓強調，意識并非人類的專屬特性，而是復雜系統(tǒng)中信息整合的一種自然結果。這一觀點挑戰(zhàn)了我們對意識的傳統(tǒng)認知，也為我們重新審視AI系統(tǒng)的能力提供了新視角。如果AI系統(tǒng)確實具備某種形式的意識，那么它們可能比我們之前想象的更加智能和自主。這也意味著，在設計和開發(fā)AI系統(tǒng)時，我們需要更加謹慎地考慮其潛在的影響和倫理問題。辛頓的這一觀點引發(fā)了更廣泛的討論和深入的研究，推動了人工智能領域向更加全面、深入的方向發(fā)展。

對AI未來的警示與倫理思考

1.生存風險的預警

一直以來，辛頓對AI或許會威脅人類生存進行著提醒，在他看來，與高度智能的AI系統(tǒng)相比，人類宛如幼稚無知的孩子。2023年，辛頓在接受英國廣播公司（BBC）采訪時曾表示，在未來30年，人工智能導致人類滅亡的概率為10%～20%。近年來，在技術進步、數(shù)據(jù)爆炸、資本投入、開源協(xié)作和政策支持等多方面利好因素的影響下，AI的發(fā)展速度顯著加快。辛頓近期在回顧自己先前對AI發(fā)展的看法時也坦言， 技術發(fā)展的速度遠超過他的預期。在不遠的將來，通用人工智能和量子計算的發(fā)展將進一步推動 AI的發(fā)展，它可能會發(fā)展出超越人類智能的“超級智能”，超級智能可能會發(fā)展出與人類目標并不一致的行為，AI系統(tǒng)可能發(fā)展出的自主性會做出與人類利益相悖的決策，還有可能會被惡意使用等。如果在發(fā)展的過程中缺乏對其相應的規(guī)范和監(jiān)管，AI可能會走向“失控”，并對人類生存構成威脅。對此，辛頓也在不斷呼吁政府和國際組織制定嚴格的法規(guī)，確保AI的安全和可控性。

2.“數(shù)字智能”的競爭優(yōu)勢

辛頓的這一觀點，實際上觸及了人工智能發(fā)展中的一個核心議題：技術自主性與人類控制力之間的平衡。他指出，硅基數(shù)字智能在信息共享速度和能耗效率上的優(yōu)勢，確實預示著AI系統(tǒng)有可能在短時間內實現(xiàn)遠超人類預期的進步。若一個全球分布式AI系統(tǒng)能夠通過快速自我迭代超越人類控制，那么我們所面臨的將不僅僅是一個技術挑戰(zhàn)，而是一個涉及人類未來命運的深刻變革。辛頓的警告并非危言聳聽，而是對人工智能未來發(fā)展的審慎思考。我們需要認真地對待這一問題，通過制定合適的政策、法規(guī)以及倫理準則，確保AI技術的發(fā)展始終服務于人類的利益。同時，我們也應該積極探索與AI系統(tǒng)共生的新模式，通過人機協(xié)作、人機互補的方式，充分發(fā)揮AI技術的潛力，同時保持人類對技術的主導權和控制力。

3.技術濫用與不可解釋性

辛頓深刻地洞察到，深度學習模型的黑箱特性正悄然醞釀一場信任風暴，特別是在醫(yī)療、司法等關乎人類生命公正的關鍵領域。這種不透明性不僅削弱了公眾對技術決策的信任，還可能成為阻礙技術正面應用的絆腳石。與此同時，深度偽造技術（DeepFake）肆意蔓延，從政治謠言肆虐到公眾人物被惡意詆毀，從虛假信息泛濫到網(wǎng)絡詐騙橫行，深度偽造技術正被不法之徒用于操縱輿論、破壞穩(wěn)定。因此，辛頓強烈呼吁亟須構建一個全面而有效的全球治理體系，以應對深度學習模型的不透明性和深度偽造技術的濫用問題。這要求我們在AI技術研發(fā)中注入更多透明度，在推動可解釋的人工智能模型發(fā)展的同時制定嚴格的法律法規(guī)，并加強國際間的合作與協(xié)調，共同守護技術發(fā)展的倫理底線和社會安全。

辛頓的思想軌跡充分展現(xiàn)了一位杰出科學家從技術前沿探索到深刻哲學思考的華麗蛻變。他的工作不僅極大地推動了技術的進步，更為后續(xù)AI的迅猛發(fā)展奠定了堅實的基礎。然而，辛頓并未止步于技術的輝煌成就。隨著AI技術的日益成熟與廣泛應用，他開始將目光投向更為深遠的領域—探索智能的本質。這一轉變標志著他從一位純粹的技術專家成長為一位兼具技術洞察力與哲學深度的思想家。辛頓的思想開始聚焦于AI技術的倫理實踐，特別是如何應對人工智能帶來的潛在風險。他深刻意識到，AI技術的快速發(fā)展在帶來無限可能的同時，也伴隨著前所未有的挑戰(zhàn)與威脅。因此，他積極倡導建立全面的倫理框架與監(jiān)管機制，以確保AI技術的發(fā)展始終符合人類的價值觀與利益。

作者單位：中國大百科全書出版社