淺談自然辯證法視角下人工神經網絡發展歷程

竇嘉銘

摘 要：闡述了人工神經網絡理論發展的歷史脈絡，利用馬克思主義哲學的基本原理和自然辯證法的觀點分析了人工神經網絡的發展歷程，為人工神經網絡理論發展提供思路。

關鍵詞： 神經網絡; 自然辯證法; 人工智能; 發展歷程; 系統論

中圖分類號： TP183? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）01-0202-03

Abstract：Expounds the related theoretical technology and development course of artificial neural network. Analyzes the artificial neural network theory by using the basic principles of Marxist philosophy and the dialectics of nature to provide ideas for the future development of artificial neural network theory.

Key words：artificial neural network; dialectics of nature; artificial intelligence; development course; system theory

人工神經網絡（ANN，Artificial Neural Network）是在現代生物學的基礎上，受生物的大腦啟發，基于對生物大腦的結構和功能的模仿，采用數學方法對其進行研究而構成的一種信息處理系統[1]。人工神經網絡的發展與演化是所有從事智能控制領域研究的學者們關心的一個重要問題。因此，本文闡述了人工神經網絡理論的發展歷程，探討了其與自然辯證法的相互關聯，為學科的未來發展提供參考。

1 人工神經網絡的發展歷程

人工神經網絡理論的發展歷程是十分艱辛的，也經歷過各種各樣的機會與困難，出現過各種各樣的錯誤與局限，可以分解為三次高潮時期和兩次低谷時期。

1.1人工神經網絡啟蒙階段、第一次高潮期（1890年～1969年）

1890年，美國心理學家和哲學家William.James發表了專著《心理學原理》，這本書中探討了有關人腦的結構和功能的話題。1943年，數學家Walter.Pitts和心理學家Warren. McCulloch一同提出了描述人腦神經細胞動作的數學模型，即M-P模型（是歷史上第一個人工神經網絡模型）。該數學模型，建立了人工神經網絡“大廈”的“地基”，開創了神經科學理論研究的時代，標志著神經網絡研究誕生。1949年，加拿大心理學家Donald Olding Hebb實現了對生物大腦神經細胞之間相互影響的數學描述，從心理學的角度提出了赫布律（一種學習法則）。20世紀50年代，人們開始把人工神經網絡作為人工智能的網絡系統來研究。1957年，Frank Rosenblatt提出了一種“感知器”（perceptron）模型，是世界上首個具有自組織自學習能力的數學模型，掀起了人工神經網絡的第一次熱潮。

1.2 1969年～1982年：第一次低潮期

1969年，人工智能領域頂級專家Marvin Minsky和 Seymour Papert[2]在《感知器》一書中強烈地批判了感知器模型，認為神經網絡沒有科學價值。主要表現為：首先，神經網絡只能用于線性問題的求解，不能解決非線性的問題;其次，當時的計算機計算能力低下而無法支持神經網絡模型所需的計算量。

因此受當時神經網絡理論研究水平的限制以及馮·諾伊曼式計算機發展的沖擊等因素的影響。在從20世紀60年代后期的若干年里，對人工神經網絡的研究一直處于低潮時期，神經網絡的研究陷入低谷。在如此艱難的情況下，仍然有少量研究人員在繼續從事人工神經網絡的研究，提出新的模型和理論。這為人工神經網絡研究的新發展奠定了理論基礎。比如Teuvo Kohonen在1972年提出了著名的自組織映射神經網絡（SOM）模型。

1.3 1982年～1986年：第二次高潮期

1982年，美國物理學家Hopfield他將物理中的動力學內容引入神經網絡，提出了Hopfield神經網絡模型，該模型通過引入能量函數，實現了問題優化求解。1986年7月，Hinton和 David Rumelhart[3]合作在《自然》發表論文，系統地提出了應用反向傳播算法，大幅減少了運算量。同時，通過在神經網絡里增加一個隱含層（hidden layer），解決了感知器無法解決的異或門難題，這就是著名的BP神經網絡模型。BP神經網絡模型是現代神經網絡中作為預測應用最為廣泛的人工神經網絡模型。認知科學的“聯結主義” 在20世紀80年代誕生，認為正是大腦神經元的變化形成了人類的一切認知活動。這一認知提升了人工神經網絡的廣度和深度。在計算能力方面，馮·諾伊曼式計算機的發展也遇到瓶頸（未能使神經網絡模擬視覺聽覺），迫使研究人員尋求新的途徑，這也帶動了研究人員對人工神經網絡理論新的研究熱潮。

1.4 1986年～20世紀初：第二次低潮期

然而好景不長，20世紀90年代中期，Vapnik等人發明了SVM（Support Vector Machines，支持向量機）。SVM一經發明，就在若干個方面都體現出了比人工神經網絡的優勢。比如，SVM不需要調整運算的參數，并且獲得的是全局最優解，效率也比神經網絡要高不少，因此，逐漸取代神經網絡成為主流的運算模型。此外，人工神經網絡的衰落，還有一個重要原因就是，隨著神經網絡的層數增加，最終的輸出結果對于初始幾層的參數影響微乎其微，整個網絡的訓練過程無法保證收斂[4]。 即通過人工神經網絡求得的方程的解不一定是最優的解，有可能陷入了某個范圍內的最優解，而不是整個空間的最優解。在此之后，人工智能界只有少數學者在堅持研究神經網絡。

1.5 2006年—至今：第三次高潮期

然而，2000年以后，伴隨著其他學科的發展，尤其是計算機學科、腦神經學科、大數據學科的發展，使得人工神經網絡的技術瓶頸最終被打破：

1） 計算機硬件的發展：計算機GPU硬件的快速更新，使得人工神經網絡的運算速度逐漸加快，計算時間逐漸減少，為神經網絡的實現提供了硬件上的支撐。

2） 生物醫學領域腦神經科學的發展：腦神經科學表明，人類的DNA并不提供各種用途的算法，而只提供基本的普適的學習機制[5]。人的思維功能主要是依賴于后天的學習，因此一個人后天努力的程度才決定了他的思想和能力。

3） 互聯網技術和大數據技術飛躍式發展：通過互聯網，使得充足的數據被收集起來，并通過人工神經網絡進行處理。此外數據挖掘、數據清洗等數據科學也為人工神經網絡提供了數據保障。

因此，在各個學科的共同推動下，2006年，Hinton等人[5]在《科學（Science）》及其相關的期刊上發表論文，第一次提出了“深度信念網絡”這一概念。這種神經網絡與傳統神經網絡使用不同的訓練方式，區別在pre-training（預訓練）的過程。通過增加預訓練，可以使神經網絡中的權值找到一個接近最優解的值，之后再使用“微調”的方法來優化整個網絡的訓練過程。通過“預訓練和微調”兩種技術的運用，使得神經網絡的訓練時間大幅度減少。Hinton等人給這種神經網絡學習的方法起了一個新名——“深度學習”。

多學科的交叉發展，又一次掀起了使得神經網絡研究的高潮，迄今為止，研究者已經提出了五十多種有效的人工神經網絡模型，廣泛應用于模式識別與圖像處理、控制與優化、金融預測與管理等領域[6]。自此，以深度學習為代表的人工神經網展進入新一輪的發展浪潮。

2 辯證法與人工神經網絡的發展

辯證法是隨著科學技術的進步將不斷豐富和發展的，而科學技術的發展也遵循著辯證法的規律。人工神經網絡理論的發展歷程也必然閃耀著辯證法的光輝。

2.1 人工神經網絡的發展過程遵循了馬克思主義認識論

馬克思主義認為，人類認識問題的方法不外乎感性認識和理性認識，即從實踐到認識，又從認識到實踐，遵循著“實踐—認識—再實踐—再認識”的認識規律。人類對人工神經網絡和生物神經網絡的認識過程也是對辯證唯物主義認識論的充分說明。

人工神經網絡技術的產生，正是源于各學科科學家長期的實踐和探索，而人們對神經網絡技術的認識，又隨著人類實踐的深入而發展。各個領域科學家通過大量的實踐活動（比如對人腦的研究），產生了初級的人工神經網絡。但發展的過程中，難免會出現錯誤。就如在神經網絡發展第一階段的高潮時期，人們對于Frank Rosenblatt發明的感知器網絡存在過高的估計，導致該網絡在當時存在一定的局限性。不過隨著人們對初級的人工神經網絡技術不足之處的認識深入，產生出了新的、速度更快、范圍更廣的神經網絡（Frank Rosenblatt后來提出了新的BP神經網絡）。這一過程體現了辯證的思維方式，從實體的認知發展到系統的認知。

人類認識神經網絡這一過程，是人們對生物神經網絡到人工神經網絡的過程，是對生物神經網絡的認識不斷深化的過程，反映了人類對于生物大腦的認識加深。在人類發展的歷史上，像神經網絡這種借鑒生物系統特別是人類生理系統的控制方法，正是使用系統的、數學的方法，從人類外部模擬人類本身的智能行為，為描述人的心理活動、思維活動和身體結構提供了新的途徑，并將有助于人類對自身的認識提高到一個新階段，這一過程也體現了認識與實踐、感性認識與理性認識、相對真理與絕對真理等多方面的對立統一關系，說明了主體對客體的反映是一個在實踐的基礎上不斷深化、充滿矛盾的辯證發展過程[7]。

人工神經網絡理論的研究與其他大多數科學研究一樣，都是以問題為導向的，只有理論和現實存在各種各樣的新問題，才能迫使研究人員不斷進行實踐，不斷研究，推動該學科的不斷進步，這也體現著馬克思主義理論與實踐的辯證統一的認識論。

2.2 人工神經網絡的發展過程離不開多學科融合的研究方法

科學技術內部的交叉融合是科學技術發展的重要推力。如果說19世紀的科學是以學科不斷分化為主要特征，那么20世紀以來各學科體系在繼續分化的同時也在向高度綜合化[8]、整體化、社會化以及相互滲透、融合的方向發展。人工神經網絡技術的發展當然也不是孤立的，它始終與其他學科的發展和密切相關。正如本文的第一部分所寫，神經網絡第三次高潮時期，正是因為其他學科，如計算機科學、腦神經科學、認知科學的不斷發展，才使得人工神經網絡理論走出第二次低谷，才有了現在的人工智能的高潮時期，這也正反映了辯證法聯系與發展的思想。

神經網絡技術涉及的學科范圍之廣，十分罕見，它涉及：數學、腦神經科學、控制科學、計算機科學、心理學、哲學、信息科學、數據科學、認知科學、生物學、物理學、邏輯學、語言學、微電子學等等。人工神經網絡技術正是在多個學科的基礎上發展起來，相反，隨著神經網絡自身研究的深入也必然會帶動其他學科實現跨越。因此，本文認為，人工神經網絡理論在與其他學科相互滲透、交叉、綜合中實現發展，正是反映了當今時代新工科技術的一大特點。

以人工神經網絡與哲學的關系為例：當人工神經網絡的研究者構建人工神經網絡系統需要知識來源時，自然會傾向于從科學哲學這樣已經相對成熟的學科中尋求有用的概念、理論和方法[9];反過來，人工神經網絡形成和發展的規律及方法論，進而形成的新概念、新方法，反過來又為科學哲學工作者所利用和借鑒，并給科學哲學研究帶來新的機遇。

2.3 人工神經網絡的發展過程體現了辯證法否定之否定規律

否定之否定規律是辯證法三大規律之一，最早是由德國古典哲學家黑格爾在《邏輯學》一書中提出來的，恩格斯將它總結和提煉出來，它揭示了事物發展的方向和道路。

回顧人工神經網絡技術的發展歷程，是符合否定之否定規律的。即使，在現階段人工神經網絡的研究正如火如荼地開展，但在人工神經網絡歷史上，或存在低潮期，或存在高潮期，也會出現這樣的或那樣的問題（比如經歷過計算機計算能力不足、腦神經理論發展不足等），甚至會出現停滯不前甚至謬誤。然而人工神經網絡的發展經歷過低潮期之后，并不一成不變，并不是回到原點，而是螺旋式上升、曲折式前進，也是一種由內部矛盾所引起的自我否定，再通過自我否定實現內部矛盾的轉化，最終解決矛盾的過程。

對于人工神經網絡理論，本文認為，應該回顧人工神經網絡研究的歷史，并對其進行科學的解讀。要用正確的科學的、系統的研究方法，應對不斷出現的新問題，不斷發現錯誤，改正錯誤，不斷完善人工神經網絡理論。

2.4 人工神經網絡理論體現了數學方法及其精準認識事物的作用

恩格斯指出，“數學是辯證的輔助手段和表達方式”[10]。數學模型就是對于一個對象為了特定目的，根據事物特有的內在規律，做出一些必要的簡化條件，得到的數學結構，而這種數學結構可以是數學公式、計算機算法、表格等等多種表現形式。

人工神經網絡技術的發展離不開數學。人工神經網絡的計算是一種低精度的并行計算，是一種非線性計算方式，這種計算方式正是傳統的計算機無法實現的。人工神經網絡正是以工程技術的手段，利用數學模型來模擬生物大腦神經系統的結構和功能，比如學習、分類等功能。神經網絡系統一個高度復雜的非線性動力學系統，其不但具有一般非線性系統的共性，更重要的是它還具有自己的特點[11]，比如高維性、神經元之間的廣泛互連性以及自適應性或自組織性等。

2.5 人工神經網絡技術的發展體現了系統論和系統科學方法

系統思維是把事物當作系統來進行處理的一種思維方法。一些概念如系統、反饋、控制、輸入輸出等等從自然界中概括出來。人工神經網絡理論作為控制理論的重要組成部分，其本身涉及的系統越來越復雜，出現了進化、自組織、自學習等等新概念，這些概念對人工神經網絡這一復雜系統更深刻的描述。當代新工程技術的發展離不開系統論的指導，而人工神經網絡技術，作為當代新工程技術的典型代表，必然也與系統論和系統科學方法聯系緊密。

人工神經網絡等工程技術系統是人工與自然結合的復合系統，是一種復雜的系統，也是一種非線性系統，是人工智能這一復雜巨系統的子系統。神經網絡與多學科的互聯互通，正反映了辯證法聯系的思想，也是神經網絡這一復雜的系統工程的體現。

系統化的研究，是對人工神經網絡理論研究的一個重要的方法，甚至在整個人工智能學術體系中都舉足輕重，一般包括系統分析和系統融合。這種研究方法要求我們要從全局和整體考慮問題，不可只見樹木、不見森林;注意事物之間的復雜關系，不可孤立地看待問題[7]。正如在對人工神經網絡理論的研究中，不僅要對神經網絡中每一個神經元、突觸、信號等局部細節進行研究，還要對神經元整體的連接方式、結構、功能等等宏觀理論進行研究，不可滿足于就事論事。還要對神經網絡產生、演化、發展過程進行研究，對其未來發展進行預測。當然，從系統論的角度看，人工神經網絡理論也有一定缺陷，比如，在模擬人腦的過程中忽視了人是一個整體，而大腦只是人這個整體中的一個部分[12]。近年來的腦科學研究也表明，大腦皮層的神經系統與身體其他部分也進行著交互的作用。因此，在文獻[12]提出了人類智能的首個層次應該是個人單一系統，即智能是由人整個身體所呈現的結果。從這個方面來說，人工神經網絡作為人工智能的子系統，也確實有很多不完善的地方，也需要優化和改進。

3 結論

本文首先介紹了當下火熱的人工神經網絡理論及其發展歷程，其次利用馬克思主義的基本原理和自然辯證法的內容分析了該理論蘊含的哲學思想，為人工智能在哲學領域的發展提供參考。人工神經網絡理論具有高度的復雜性，這就要求廣大科研人員在未來的人工神經網絡探索過程中，要充分理解自然辯證法的理論并加以實踐。要樹立系統思維，充分理解聯系的觀點，把握人工神經網絡學科及其相關學科的發展動向，準確分析神經網絡發展的內在邏輯，抓住其主要矛盾與矛盾的主要方面，以系統思維認識和實踐人工神經網絡的相關理論，更好的實現社會主義科學技術的大發展、大繁榮。

參考文獻：

[1] 馬銳.人工神經網絡原理[M].北京：機械工業出版社，2010.

[2] MINSKY M， PAPERT S. Perceptrons： an introduction to computational geometry[M].Cambridge： The MIT Press， 1969.

[3] Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors[J].Nature，1986，323（6088）：533-536.

[4] 顧險峰.人工智能的歷史回顧和發展現狀[J].自然雜志，2016，38（3）：157-166.

[5] Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）：1527-1554.

[6] 陳慶霞.人工智能研究綱領的基本問題和發展趨勢[D].南京：南京航空航天大學，2009.

[7] 王逢鑫.人民日報大家手筆：當代學術研究三法[EB/OL]. http：//opinion.people.com.cn/n1/2016/0111/c1003-28037329.html

[8] 陳慧萍，何坤金.人工神經網絡發展的若干哲學思考[J].河海大學常州分校學報，2003（1）：38-42.

[9] 李雨欣.人工神經網絡技術研究的哲學思考[D].武漢：武漢科技大學，2007.

[10]? 韋建樺.馬克思恩格斯文集第九卷（反杜林論 自然辯證法） [M]. 北京：人民出版社，2009.

[11] 巫影，陳定方，唐小兵，等.神經網絡綜述[J].科技進步與對策，2002，19（6）：133-134.

[12] 陳俊波，高楊帆.系統論視角下的人工智能與人類智能[J].自然辯證法研究，2019，35（9）：99-104.

【通聯編輯：唐一東】