人工神經網絡的發展及展望

（山西藥科職業學院，山西太原 030031）

人工神經網絡作為人工智能的核心技術，在人臉識別、語音識別、圖像識別、自動駕駛等領域得到廣泛應用，隨著人工智能技術的發展，其重要性日益凸顯，值得深入研究。

1 人工神經網絡含義

人工神經網絡（artificial neural networks，ANN）是一種模仿動物神經網絡行為特征進行分布式并行信息處理的算法數學模型。人工神經網絡利用計算機技術，參考動物大腦神經網絡進行信息處理的系統，其核心是數學算法，通過計算機軟、硬件實現。

人工神經單元的數學模型：

式中：a——激活函數；wi——第i個輸入的權重，i∈［1，n］；xi——第i個輸入，i∈［1，n］；b——神經單元對信號的反應靈敏度；y——神經單元的輸出。

大腦神經細胞如圖1所示，神經系統如圖2所示。

圖1 大腦神經細胞

圖2 大腦神經網絡

人工神經網絡如圖3所示。

圖3 人工神經網絡

由圖1～圖3可知，人工神經單元的運作方式模擬了大腦神經細胞的運作方式，大腦神經網絡的組織結構也是人工神經網絡產生的重要靈感來源[1]。

2 人工神經網絡應用

人工神經網絡能夠解決較多問題，主要是回歸和分類兩大類問題。分類是按照某種特定規則，將數據劃分為若干類，與傳統分類不同的是，人工神經網絡能夠自行尋找規則，不需要事先指定?；貧w是進行數據擬合，尋找數據變化的規律，進行未知數據的預測。

常見的人臉識別、圖像分割、垃圾電子郵件標注、自動垃圾分類等屬于分類問題，通過人臉判斷年齡、通過前幾次的比賽成績預測下一次的成績、通過一只股票的歷史數據預測未來的走勢屬于回歸問題。

現階段，人工神經網絡還應用于語音識別翻譯、圖像識別、文本分析、智能機器人、企業管理、市場分析、決策優化、自動駕駛等方面。

3 人工神經網絡的發展歷史

人工神經網絡的發展過程從1943誕生以來經歷過若干次的高潮與低谷。

3.1 誕生

1943年，沃倫·麥卡洛克和沃爾特·皮茨發表了名為《神經活動中內在思想的邏輯演算》的論文，在論文中提出了人工神經網絡的概念以及人工神經元的數學模型（MP模型）[2]。普遍認為，MP模型是人工神經網絡的起點，為了紀念，MP模型以麥卡洛克和皮茨的單詞首字母命名。

最初的MP模型沒有調整權值的算法。1949年，赫布出版了《行為的組織》一書，在書中提出了神經網絡中的信息是通過連接權值進行存儲的。自此之后，權值的調整算法的研究得以展開，目前的神經網絡，其不同功能的實現是通過調整人工神經網絡的權值實現的。

3.2 第一次研究熱潮

1957年，羅森布拉特提出了“感知器”的概念。本質上，感知器仍然是MP模型，但引入了學習的概念，通過誤差學習算法由人工調整權值，不斷優化感知器的輸出，使預測結果與實際結果逐漸接近，直至一致?？梢哉J為感知器是第一個真正意義上的人工神經網絡。感知器的提出，掀起了20世紀60年代的神經網絡研究熱潮。當時人們認為只要將大量的神經單元組合在一起就可以解決任何問題。

3.3 第一次低潮

1969年，明斯基和佩珀特出版了《感知器》一書，在書中明斯基指出，感知器只能解決簡單的線性問題，解決非線性問題必須使用多層網絡，而多層網絡的實際作用無法證明。由于明斯基在人工智能領域的巨大影響力，這一觀點對人工神經網絡的研究造成了直接沖擊，相關研究迅速進入低潮。

3.4 第二次研究熱潮

1982年，霍普菲爾德提出了Hopfield神經網絡（HNN），并于1984年設計出了該網絡的電子線路，為模型的可用性提供了物理證明。

1985年，辛頓和塞諾夫斯基提出了玻爾茲曼機（BM），并于1986年提出了改進后的受限玻爾茲曼機（RBM）。RBM實際上是兩層的神經網絡，在此基礎上又發展出了深度玻爾茲曼機（DBM，堆疊的受限玻爾茲曼機）和深度置信網絡（DBN，堆疊的受限玻爾茲曼機加BP算法）。

1986年，魯梅爾哈特、辛頓和威廉姆斯發表了《利用誤差反向傳播進行學習表征》，重新發現了BP算法（誤差反向傳播算法）[3]。誤差反向傳播算法目前仍是人工神經網絡中非?；A的算法之一，在現有人工神經網絡模型中得到了廣泛應用。

3.5 第二次低潮

BP算法使人工神經網絡具有了自學能力和概括能力，但也存在明顯的缺陷，即在網絡層數較多時，容易陷入局部最優解，也容易產生過擬合，并且當時的計算機系統也不能支持龐大的數據集運算。

1995年，科琳娜·科爾特斯和弗拉基米爾·瓦普尼克提出了支持向量機（SVM），該方法沒有局部最優問題，并且可以在樣本數量較少的情況下，也能獲得較為理想的結果，因此在BP算法發展遇到瓶頸時，部分研究人員轉向了SVM的研究。

3.6 第三次研究熱潮

2006年，杰夫·辛頓（即之前提出BP算法的辛頓）研究小組提出了深度網絡（deep network）和深度學習（deep learning）概念，深度網絡即多層次的人工神經網絡。隨著計算機技術的飛速發展，計算機的計算速度有了極大提高，大數據、云計算成為現實。

實際上在人工神經網絡發展的低潮期，還有很多研究者在堅持相關的研究工作。卷積神經網絡的發明人楊立昆堅持研究人工神經網絡，并于1998年發表了《基于梯度學習的文件識別》[4]，也因此被稱為卷積神經網絡之父。

目前，已經提出的深度網絡模型主要有卷積神經網絡CNN、循環神經網絡RNN及LSTM、遞歸張量神經網絡RNTN、自動編碼器AutoEncoder、生成對抗網絡GAN、圖神經網絡（GNN）等。深度網絡模型都可以應用于生產實際，并取得了良好的效果，如人臉支付、自動門禁、自動駕駛等各類應用。根據目前的情況分析，此次研究熱潮還將持續一段時間。

4 人工神經網絡的發展方向

（1）現有人工神經網絡在神經單元的激活與抑制中處于靜態，即網絡參數確定之后，對于同樣的輸入，神經單元的輸出是固定的。但從人腦的神經系統運行過程分析，神經元的激活與抑制是動態的，在不同的狀態下，即使輸入相同，神經元的激活與抑制也會發生變化，產生不同的結果。人工神經網絡下一步也應實現動態的激活與抑制機制，以實現更完善的功能。

（2）由于大腦神經網絡的復雜性，目前神經科學研究仍未能揭示大腦神經網絡的詳細工作機理，因此人工神經網絡并不是對大腦神經網絡的全真模擬，而是利用數學技術結合計算機編程所建立的智能系統，能夠在某一方面產生類似大腦神經網絡的功能。

神經科學的研究會為人工神經網絡的構建提供靈感，人工神經網絡技術也會為神經科學的研究提供一些思路或啟發，兩者相輔相成，互相促進發展。

（3）人工神經網絡發展已有近80年歷史，近年來人工神經網絡的應用呈現出爆發式增長的態勢，但并沒有產生過多的創新算法。目前使用的算法多數都是多年前提出的，是在經典模型上的擴展設計而來，全新模型的建立比較少。未來應在人工神經網絡模型創新方面進一步研究。