基于分類的神經網絡研究與展望

聞輝 賈冬順

摘 要：本文介紹了神經網絡作為分類器的優(yōu)點，概述了神經網絡的主要發(fā)展歷程，然后對神經網絡面臨的問題和挑戰(zhàn)進行了分析，給出了深度神經網絡與傳統(tǒng)機器學習的關系，最后并對神經網絡的發(fā)展和應用前景進行了總結。

關鍵詞：分類;神經網絡;深度神經網絡;機器學習

分類是一種重要的模式識別和數據挖掘技術，它是人類活動中最常見的決策任務之一。科學、工業(yè)和醫(yī)學等領域中的許多問題都可以視為分類問題。當前，用于分類的神經網絡算法及模型已經廣泛應用于科學、工業(yè)和醫(yī)學等不同領域中。盡管各種神經網絡算法及模型已經取得了較大發(fā)展，但由于算法及模型的差異性，以及不同的非線性問題所呈現出的多樣性和復雜性，傳統(tǒng)的神經網絡分類器在某些復雜問題上其網絡性能往往是有限的。針對不同的非線性問題，如何建立更有效的網絡結構及算法模型，改善其分類性能一直是許多研究人員追求的目標。

一、神經網絡的發(fā)展概述

自1943年科學家McCulloch和Pitts提出基于形式神經元的M-P神經網絡模型，直到1986年，Rumelhart等人[1]提出一種按照誤差反向傳播（BP）訓練多層前饋神經網絡，直到當前深度學習網絡的興起，神經網絡經歷了幾輪新的浪潮。

BP神經網絡模型的提出引起了至今仍是最廣泛應用的神經網絡模型之一。通過對輸入樣本采用并行分布式的處理方式，并且無需預先給出輸入輸出映射關系的數學表達，其學習規(guī)則采用基于誤差反向傳播的梯度下降方法來迭代更新網絡權值，由此使得網絡輸出的誤差平方和達到最小。

自BP神經網絡提出之后，1995年，Vapnik[2]等人在統(tǒng)計學習理論的基礎上提出通過引入核函數來替代內積的方法，稱之為支持向量機（SVM），在核機器學習領域掀起了新的研究熱潮。

以上提到的網絡模型中，網絡隱藏層往往只有一層，對于復雜的模式分類問題，其泛化性能有限。2006年，Hinton[3]提出了深度置信網絡（DBN），DBN是一種基于無監(jiān)督學習的多層前饋神經網絡模型，它由一系列受限波爾茲曼機組成，并首次提出了深度學習的概念。Lecun[4]等人提出的卷積神經網絡（CNN）通過利用空間相對關系來減少網絡參數數目，以此來提高訓練性能。深度學習的本質是通過對觀測數據分層特征表示的基礎上，以進一步實現將觀測數據的低級特征抽象成高級特征表示。從當前的研究進展來看，當數據樣本充足、網絡的隱藏層足夠深，即使網絡未預處理，深度學習也能夠獲得很好的結果，從這個意義上來說，深度學習網絡與大數據呈現一種相輔相成的緊密聯系。深度學習網絡的提出掀起了智能信息領域新的研究浪潮。

在深度學習網絡快速發(fā)展的過程中，淺層神經網絡也一直在不斷的發(fā)展并完善其算法特點。很多優(yōu)化學習算法包括各種聚類算法、模糊優(yōu)化方法、K近鄰算法、Boosting算法、敏感性分析方法、粒子群優(yōu)化算法、進化算法等，被引入到各種神經網絡模型優(yōu)化之中，這些方法的提出進一步促進了神經網絡的發(fā)展和應用。

二、神經網絡面臨的問題及挑戰(zhàn)

盡管各種神經網絡算法及模型已經取得了較大發(fā)展，當前神經網絡的研究仍然面臨著許多問題和挑戰(zhàn)，以下我們列出了神經網絡研究領域的幾個重要問題：

1.網絡結構的設計。神經網絡結構的結構設計主要包括確定合適的網絡層數、確定合適的網絡隱節(jié)點個數及完成網絡各層節(jié)點的有效連接方式。在設計網絡結構時，網絡結構模型不能過于簡單或者復雜。

2.學習算法的設計。在所設計的網絡結構基礎上，設計出相應的學習算法是改善神經網絡分類器性能的關鍵所在。

3.泛化性能。神經網絡的泛化性能與除了與網絡結構緊密相關，還與訓練集的規(guī)模、分類問題自身的復雜程度以及學習算法等多種因素有關。泛化性能一直神經網絡關注的重點問題。

4.對不同非線性問題的適應能力。實際的分類問題中還面臨著樣本屬性丟失、樣本數據污染、樣本集規(guī)模過小或樣本空間維數過高等問題，如何更好地適應這些非線性問題，也是一項具有挑戰(zhàn)性的工作。

三、深度學習與傳統(tǒng)機器學習之間的關系

在已有的各種神經網絡當中，深度學習網絡是當前智能信息領域的研究熱點。關于深度學習技術是否會取代傳統(tǒng)的機器學習方法這一問題，在“微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會”[5]上，中國科學院計算技術研究所研究員陳熙霖給出以下觀點：很多問題是風馬牛不相及的，有些問題可能用深度學習確實很有效，但有些問題卻不一定會得到結論。運用深度學習時需要考慮問題的背景。北京大學信息科學技術學院教授林宙辰指出：在小數據方面，深度學習并不具有很強的優(yōu)勢，因此還是需要掌握傳統(tǒng)方法。

而關于深度學習是否會取代傳統(tǒng)機器學習算法這一問題，深度學習大佬Yoshua Bengio 在Quora論壇上進一步給出深度神經網絡與傳統(tǒng)的機器學習方法是一種相輔相成的關系。

四、總結與展望

神經網絡作為機器學習中的一個重要領域，尤其是當前熱門的卷積神經網絡、生成對抗網絡、以及近來新提出的膠囊網絡等深度神經網絡發(fā)展進一步促進了人工智能在不同領域的推廣應用。隨著計算機硬件性能的不斷提升以及網絡結構的不斷優(yōu)化，神經網絡的學術研究與實際應用也必將取得更大的成功。

參考文獻：

[1]Rumelhart DE，Hinton GE，Williams RJ.Learning representations of back-propagating errors.Nature，1986，323：533-536

[2]Vapnik VN.The Nature of Stastical learning Theory，New York：Springer-Verlag，1995

[3]Hinton GE，Osindero S，Teh Y.A fast learning algorithm for deep belief nets.Neural Computation，2006，18：1527-1554

[4]Lecun Y，Bottou L，Bengio Y.Gradient-based learning applied to document recognition.Proceedings of the IEEE，1998，86（11）：2278-2324

[5]計算機視覺，路在何方.微軟亞洲研究院創(chuàng)研論壇——CVPR 2017論文分享會.https：//weibo.com/ttarticle/p/show？id=2309404121144000181511#_0，2017年6月