深度學習的實現與發展

騫宇澄++劉昭策

摘 要感知器相關概念是Frank Rosenblatt提出的人工神經網絡的基本理論框架。在感知器的理論前提下，結合反向傳播等算法，機器學習達到了有監督的淺層學習水平。過去的三十年里，得益于計算機性能的提高和Geoffrey Hinton，Yann LeCun等研究者的貢獻，深度神經網絡所涉及的幾種學習思想和技術如卷積神經網絡、受限玻爾茲曼機、自動編碼器等大幅度提高了機器的學習效率。如今，深度學習的研究成果已經成功應用在語言識別、目標識別、神經語言程序學、人工智能等領域，具有巨大的發展潛力和社會價值。深度學習有向無監督的學習和復雜數據模型分析等方面發展的趨勢。

【關鍵詞】深度學習 機器學習 卷積神經網絡 反向傳播算法 玻爾茲曼機

1 前言

深度學習（Deep Learning）[1]是建立在計算機神經網絡理論和機器學習理論上的系統科學，它使用建立在復雜的機器結構上的多處理層，結合非線性轉換方法算法，對高層復雜數據模型進行抽象。

如今深度學習的研究成果已成功應用于語音識別、模式識別、目標識別、自然語言編程、人機對弈、人工智能[2]、智慧城市等領域。1997年IBM公司研發的人機對弈系統“深藍”（Deep Blue）擊敗國際象棋世界冠軍卡斯帕羅夫（Garry Kasparov）[3]，從此深度學習和人工智能開始進入人們的視野。2011年，該公司的“華生”（Watson）超級電腦在綜藝節目“危險邊緣”（Jeopardy）中戰勝最高獎金得主和連勝紀錄保持者，再一次引發社會對機器智能的關注。2016年，在被認為是計算機無法勝任的中國圍棋的棋牌游戲中，Google“DeepMind”公司研發的“AlphaGo”成功擊敗世界著名圍棋選手李世石，在領域內引起了軒然大波。可見深度學習科學離人類社會并不遙遠。

2 深度學習的基礎和實現

在深度學習科學誕生和發展的60年歷程中，不斷有更加先進的學習模式和算法被使用。后文的業界調研綜述中所介紹的3種學習方法和神經網絡如今已經被廣泛使用或演化，這些研究成果都有著劃時代的意義，對深度學習發展產生了深遠的影響。

2.1 深度學習的思想基礎-誤差逆傳播算法（BP算法）

BP神經網絡（如圖1）是1986年Rumelhart和McClelland[4]等人提出的，是一種按誤差逆傳播算法訓練的多層前饋神經網絡，它存儲大量映射模式關系，無需揭示其映射方程。BP算法的核心思想是采用最速下降法（梯度下降法），通過反向傳播調試網絡的權值和閾值，使得其誤差平方和最小。

通過數學推導，得出誤差逆傳播算法的主要特點是：連接權重與學習模式誤差成比例變化。

BP網絡所提供的BP算法，有著一定的非線性映射能力、多層前饋網的泛化能力和樣本容錯能力。但是由于其學習速率是固定的，網絡的收斂速度很慢，對于復雜問題難以高效解決。其次，BP算法可以使權值收斂到某個值，但是不能保證其為誤差平面的最小值，因為梯度下降方法所求的是局部最小值。同時，隱含層和單元選擇沒有固定的要求，因此會產生一定的冗余。

2.2 圖像處理領域的里程碑-卷積神經網絡

20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經元時發現網絡結構可以降低反饋神經網絡的復雜性，進而提出了卷積神經網絡的概念。由于其避免了對圖像的前期預處理，可以直接輸入原始圖像，CNN已經成為神經網絡的標志性代表之一。

CNN的基本結構[5]有多種解釋，本文的介紹包括兩層：其一為特征提取層，神經元的輸入層與前一層的局部連接域相連從而提取特征，提取完畢之后每個特征也會相互確立穩定的關系。其二是特征映射層，計算層由特征映射層組成，每個特征映射是一個平面，平面上所有神經元共享權值。共享權值的思想也是CNN的獨特之處。這種雙層特征提取結構有效提高了特征的分辨率。

CNN的首個實現是日本科學家K.Fukushima于1980年提出的“新識別機”，之后Alexander和Taylor提出的“改進認知機”避免了耗時的誤差反向傳播，進一步提升了CNN的實用價值。

2.3 深度神經網絡的實現基礎-玻爾茲曼機和受限玻爾茲曼機

如圖2，玻爾茲曼機[6]是Hinton和Sejnowski提出的隨機遞歸神經網絡，也可以看做是隨機的Hopfield網絡，因樣本分布遵循玻爾茲曼分布而命名為BM。

如圖3，RBM是一個雙向概率圖模型，只有可見層節點與隱層節點之間有連接權，可見層節點與可見層節點與隱層節點之間沒有連接權。

可見RBM的結構比BM的網絡拓撲結構更簡單，因為各層內部神經元之間沒有連接，很大程度上提高了網絡訓練與學習的效率。RBM結構相比BM顯得簡單，因此在構造深度置信網絡（DBN）時都是先構造出RBM，再將某些RBM堆棧起來得到DBN。

3 發展趨勢和挑戰

3.1 數據的表示和模型的選擇還有進步空間

毋庸置疑，數據是機器學習的基本要素，也是神經輸入網進行反饋的源頭。數據的表示和建模對深度學習的性能有著很大的影響。目前關于數據表示，有局部表示、分布表示和稀疏分布表示。那么是否有新的表示思路來更新數據模型，如加入不同的稀疏懲罰對RBM和EA訓練進行改進。在能量函數方面，如果不增加隱藏單元的數量，只利用非參數形式的能量函數，是否能擴充RBM的容量。這些都是需要進一步研究的問題。

在學習模型上，除了CNN、DBN和EA等成型的網絡之外，是否還存在其他的訓練學習模型。為了挖掘DBN的優勢，結合其結構特點，可以提出新穎的學習模型。比如參考基因網絡、人體免疫網絡、社會人際網絡等等。

3.2 特征提取方法是算法設計的核心

高斯伯努利模型是特征模型的范例，除此之外是否還有其他成功的模型可以用來提取數據特征。未來的特征算法研究將主要集中在自適應的特征提取和自動編碼機制等方面。在提取特征的邏輯層方面，除了樹結構和圖結構，還有哪些泛化結構可以高效抓取特征進行分析和傳遞。盡管當前普遍的預訓練和判別微調方法對許多語言識別上都有不錯的效果，但在某些語言識別中卻不盡如人意。特征提取算法仍然需要進一步地改進和提升，以應對大數據的沖擊，排除信息安全方面的隱患。

3.3 學習可控性是安全性的前提

學習可控性是機器學習需要關注的一個問題，即到底賦予機器多少權限和思維能力。在機器學習的研究階段，研究者始終在尋求一種賦予機器思維的能力，而基本上并不關心這些思維訓練之間的互相作用。在阿西莫夫的著名科幻小說《我，機器人》（“I，Robot”）[7]中，阿西莫夫定義了機器人必須遵守的三大法則，由于機器的邏輯思維能力有限，接受的數據信息也有限，難以根據不同的情況做出更加人性化的決策。在小說和電影的結尾，機器人的學習能力超越了人類的預料，其陷入了一個“為了保護人類而傷害人類”的思維黑洞。這個結局很好地體現了機器學習的最大隱患—“學習失控”。雖然如今的機器學習水平無法達到這樣的程度，但是這樣的設想也不是沒有道理和科學依據的。在機器學習科學研究的初期，研究者必須考慮這樣的因素，摒棄互相沖突和矛盾的思維模型，并且始終控制機器的學習延展力。

4 結束語

本文系統介紹了深度學習（Deep Learning）領域的相關信息。結合計算機神經網絡和機器學習的相關概念，得出了“深度學習是建立在深度結構神經網絡上的復雜思維模式機器學習”的認識。

本文著重介紹了深度學習的3種重要的方法：BP算法、卷積神經網絡、玻爾茲曼機和受限玻爾茲曼機，之后又對深度學習的發展趨勢和挑戰進行了說明。為了方便讀者閱讀本文，筆者附上深度學習的發展歷程圖（如圖4），僅供參考。

參考文獻

[1]S.Haykin.神經網絡與機器學習[M].申富饒，徐燁，鄭俊等，譯.第三版.北京：機械工業出版社，2011.

[2]M.Negnevitsky.人工智能：智能系統指南[M].第三版.北京：機械工業出版社，2011.

[3]吳軍.浪潮之巔（上）[M].第二版.北京：人民郵電出版社，2014：15-38.

[4]E.Rumelhart，L.McClelland.Paralleldistributedprocessing[M].BradfordBook，1987.

[5]Y.LeCun.LeNet-5，convolutional neural networks [M].Retrieved，2013.

[6]Ackley，David H and Hinton，Geoffrey and Sejnowski，Terrence J.A learning algorithm for Boltzmann machines，Cognitive science（EI sevier）9（01）：140-170.

[7]阿西莫夫.我，機器人（第二版）[M].北京：科學普及出版社，1983.

作者簡介

騫宇澄（1996-），男，陜西省西安市人。成都市雙流區四川大學軟件工程專業，本科生。研究方向為機器學習。

劉昭策（1996-），男，山西省運城市人。成都市雙流區四川大學軟件工程專業，本科生。

作者單位

四川大學 四川省成都市 610207