基于光網(wǎng)絡(luò)的深度學(xué)習(xí)算法研究

孟海東+冀小青+宋宇辰

摘 要： 光網(wǎng)絡(luò)是一種輕便的、通用的和純基于Matlab的深度學(xué)習(xí)框架。其思想是為深度學(xué)習(xí)研究提供一個易于理解、易于使用和高效的計算平臺。實現(xiàn)此框架可以支持大部分深度學(xué)習(xí)架構(gòu)例如多層感知器網(wǎng)絡(luò)（MLP）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。該框架支持CPU和GPU無縫轉(zhuǎn)換。實驗證明此框架在計算機視覺、自然語言處理以及機器人技術(shù)中有不同的應(yīng)用。

關(guān)鍵詞： 計算機視覺； 圖像理解； 卷積神經(jīng)網(wǎng)絡(luò)； 多層感知器

中圖分類號： TN915.63?34； TP311 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）14?0170?04

Abstract： The optical network is a lightweight， versatile and purely Matlab?based deep learning framework. The idea underlying its design is to provide an easy?to?understand， easy?to?use and efficient computational platform for deep learning research. The framework supports major deep learning architectures such as multilayer perceptron（MLP） networks， convolutional neural networks （CNN） and recurrent neural networks （RNN）. The framework also supports the straightforward switch between both CPU and GPU for computation. The experiment result indicates that the framework has different applications in computer vision， natural language processing and robotic technology.

Keywords： computer vision； image understanding； convolutional neural network； multilayer perceptron

0 引 言

深層神經(jīng)網(wǎng)絡(luò)[1]已經(jīng)給出了許多機器智能問題的主要進(jìn)展，最新的神經(jīng)網(wǎng)絡(luò)模型的實現(xiàn)主要強調(diào)效率。這些框架可以由20萬～50萬行代碼組成，并經(jīng)常涉及多個編程語言[2?4]。它需要付出巨大的努力來徹底理解和改進(jìn)模型。一個簡單的和自我解釋的深層學(xué)習(xí)框架是高度預(yù)期的且加快深層神經(jīng)網(wǎng)絡(luò)模型的理解和應(yīng)用。

在此提出的光網(wǎng)絡(luò)是一個輕便的、通用的和純基于Matlab的深層神經(jīng)網(wǎng)絡(luò)模型。簡潔、高效的Matlab編程技術(shù)已被用來實現(xiàn)所有的計算模塊。許多神經(jīng)網(wǎng)絡(luò)流行的類型，如多層感知器、卷積神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)都在光網(wǎng)絡(luò)中得以實現(xiàn)，是結(jié)合隨機梯度下降的幾個變化（SDG）為基礎(chǔ)的優(yōu)化算法。

自從光網(wǎng)絡(luò)僅用Matlab實現(xiàn)，主要的計算用幾百行代碼來矢量化和執(zhí)行，數(shù)量級比現(xiàn)有的框架更簡潔。所有基本操作都可以輕松定制，只需有Matlab編程基本知識。數(shù)學(xué)化研究人員可以專注于數(shù)學(xué)建模的一部分而不是工程部分。

應(yīng)用程序的用戶可以很容易地理解和修改任何部分的框架，開發(fā)新的網(wǎng)絡(luò)架構(gòu)，使他們適應(yīng)新的應(yīng)用。除了簡單，光網(wǎng)絡(luò)還具有以下特點：光網(wǎng)絡(luò)包含最現(xiàn)代的網(wǎng)絡(luò)架構(gòu)；計算機視覺中的應(yīng)用、自然語言處理和強化學(xué)習(xí)已被證明；光網(wǎng)絡(luò)提供了一個綜合的優(yōu)化算法的收集；光網(wǎng)絡(luò)支持在CPU和GPU之間計算的簡單切換；快速傅里葉變換來有效地計算卷積，從而使大卷積核被支持；光網(wǎng)絡(luò)自動化的超參數(shù)優(yōu)化了新型選擇性的SGD算法。

1 模 塊

主要的計算模塊包括前饋過程和向后/反向傳播過程。前饋過程評估模型，反向傳播報告網(wǎng)絡(luò)梯度。隨機梯度下降算法是用來優(yōu)化模型參數(shù)。

1.1 核心計算模塊

光網(wǎng)絡(luò)能夠?qū)Ｗ⒂跀?shù)學(xué)部分而不是低層次的工程細(xì)節(jié)。為了使本文更完備，在此說明光網(wǎng)絡(luò)中的主要計算模塊。本文的所有網(wǎng)絡(luò)和相關(guān)實驗都是建立在這些模塊的基礎(chǔ)之上。

1.1.1 線性感知器層

一個線性感知器層可以表示為y=Wx+b。在這里，x表示input_dim×1大小的輸入數(shù)據(jù)，W表示output_dim× input_dim大小的權(quán)重矩陣，b是一個output_dim× 1大小的偏置向量，y表示output_dim× 1大小的線性層輸出。

從線性感知器輸入映射到最終的網(wǎng)絡(luò)輸出可以表示為z=f（y）=f（Wx+b），f是一個非線性函數(shù)，它表示在更深層次的網(wǎng)絡(luò)的計算；z是網(wǎng)絡(luò)輸出，通常是一個損失值。

1.1.2 卷積層

卷積層由一個多維濾波器組kio將輸入特征圖Nmap_in映射到輸出特征圖Nmap_out。每個輸入特征圖xi與相對應(yīng)的濾波器組kio進(jìn)行卷積，卷積的結(jié)果是求和并添加偏置值Bo生成o?th輸出圖： 。允許使用大的卷積核，快速傅里葉變換（FFT）是用來計算卷積（及相關(guān)）。根據(jù)卷積定理[5]，在空間域卷積等價于在頻域的逐點乘法。因此，ki*xi可以用傅里葉變換計算：ki*xi=F-1{F{ki}·F{xi}}。在這里，F(xiàn)表示傅里葉變換，“”表示逐點乘法運算，卷積層支持填充和跨越。

從o?th輸出特征圖到網(wǎng)絡(luò)輸出的映射可以表示為z=f（yo）。這里f是從o?th輸出特征圖yo到最終的網(wǎng)絡(luò)輸出的非線性映射。與第1.1.1節(jié)類似，，，需要在反向的過程中計算。

1.1.3 Max?pooling層

最大pooling層計算在窗口中的最大元素與步幅大小，一個定制的im2col_ln功能是實現(xiàn)轉(zhuǎn)換pooling補丁為列向量，來矢量化在Matlab中的pooling計算。內(nèi)置的最大功能是這些列向量可以返回pooling結(jié)果和這些最大值的指數(shù)，然后，在原來的批量數(shù)據(jù)恢復(fù)相應(yīng)指數(shù)。此外，零填充可應(yīng)用于輸入數(shù)據(jù)。

不失一般性，從Max?pooling層輸入到最終的網(wǎng)絡(luò)輸出的映射可以表示為z=f（y）=f（Sx），其中S是選擇矩陣，x是一個列向量，它表示輸入數(shù)據(jù)到這層。

在反向的過程中，被計算并傳遞給淺層：。

當(dāng)pooling范圍小于或等于該步長大小時，可以用Matlab中簡單的矩陣索引技術(shù)計算出。具體來說，與輸入數(shù)據(jù)相同大小的一個空的張量dzdx被創(chuàng)建。dzdx（from）=dzdy，from是pooling指數(shù)，dzdy是一個記錄pooling結(jié)果的張量。當(dāng)pooling范圍大于步長大小時，x中的每一個條目都可以被匯集多次，并且反向傳播梯度需要為這些多個匯集條目積累。在這種情況下，計算可以利用Matlab自帶的功能accumarray（）。

1.1.4 修正線性單元

修正線性單元（ReLU）作為一個主要的非線性映射函數(shù)被實現(xiàn)，一些其他的函數(shù)包括sigmoid和tanh這里的討論就省略了。ReLU函數(shù)是很獨特的函數(shù)，如果輸入大于0，則輸出0，否則y=ReLU（x）=x·ind（x>0）。在反向的過程中，如果輸入數(shù)據(jù)是非負(fù)的，則梯度傳遞到較淺層，否則，梯度被忽略。

1.2 損失函數(shù)

通常，一個損失函數(shù)會和最深核心計算模塊的輸出相連。目前，為了達(dá)到分類任務(wù)光網(wǎng)絡(luò)還支持softmax 中的LogLoss函數(shù)。

1.3 優(yōu)化算法

隨機梯度下降（SGD）為基礎(chǔ)的優(yōu)化算法是訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的主要工具。標(biāo)準(zhǔn)的SGD算法和它的一些流行的變型如adagrad[6]，rmsprop[7]， Adam[8]，同樣實現(xiàn)了深度學(xué)習(xí)的研究。值得一提的是，在此實現(xiàn)了一個新的選擇性的SGD算法便于參數(shù)尤其是學(xué)習(xí)速率的選擇。

2 實 驗

2.1 多層感知器網(wǎng)絡(luò)

在MNIST數(shù)據(jù)上[9]構(gòu)造一個多層感知器網(wǎng)絡(luò)來測試光網(wǎng)絡(luò)的性能。網(wǎng)絡(luò)從MNIST圖像數(shù)據(jù)集取得28×28輸入，在接下來的兩層分別有128個節(jié)點。然后，128維特征連接10個節(jié)點來計算softmax輸出。實驗結(jié)果見圖1。

和測試階段的損失和錯誤率

2.2 卷積神經(jīng)網(wǎng)絡(luò)

在cifar?10數(shù)據(jù)[10]上由4個卷積層構(gòu)建一個卷積網(wǎng)絡(luò)來測試光網(wǎng)絡(luò)的性能。此結(jié)構(gòu)與來自MatConvNet的一個報告相同[3]。32，32，64，64在前三層有5×5大小的卷積核，最后一層有4 × 4大小的內(nèi)核。ReLU函數(shù)應(yīng)用到每一個卷積層之后作為非線性映射函數(shù)。光網(wǎng)絡(luò)自動選擇和調(diào)整學(xué)習(xí)速率并可以達(dá)到非常精確。與有固定的學(xué)習(xí)速率的SGD標(biāo)準(zhǔn)比較，選擇性SGD具有更好的精度。最重要的是，使用選擇性SGD避免手動調(diào)諧的學(xué)習(xí)速率。圖2為實驗結(jié)果。計算在一個Intel i5 6600K CPU和Nvidia Titan X GPU（12 GB內(nèi)存）的臺式電腦上進(jìn)行。當(dāng)前版本的光網(wǎng)絡(luò)用這種網(wǎng)絡(luò)結(jié)構(gòu)在GPU上每秒可以處理750個圖像，大約比使用的CPU速度快5倍。

2.3 LSTM網(wǎng)絡(luò)

長短期記憶（LSTM）[11]是一個流行的遞歸神經(jīng)網(wǎng)絡(luò)模型。由于光網(wǎng)絡(luò)的通用性，LSTM網(wǎng)絡(luò)作為一個特定的應(yīng)用程序可以在光網(wǎng)絡(luò)包中實現(xiàn)。值得注意的是，在光網(wǎng)絡(luò)中的核心計算模塊用于執(zhí)行時域前向過程和反向傳播為LSTM。

在一個LSTM模型中的前向過程可以用公式表示為：

和測試階段的損失和錯誤率

優(yōu)化LSTM模型，在LSTM中通過時間的反向傳播實現(xiàn)和計算最關(guān)鍵值：

采用一個關(guān)鍵的迭代屬性來計算上述值：

一些其他的梯度可以通過使用上述計算輸出的鏈規(guī)則計算：

LSTM網(wǎng)絡(luò)測試一個字符語言建模任務(wù)，該數(shù)據(jù)集由選自莎士比亞作品的20 000個句子組成，每個句子斷成67字（和標(biāo)點符號），LSTM模型可以根據(jù)前一個字符預(yù)測下一個字符。網(wǎng)絡(luò)模型中使用30個隱含節(jié)點并且RMSProp用于訓(xùn)練。在后10次訓(xùn)練，下一個字符的預(yù)測精度提高到70%。

2.4 Q?網(wǎng)絡(luò)

作為強化學(xué)習(xí)中的應(yīng)用，創(chuàng)建一個和MLP網(wǎng)絡(luò)一致的Q?network[12]。然后將Q?network應(yīng)用到經(jīng)典的Cart?Pole的問題中[13]。Cart?Pole系統(tǒng)的動力學(xué)可以在一個兩層網(wǎng)絡(luò)數(shù)百次迭代中學(xué)習(xí)到。對Q?network更新過程的一次迭代為：

式中，act是由概率ε隨機選擇的。所需的網(wǎng)絡(luò)輸出值Qnew是利用觀測到的reward和由此產(chǎn)生的狀態(tài)的貼現(xiàn)值γV（statenew）計算出來的，通過均衡器預(yù)測當(dāng)前的網(wǎng)絡(luò)。通過使用最小平方損失函數(shù)：

3 結(jié) 論

為了深層神經(jīng)網(wǎng)絡(luò)模型的理解與發(fā)展，光網(wǎng)絡(luò)提供了一個易于擴(kuò)展的生態(tài)系統(tǒng)。在Matlab環(huán)境下，整個計算過程可以很容易地跟蹤和可視化。這些設(shè)置的主要功能可以對深度學(xué)習(xí)研究界提供獨特的便利。

參考文獻(xiàn)

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks [J]. Advances in neural information processing systems， 2012， 25（2）： 1097?1105.

[2] JIA Y， SHELHAMER E， DONAHUE J， et al. Caffe： Convolutional architecture for fast feature embedding [C]// Proceedings of the ACM International Conference on Multimedia. [S.l.]： ACM， 2014： 675?678.

[3] VEDALDI A， LENC K. Matconvnet： Convolutional neural networks for Matlab [C]// Proceedings of the 23rd Annual ACM Conference on Multimedia. [S.l.]： ACM， 2015： 689?692.

[4] BASTIEN F， LAMBLIN P， PASCANU R， et al. Theano： new features and speed improvements [J]. arXiv preprint arXiv， 2012， 20： 42?51.

[5] MALLAT S G. A wavelet tour of signal processing： the sparse way [J]. Academic press， 1998 ， 31 （3） ：83?85.

[6] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization [J]. The journal of machine learning research， 2011 （12）： 2121?2159.

[7] TIELEMAN T， HINTON G. Lecture 6.5?rmsprop： Divide the gradient by a running average of its recent magnitude [J]. Neural networks for machine learning， 2012， 4 （2）： 20?26.

[8] KINGMA D， BA J. Adam： A method for stochastic optimization [C]// Proceedings of the 3rd International Conference for Learning Representations. San Diego： [s.n.]， 2015： 1412?1418.

[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[10] KRIZHEVSKY A， HINTON G. Learning multiple layers of features from tiny images [M]. [S.l.： s.n.]， 2009.

[11] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation ， 1997， 9（8）： 1735?1780.

[12] MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human?level control through deep reinforcement learning [J]. Nature 2015， 518（7540）： 529?533.

[13] BARTO A G， SUTTON R S， ANDERSON C W. Neuronlike adaptive elements that can solve difficult learning control problems [J]. IEEE transactions on systems， man and cybernetics， 1983， （5）： 834?846.