卷積神經(jīng)網(wǎng)絡(luò)算法分析及圖像處理示例

摘要：卷積神經(jīng)網(wǎng)絡(luò)具有局部結(jié)合、權(quán)值共享及下采樣等特征，可有效地降低網(wǎng)絡(luò)的復(fù)雜度減少訓(xùn)練參數(shù)的數(shù)目。基于這些優(yōu)越特性，它在各種信息處理中的性能優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。本文首先介紹神經(jīng)網(wǎng)絡(luò)，進(jìn)而詳細(xì)的分析了卷積神經(jīng)網(wǎng)絡(luò)的原理及結(jié)構(gòu)，包括卷積層、池化層、全連接層，并利用TensorFlow簡(jiǎn)單的展示卷積神經(jīng)網(wǎng)絡(luò)用于圖像處理。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò);卷積神經(jīng)網(wǎng)絡(luò);TensorFlow

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）34-0176-02

1 概述

神經(jīng)網(wǎng)絡(luò)最早始于1943年的神經(jīng)生理學(xué)家沃倫·麥克洛克和數(shù)學(xué)家沃爾特·皮茨，他們?cè)诟鶕?jù)人腦神經(jīng)結(jié)構(gòu)提出了感知機(jī)神經(jīng)元模型。1958年Rosenblatt提出了由兩層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)并實(shí)現(xiàn)用單個(gè)感知機(jī)的訓(xùn)練。該模型數(shù)學(xué)表示為Y=f（∑w*x），f（x）為激活函數(shù)，w為權(quán)值向量，x表示模型輸入，Y表示模型輸出。神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)是一個(gè)多層的復(fù)合函數(shù)。在神經(jīng)網(wǎng)絡(luò)中每一層神經(jīng)元僅僅與下一層的神經(jīng)元全連接，而在同一層或跨層的神經(jīng)元彼此都不連接。這種簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，被稱為多層前饋神經(jīng)網(wǎng)絡(luò)。1986年杰弗里·辛頓和大衛(wèi)·魯梅爾哈特等人提出了反向傳播（BP）算法系統(tǒng)簡(jiǎn)潔地闡述反向傳播算法（BP）在神經(jīng)網(wǎng)絡(luò)模型上的應(yīng)用。該算法主要分兩步驟：通過正向傳播輸入信號(hào)，輸出分類信息;然后通過反向傳播誤差值，鏈?zhǔn)角髮?dǎo)反向調(diào)整全網(wǎng)權(quán)值，讓下一輪的訓(xùn)練中得到更加準(zhǔn)確的輸出。該算法把網(wǎng)絡(luò)權(quán)值優(yōu)化的運(yùn)算量，從原來的與神經(jīng)元個(gè)數(shù)的平方成正比，下降到只和神經(jīng)元數(shù)本身成正比，使得權(quán)值參數(shù)的調(diào)整變得簡(jiǎn)單易行。該文解決了兩層神經(jīng)網(wǎng)絡(luò)所需要的復(fù)雜計(jì)算量問題，從而帶動(dòng)了兩層神經(jīng)網(wǎng)絡(luò)研究的熱潮。近年來，隨著計(jì)算力的增強(qiáng)及數(shù)據(jù)的普及，神經(jīng)網(wǎng)絡(luò)得到了迅速發(fā)展，神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了白熱化階段，為了獲得更好的結(jié)果，神經(jīng)網(wǎng)絡(luò)的應(yīng)用也越來越廣泛。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括設(shè)置不同的學(xué)習(xí)率、激活函數(shù)類型、正則類型、正則率、網(wǎng)絡(luò)層設(shè)置等參數(shù)來使訓(xùn)練達(dá)到良好的結(jié)果。圖1是根據(jù)不同的迭代次數(shù)，采用不同的學(xué)習(xí)率、激活函數(shù)、不同的正則類型和正則率、以及不同的網(wǎng)絡(luò)層結(jié)構(gòu)進(jìn)行簡(jiǎn)單訓(xùn)練的demo示例。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)是20世紀(jì)60年代Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，進(jìn)而提出了卷積神經(jīng)網(wǎng)絡(luò)CNN。如今，CNN已經(jīng)成為眾多科學(xué)領(lǐng)域的研究應(yīng)用熱點(diǎn)之一，特別是在圖像處理領(lǐng)域，由于該網(wǎng)絡(luò)避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。K.Fukushima提出的新識(shí)別機(jī)是卷積神經(jīng)網(wǎng)絡(luò)的第一個(gè)網(wǎng)絡(luò)實(shí)現(xiàn)。卷積神經(jīng)網(wǎng)本質(zhì)上是一個(gè)權(quán)值共享的多層復(fù)合函數(shù)。該模型的特征使得圖像在平移、扭曲、縮放等操作中具有一定程度的不變性，并具有很強(qiáng)的魯棒性和容錯(cuò)能力，并且也易于訓(xùn)練和優(yōu)化。如圖2，卷積神經(jīng)網(wǎng)絡(luò)分為輸入層、卷積層、下采樣層、全連接層以及輸出層。

卷積層，卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心。該層通過“局部感受野”和“權(quán)值共享”等神經(jīng)網(wǎng)絡(luò)處理操作。卷積層可對(duì)高維數(shù)據(jù)輸入實(shí)施降維處理并自動(dòng)提取原始數(shù)據(jù)的核心特征，達(dá)到了去偽存真的目的，極大地提高了處理時(shí)效。激活層，激活層中的激活函數(shù)包括線性激活函數(shù)和非線性激活函數(shù)。非線性激活函數(shù)將前一層的線性輸出進(jìn)行非線性激活函數(shù)處理，從而可達(dá)到模擬、逼近任意復(fù)雜函數(shù)的目的，進(jìn)而增強(qiáng)網(wǎng)絡(luò)的表征能力。常見的三種非線性激活函數(shù)包括Sig-moid、Tanh、RELU等，如下圖四種不同的激活函數(shù)：

線性激活函數(shù)只能進(jìn)行線性可分，非線性激活函數(shù)使得網(wǎng)絡(luò)模型可以非線性的表征特征。Sigmoid函數(shù)取值范圍為（0，1），它可以將實(shí)數(shù)映射到（0，1）的區(qū)間，用來做二分類。然而，Sig-moid函數(shù)在趨近0和1時(shí)變化率會(huì)變得平坦導(dǎo)致梯度消失。Tanh函數(shù)也會(huì)出現(xiàn)梯度消失的問題。與sigmoid的區(qū)別是，tanh的函數(shù)取值范圍為（-l，1），Tanh的梯度值變化較快，在特征相差明顯時(shí)具有優(yōu)越特性。修正線性單元RELU的提出解決了梯度消失問題，該函數(shù)具有收斂速度快，且不會(huì)產(chǎn)生梯度消失等特性。激活層增強(qiáng)了網(wǎng)絡(luò)的表示能力和學(xué)習(xí)能力。下采樣層，下采樣層其目的是利用數(shù)據(jù)局部相關(guān)性比如圖像數(shù)據(jù)的局部相似性，通過下采樣獲得少量有用數(shù)據(jù)來表征數(shù)據(jù)的主要特征，下采樣層降低了數(shù)據(jù)的處理規(guī)模。由于下采樣具備局部線性轉(zhuǎn)換不變性，從而增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的泛化處理能力。全連接層，通過卷積、激活、池化等多個(gè)網(wǎng)絡(luò)層處理之后，使得待處理的數(shù)據(jù)特性發(fā)生了顯著變化：輸人數(shù)據(jù)的維度降低了，非常可觀地減少了全連接層網(wǎng)絡(luò)的復(fù)雜度;全連接層的輸入數(shù)據(jù)已不再是冗多繁雜的數(shù)據(jù)，而是經(jīng)過反復(fù)提純過的主要特征數(shù)據(jù)，使得最后輸出的結(jié)果更加簡(jiǎn)練、高效、可處理。在同一特征映射層面上的神經(jīng)元權(quán)值相同，所以卷積神網(wǎng)絡(luò)可以并行學(xué)習(xí)，這是卷積神經(jīng)網(wǎng)絡(luò)的一大優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)從提出至今已經(jīng)經(jīng)歷多種變形與融合發(fā)展，包括LeNet、AlexNet、FNet、VGG、NIN、ResNet、GoogleNet、SENet等經(jīng)典的結(jié)構(gòu)。

3 TensorFlow及圖像處理上的應(yīng)用

TensorFlow是基于張量流的機(jī)器學(xué)習(xí)計(jì)算框架。它是基于數(shù)據(jù)流圖作為核心抽象，采用聲明式編程范式，即程序像一種數(shù)學(xué)模型表達(dá)，輸入自變量，輸出因變量。該范式的程序通過用戶設(shè)計(jì)與組合表達(dá)式來實(shí)現(xiàn)計(jì)算，更適合于神經(jīng)網(wǎng)絡(luò)模型。TensorFlow具有代碼可讀性強(qiáng)、引用具有一定的透明性，提供了預(yù)編譯優(yōu)化的能力等優(yōu)越特性。TensorFlow也提供了大量的庫函數(shù)。通過tf.nn.conv2d可以實(shí)現(xiàn)卷積計(jì)算。CNN主要用來識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形。如下圖采用不同核函數(shù)得到的圖片。圖左一采用單位矩陣卷積核得到了原圖，相當(dāng)于未對(duì)圖像進(jìn)行任何操作。圖左二到圖左四分別采用Kerne12、kerne13、kerne14訓(xùn)練得到。

4 結(jié)論

隨著CNN的發(fā)展，CNN網(wǎng)絡(luò)的融合與變形越來越多，CNN的理論發(fā)展日趨成熟。CNN的理論及實(shí)踐發(fā)展迅速，這與我們計(jì)算力GPU的發(fā)展及大數(shù)據(jù)的普遍應(yīng)用密不可分，同時(shí)也得益于不斷開源的工具。CNN高效快捷的應(yīng)用已成普遍，在圖像分類、物體檢測(cè)、物體追蹤、姿態(tài)預(yù)估、文本檢測(cè)識(shí)別、視覺、行動(dòng)識(shí)別、場(chǎng)景標(biāo)記等領(lǐng)域都得到了廣泛的應(yīng)用，并且將獲得較高準(zhǔn)確率。未來人們不僅將會(huì)這些應(yīng)用場(chǎng)景中獲得更高的準(zhǔn)確率，同時(shí)，也將會(huì)兼顧應(yīng)用處理的速度與時(shí)效。

參考文獻(xiàn)：

[1] Williams D，Hinton G.Learning representations by back-prop-agating errors [J]. Nature，1986，323 （6088）：5 33-5 38.

[2] Rodolfo Bonnin.Building Machine Learning Projects with Ten-sorFlow[M].Packt Publishing，2016，12.

[3]張玉宏.深度之美[M].北京：電子工業(yè)出版社，2018.

【通聯(lián)編輯：梁書】

收稿日期：2019-10-12

作者簡(jiǎn)介：劉中雨，男，碩士，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)與數(shù)據(jù)科學(xué)。