基于組合激活函數的CNN 應用研究

周月鵬，盧喜利

（韶關學院 信息科學與工程學院， 廣東 韶關512005）

2012 年Hinton 通過卷積神經網絡（Convolutional Neural Network，CNN）解決了ImageNet 問題并取得成功之后［1］，CNN 的應用領域越來越廣，主要包括圖像識別和分類［2］、語音識別［2］、自然語言處理［3］、立體視覺匹配［4-5］等領域.CNN 通過模擬動物大腦的運行機理，實現對象的判斷識別過程.在CNN 模型中，神經元的特征首先進行卷積運算，然后通過激活函數將神經元的特征映射到下一層［6］，激活函數提高了CNN模型的表達能力，可以模擬復雜的數據模型.

在深度學習領域最初采用的激活函數包括Sigmoid 函數［7］和Tanh 函數［8］.Sigmoid 函數主要將輸入值映射到［0，1］，在特征相差不是特別大時，Sigmoid 函數效果比較好，能很好的解決二分類問題，但在反向傳播過程中容易出現梯度消失的情況.Tanh 函數將輸入值映射到［-1，1］，Tanh 函數在有明顯特征差異時的效果很好，但和Sigmoid 一樣，依然存在梯度消失的問題.2010 年Hinton 提出了ReLU 函數作為激活函數，有效緩解了Sigmoid 函數和Tanh 函數中存在的梯度消失問題［9］.2017 年Prajit R 等人提出了Swish 函數，和ReLU 類似，Swish 函數是無上界但有下界的，不同的是Swish 函數是光滑但非單調［10］.當層數超過40 層時，ReLU 函數準確率下降的速度比Swish 函數要快，目前在深度學習領域應用最廣泛的激活函數是ReLU［10］.每個激活函數都有各自的優點，不同的激活函數都有適應的數據集，在實驗中通過在CNN 的不同層中采用不同的激活函數，通過組合的方式實現對象識別準確率的提高.

1 相關工作

1.1 卷積神經網絡

CNN 是一種深層前饋型神經網絡，最常用于圖像領域的監督學習問題，比如圖像識別、計算機視覺等［11］.LeCun 于1998 年提出CNN 模型，并將該模型應用到手寫字符的檢測中［12］.CNN 是一種局部連接、權值共享的神經網絡模型，每一層都包含多個二維平面，每個平面又包含多個神經元［13］.CNN 具有局部感知、參數共享、多卷積核、池化、稀疏性限制等優勢［14］，被廣泛應用在圖像識別領域.LeNet-5［12］是LeCun 設計的用于手寫數字識別的CNN，LeNet-5 包括卷積層、下采樣層、全連接層3 部分，該系統在小規模手寫數字識別中取得了較好的結果.

CNN 的基本結構包括輸入層、卷積層、池化層、全連接層和輸出層［15］.和全連接神經網絡相比，CNN是一種帶有卷積結構的深度神經網絡.CNN 權值共享的特性減少了網絡中參數的個數，降低了網絡模型的復雜度，減少了權值的數量，緩解模型訓練過程中的過擬合現象，減少參數同樣可以減少在運算過程中占用的內存量［16］.

CNN 本質上是輸入到輸出的一種非線性映射，它不需要輸入和輸出之間精確的數學表達關系和嚴格的推導過程，卻能夠有效地反映輸入和輸出的非線性關系，這也是判別模型是否合適的重要依據［3］.2014 年CNN 有了很大的改進，深度學習技術也在這一年快速成長.隨著CNN 網絡層數的增加，可以提取出圖像中的更多的高維特征，提取到的特征也更抽象［14］.其模型見圖1.

1.1.1 卷積層

卷積層首先對上一層特征進行卷積運算，然后通過激活函數運算，就得到輸出特征.圖1 中C1、C3 是卷積層，每個圓圈代表一個神經元，神經元的運算見圖2.

第i 層的神經元一定與i+1 層卷積范圍內的神經元連接，第i 層中每個神經元的值與對應權重相乘后相加再加上偏置值b，f 是激活函數，通過激活函數完成輸入和輸出之間的非線性變換，即：在

其中式（1）中ω 是每一個卷積層和上一層之間每個連接上的權值，x 是每個卷積層輸入的神經元的值，b是偏置值.通過激活函數運算后，得到下一層對應神經元的值.式（2）中f 是激活函數，使得輸入值通過非線性變換后接近目標值.隨著層數的增加，非線性變換的次數增加，可使模型逼近任何非線性函數，更好的擬合其它的非線性模型.

圖1 CNN 模型

圖2 神經元的運算

1.1.2 池化層

圖1 中S1、S3 為池化層. 池化層的作用是降低卷積結果的分辨率來獲得具有空間不變性的特征［17］，同時池化層可以實現特征的二次提取，它的每個神經元通過對局部接受域進行池化操作［15］.池化操作包括最大池化、平均池化、最小池化，池化的主要優點在于可以實現圖像變換不變性、特征表達的緊湊性、對噪聲和擾亂的魯棒性以及擴大局部感受野［18］.

1.1.3 全連接層

圖1 中F1 為全連接層，全連接層將池化運算之后的特征拼接為一維特征作為輸出層的輸入，全連接層神經元的值通過對輸入加權求和，并通過激活函數的運算得到［19］.

1.2 激活函數

激活函數為CNN 引入非線性變換，通過非線性變換提高網絡的表達能力，影響了神經網絡的收斂速度［20］.在傳統的CNN 中，激活函數一般使用飽和非線性函數，如Sigmoid 函數和Tanh 函數，和飽和非線性函數相比，不飽和非線性函數可以解決梯度爆炸和梯度消失問題，同時可以加快收斂速度，使得模型在訓練 過 程 中 更 穩 定［20］.

激活函數主要包括：Sigmoid、Tanh、ReLU［22］、Maxout［21］、Softplus 和Swish［10］，以及ReLU 的變形Leakly ReLU、Parametric ReLU、Randomized ReLU、ELU 等，本文采用比較常用的5 個激活函數，Sigmoid、Tanh、Re-LU、Softplus 和Swish 進行組合實驗.

1.3 Dropout 方法

過擬合（over-fitting）［23］是指模型在訓練過程中參數過度擬合訓練數據集，而對訓練集之外的測試集效果不好，影響模型在測試數據集上的泛化性能的現象［24］.Hinton 等［25］提出的Dropout 方法，在訓練過程中根據設定比例隨機忽略一些節點的響應，這些節點不參加CNN 的前向傳播過程，也不參加后向傳播過程［26］，減輕了傳統全連接神經網絡的過擬合問題，有效地提高了網絡的泛化性能［24］.目前CNN 的研究大都采用ReLU+ Dropout 方法，并取得了很好的分類性能［27］，在實驗過程中采用了Dropout 方法.

2 組合激活函數模型

2.1 算法模型

在經典的CNN 模型中，調整每個卷積層使用的激活函數，運算結果作為下一層神經元的值.在CNN中，模型層數不同，采用數據集不同，取得最好測試準確率的組合方式也不相同.其中4 個卷積層和1 個全連接層的組合函數模型見圖3.

圖3 組合不同激活函數的CNN 模型

圖3 中包含5 個使用激活函數的層 （池化層在圖中沒有標出），5 個激活函數可以從Sigmoid、ReLU、Tanh、Softplus 和Swish 中進行選擇、組合，通過實驗發現取得最高準確率的組合模式，在系統投入使用時針對不同的數據集進行不同的設置.

2.2 實現方法

實驗過程中，根據各個激活函數的不同特點，筆者在實驗過程中選用的激活函數包括：Sigmoid、Re-LU、Tanh、Softplus 和Swish，分別進行組合，圖3 模型中共包含3 125 種組合方式，隨著層數的增多，組合的結果會越來越多. 在針對兩個數據集的測試中，MNIST 數據集采用C2_F1 （兩個卷積層和兩個全連接層）、C3_F1 和C4_F1 的3 個模型進行實驗.CIFAR-10 數據集的采用C1_F2、C2_F2、C3_F2 和C4_F2 的4個模型進行實驗.

2.3 實驗參數設置

數據集MNIST 采用的網絡模型輸入層是28×28 的手寫字體圖像，卷積層都采用3×3 的卷積核，卷積步長為1，第一個卷積層通道數是32，第二個卷積層通道數64，第三個卷積層通道數128；模型中ActFun采用1.2 中提到的5 個激活函數中的任意一個；池化層采用最大池化，池化層窗口大小是3×3，步長為1；每個池化層之后都使用dropout 進行處理，keep_prob 值為0.7，即30%的神經元節點在前向傳播和反向傳播過程中不參與訓練過程的運算，但測試過程中所有的神經元都要參與運算，即keep_prob 值為1；全連接層中所有的神經元都和下一層的神經元相連接，兩個全連接層的神經元個數設置為625；最后是輸出層，通過歸一化函數Softmax 完成模型的運算輸出；模型中learning_rate 值為0.001，training_epochs 值為15，batch_size 值為100，具體模型見圖4.

數據集CIFAR-10 采用的網絡模型輸入層是經過處理后的24×24 的圖像，卷積層都采用5×5 的卷積核，卷積步長為1，3 個卷積層的通道數都是64；模型中ActFun 也采用1.2 中提到的5 個激活函數中的任意一個；池化層采用最大池化，池化層窗口大小是3×3，步長為2；全連接層中所有的神經元都和下一層的神經元相連接，第一個全連接層的神經元個數設置為384，第二個全連接層的神經元個數設置為192；最后通過歸一化函數Softmax 完成模型的運算輸出；模型中learning_rate 值為0.1，training_epochs 值為350，batch_size 值為128.具體模型見圖5.

圖4 數據集MNIST 采用的模型

圖5 數據集CIFAR-10 采用的模型

3 實驗結果及分析

3.1 實驗數據集

組合激活函數模型在MNIST、CIFAR-10 兩個數據集上完成測試.

MNIST 數據集是包含0~9 十個手寫數字組成的數據集，通常用于訓練各種圖像處理系統［29］，該數據集共分為10 類，包含60 000 張訓練圖像和10 000 張測試圖像，每個圖像大小為28×28 像素.

CIFAR-10 數據集分為10 類，每一類有6 000 張彩色圖像組成，其中包含50 000 張訓練圖像和10 000張測試圖像，所有圖像大小都是32×32 像素.在訓練和測試過程中，通過對圖片的處理，輸入圖片大小為24×24 像素.

3.2 實驗結果分析

3.2.1 MNIST 數據集實驗結果分析

針對MNIST 數據集的測試中，分別采用C2F1、C3F1 和C4F13 個模型進行測試.單一激活函數的準確率見表1.C2F1、C3F1 和C4F1 的3 個模型準確率前5 的組合方式分別見表2，表3，表4.

表1 單一激活函數在不同模型的識別準確率 %

表2 模型C2F1 中激活函數組合識別準確率前5 的組合方式

表3 模型C3F1 中激活函數組合識別準確率 前5 的組合方式

表4 模型C4F1 中激活函數組合識別準確率前5 的組合方式

從表1~表4 的實驗數據可知，3 個模型中組合的激活函數比單一的激活函數能取得更好的識別準確率. 針對MNIST 數據集，3 個模型中最好的是4 個卷積層和1 個全連接層，4 個卷積層全部采用ReLU 作為激活函數，全連接層采用Swish 作為激活函數，識別的準確率達到99.48%.

3.2.2 CIFAR-10 數據集實驗結果分析

針對CIFAR-10 數據集的測試中，分別采用C1F2、C2F2、C3F2 和C4F2 的4 個模型進行測試.單一激活函數的準確率見表5.C1F2、C2F2、C3F2 和C4F2 的4 個模型準確率前5 的激活函數組合方式分別見表6~表9.

表5 單一激活函數在不同模型的識別準確率 %

表6 模型C1F2 中激活函數組合識別準確率前5 的組合方式

表7 模型C2F2 中激活函數組合識別準確率 前5 的組合方式

表8 模型C3F2 中激活函數組合識別準確率前5 的組合方式

表9 模型C4F2 中激活函數組合識別準確率前5 的組合方式

從表5~表9 的實驗數據可知，除了C1F2 模型之外，其它3 個模型中組合的激活函數比單一的激活函數能取得更好的識別準確率.針對CIFAR-10 數據集，最好的模型是兩個卷積層和兩個全連接層，兩個卷積層分別采用ReLU 和Softplus 作為激活函數， 兩個全連接層分別采用Softplus 和ReLU 作為激活函數，識別的準確率達到86.74%.

4 結語

通過組合不同激活函數的實驗可以發現，在MNIST 和CIFAR-10 數據集的圖像識別過程中，采用組合激活函數的模型可以比采用單一激活函數取得更好的識別準確率.MINST 數據集中， 模型選用4 個卷積層和1 個全連接層，4 個卷積層全部采用ReLU 作為激活函數，全連接層采用Swish 作為激活函數；CIFAR-10 數據集中，模型選用兩個卷積層和兩個全連接層，兩個卷積層分別采用ReLU 和Softplus 作為激活函數，兩個全連接層分別采用Softplus 和ReLU 作為激活函數.通過實驗數據可知，組合模型中，激活函數ReLU 使用最多，也證明的ReLU 函數具有更好的通用性.