基于卷積神經網絡的中國繪畫圖像分類

楊冰 陳浩月 王小華

摘 要：繪畫圖像分類為繪畫管理與使用提供了便利。傳統圖像分類大多依靠人工提取形狀、顏色等特征，由于繪畫圖像分類需要更專業的知識背景，從而使人工提取特征的過程繁瑣且復雜?；诖?，提出一種基于卷積神經網絡的中國繪畫分類方法，并在此基礎上結合SoftSign與ReLU兩種激活函數的優點，構造一種新的激活函數。實驗結果表明，基于改進后激活函數構造的卷積神經網絡，可以有效提高分類準確率。

關鍵詞：深度學習;卷積神經網絡;中國繪畫;激活函數;圖像分類

DOI：10. 11907/rjdk. 181736

中圖分類號：TP301文獻標識碼：A文章編號：1672-7800（2019）001-0005-04

Abstract：The classification of painting images facilitates the management and use of paintings. Different from traditional image classification， features such as artificial extraction of shapes and colors are required. Classification of painting images requires a more professional knowledge background， which also makes the process of manually extracting features increasingly complicated. Based on this， a Chinese painting classification method based on convolutional neural network is proposed. Based on this， it combines the advantages of two activation functions including SoftSign and ReLU to construct a new activation function. Experimental results show that the convolutional neural network constructed based on the improved activation function can effectively improve the classification accuracy.

Key Words： deep learning; convolution neural network; Chinese painting; activation function; image classification

0 引言

隨著數字化圖像的發展，圖像分類成為圖像領域的研究熱點之一。作為中國傳統文化的重要組成部分，對中國繪畫分類[1-2]的研究有助于更好地繼承與發揚傳統文化。中國繪畫歷史源遠流長，流派與藝術風格眾多，且中國畫以寫意為主，與自然狀態下的圖像相差較大，所涵蓋的內容也更加抽象，所以在特征提取方面需要更多專業知識。傳統圖像分類方法大多是基于淺層結構的學習算法，雖然可以提取一定圖像特征，但在某些特征提取過程中容易導致特征丟失，且特征提取方法的泛化性較差。因此，中國繪畫的圖像分類存在諸多障礙。

受Hubel & Wiesel對于貓視覺皮層電生理研究的啟發，卷積神經網絡由此誕生。Yann Lecun首次將卷積神經網絡用于手寫數字識別[3-4];Krizhevsky等[5]提出經典的卷積神經網絡結構AlexNet，并在圖像識別任務上獲得重大突破。近年來CNN在多個領域發展迅速，其在解決圖像分類[6]與目標檢測[7-8]等多方面問題上都表現出色。卷積神經網絡結構是對真實生物神經網絡進行仿真，權值共享降低了網絡復雜性，而圖像能夠直接輸入神經網絡的特點可避免特征提取與分類過程中數據重建的復雜性。與傳統復雜的特征提取方法諸如提取邊緣、紋理等特征[9]提取方法相比，卷積神經網絡顯得尤為高效。在繪畫圖像領域，文獻[10]提出一種基于混合稀疏卷積神經網絡的方法，對不同風格作者的筆觸特征進行分析;文獻[11]基于水墨的色彩與色調，提出一種基于風格的水墨自動識別方法;文獻[12]應用邊緣檢測定位局部區域并檢測繪畫筆劃，以實現基于直方圖的特征提取及重要線索捕獲，以反映不同藝術家風格。

深度學習為計算機視覺領域的發展作出了卓越貢獻，其中一個重要因素是激活函數的不斷創新。神經網絡中激活函數提供了網絡的非線性建模能力，使神經網絡具有分層的非線性映射學習能力。因此，激活函數是神經網絡的重要組成部分。2006年Hinton通過采用新型激活函數ReLU，使深度網絡的直接監督式訓練成為可能，但ReLU激活函數也同時存在神經元死亡等問題。

卷積神經網絡在多個領域應用廣泛，表現出極強的泛化性，因此本文在卷積神經網絡基礎上研究圖像分類，并進一步研究激活函數對圖像分類準確率的影響，提出一種線性與非線性結合的函數作為激活函數，并在中國繪畫數據集與通用數據集上進行實驗。實驗結果證明，改進后的激活函數提高了分類性能。

1 卷積神經網絡設計

1.1 卷積神經網絡

卷積神經網絡是一種前饋神經網絡，與普通神經網絡結構不同，卷積神經網絡主要由卷積層與下采樣層組成特征提取器。卷積層通常包含若干特征平面，每個特征平面由若干個神經元排列成矩形，同一特征平面上的神經元共享權值，共享權值稱為卷積核。權值共享的優點是能夠減少神經元之間的連接數量，同時降低過擬合風險;下采樣可被認為是一種特殊的卷積過程，能夠減少計算維度，提高模型泛化能力。卷積與下采樣大大簡化了模型復雜性，并減少了模型參數。卷積神經網絡訓練過程主要包括前向傳播和后向傳播，訓練過程中卷積層與下采樣層交替出現。

前向傳播的目的是進行特征提取，主要由卷積操作與下采樣操作實現。圖像由輸入層進入卷積層，再通過激活函數得到輸出值。

1.2 卷積神經網絡結構

本文的卷積神經網絡結構如圖1所示，輸入層是227[×]227的圖像，由17層組成，卷積、下采樣交替4次，后接兩層全連接層。其中第一個與第二個池化層之后接局部響應歸一化層（Local Response Normalization，LRN）[14]，其模仿生物神經系統的側抑制機制，對局部神經元的活動創建競爭機制，使響應較大的值相對更大。第一個全連接層后接dropout[15]，利用dropout消除或減弱神經元節點間的聯合適應性，讓一個神經元的出現不依賴于另一個神經元。每次dropout后，網絡模型都可看成整個網絡的子網絡，相當于實現了模型的平均。LRN與dropout技術同時提高了模型泛化能力。

2 激活函數

2.1 激活函數發展

近年來神經網絡尤其是卷積神經網絡技術取得了巨大進展，主要是由于幾個關鍵因素如卷積神經網絡寬度[16]與深度[17]增加、數據集的擴增、顯卡等高性能硬件的支持、Batch Normalization[18]層設計等，都在一定程度上提高了模型精度。其中，激活函數是卷積神經網絡發展的關鍵技術。

傳統神經元模型使用的激活函數是Sigmoid，其數學形式為：[f（x）=1/（1+exp（-x））]。Sigmoid是使用范圍較廣的一類激活函數，具有指數函數形狀，其在物理意義上最接近生物神經元。此外，（0，1）的輸出還可被表示為概率，或用于輸入的歸一化，代表性的有Sigmoid交叉熵損失函數。然而，它有一個嚴重問題即容易產生飽和效應，也稱為梯度彌散效應。一般而言，Sigmoid 網絡在5層之內即會產生梯度消失現象。

TanH函數是Sigmoid函數的變形，其數學形式為：[f（x）=（1-exp（-2x））/（1+exp（-2x））]。TanH函數克服了Sigmoid函數非零均值輸出的缺點，容錯性好，同時延遲了飽和期，但仍未解決梯度消失問題。

SoftSign[19]函數類似于雙曲正切函數，其數學形式為：[f（x）=x/（1+abs（x））]。SoftSign激活函數相較于雙曲正切函數具有更為平滑的漸近線，并且相比于雙曲正切函數，SoftSign激活函數的激活值在網絡層數1～4層之內并未過飽和。實驗證明，SoftSign激活函數與雙曲正切函數相比，在圖片分類準確率上具有更好的效果。

ReLU函數[20]的出現極大地推動了神經網絡發展。ReLU是一個分段線性函數，其正半軸輸入與輸出保持一致，負半軸輸入恒為零，該形式可以緩解梯度消失現象。但隨著訓練的逐漸推進，落入硬飽和區輸入值的對應權重將無法更新，由此出現神經元死亡現象。ReLU的另一個突出問題是輸出會出現偏移，即輸出均值恒大于零。因此，本文考慮綜合幾個激活函數的優點對其進行改進。

2.2 改進的激活函數

神經網絡選擇激活函數時，需要注意兩點：①避免激活函數過飽和;②避免激活函數過度線性化。相比于ReLU，SoftSign函數使神經網絡具有非線性特點，能夠更好地進行學習;相比于SoftSign，ReLU函數在網絡訓練過程中發揮了更大優勢，可緩解梯度消失現象，且收斂速度更快。結合SoftSign與ReLU函數的優點，構建一個新的激活函數，命名為SReLU。該激活函數定義如下：

式中，[yi]是第i個激活函數f的輸入，當激活函數層的輸入大于0時取ReLU函數值，反之，小于0時取雙曲正切函數值。與PReLU[21]類似，下標c表示圖片顏色的不同通道，[ac]則表示不同顏色通道的取值，控制負半軸輸入。如果[ac=0]，SReLU則退化為ReLU。與ReLU相比，SReLU具有負值，使激活的平均值更接近于0。非零均值輸出能夠加快學習速度，因為其梯度更接近自然梯度[22]。SReLU激活函數如圖2所示。

SReLU激活函數的參數[ac]可以進行反向傳播，從而得到優化，參數更新遵循鏈式求導法則，[ac]梯度優化公式如下：

其中[ε]代表目標函數，[？f（yi）？ac]代表當前層梯度。SReLU當前層的梯度計算方式如下：

3 實驗結果與分析

由于中國繪畫缺乏通用數據集，所以本文實驗的繪畫數據集來自“紅動中國”等網站，按繪畫類別將其分為花鳥、山水、人物3個類別，每類樣本各800幅，訓練數據700幅，測試數據100幅。

3.1 激活函數實驗對比

將本文激活函數SReLU分別與TanH、SoftSign、ReLU、Leak ReLu 4種激活函數進行對比。其中，本文實驗中將激活函數負半軸參數[ac]的值初始化為1時可取得最佳效果，Leak ReLu的負半軸系數也根據經驗初始化為1。實驗結果如表1所示。

由表1可以看出，TanH激活函數的準確率最低，SoftSign激活函數的實驗結果優于TanH，ReLU激活函數具有較高準確率，Leak ReLu激活函數略高于ReLu，而本文激活函數SReLU取得了最高的準確率95.67%，相比于ReLU函數提高了2%，從而證明了本文激活函數應用于中國繪畫數據集的有效性。

值得注意的是，在相同模型參數下，Sigmoid激活函數對中國繪畫數據集的分類效果很差，所以本實驗未將Sigmoid函數的實驗結果考慮在內。

3.2 通用數據集實驗比較

為驗證本文激活函數不僅在中國繪畫數據集分類上具有一定優勢，在其它數據集上依然具有可行性，所以將本文提出的激活函數應用于其它通用數據集進行實驗。實驗的通用數據集來源于牛津大學的Visual Geometry Group，本文選擇其中5類圖像進行實驗，分別為寵物、花、飛機、房子與吉他，每類訓練數據800幅，測試數據200幅。實驗結果如表2所示。

由表2可以看出，本文激活函數在通用數據集上的效果明顯優于TanH和SoftSign激活函數，同時相比于ReLU激活函數，準確率也提高了1.4%，而在本次實驗中，Leak ReLu并未顯示出相較于ReLU的優勢。由此可進一步證明本文提出激活函數的有效性，且該激活函數具有一定泛化性。

4 結語

深度學習是機器學習領域一個全新的發展方向，并廣泛應用于多個領域。本文利用卷積神經網絡的優勢提取中國繪畫特征并對其進行分類，取得了較高準確率。激活函數為卷積神經網絡模型帶來了非線性因素，增強了模型表達能力。本文提出一種改進的激活函數，綜合考慮了激活函數非線性與梯度彌散改善問題，以及激活函數參數在圖像不同顏色通道上的初始化及參數更新問題，分別在中國繪畫數據集和通用數據集上與改進前的激活函數進行實驗對比，結果表明卷積神經網絡的圖像分類準確率得到了相應提高。

參考文獻：

[1] 高峰， 聶婕， 黃磊，等. 基于表現手法的國畫分類方法研究[J]. 計算機學報， 2017， 40（12）： 2871-2882.

[2] 鮑泓. 基于視覺感知的中國畫圖像語義自動分類研究[D]. 北京：北京交通大學，2012.

[3] LECUN L，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE，1998，86（11）：2278-2324.

[4] 趙志宏，楊紹普，馬增強. 基于卷積神經網絡LeNet-5的車牌字符識別研究[J]. 系統仿真學報，2010，22（3）：638-641.

[5] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012：1097-1105.

[6] XIAO T， XU Y， YANG K， et al. The application of two-level attention models in deep convolutional neural network for finegrained image classification[C]. IEEE Conference on Computer Vision and Pattern Recognition. Columbus：IEEE CVPR， 2014：842-850.

[7] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis&Machine Intelligence，2014，37（9）：1904-1916.

[8] GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition，2014：580-587.

[9] LIU C， JIANG H. Classification of traditional Chinese paintings based on supervised learning methods[C]. IEEE International Conference on Signal Processing，Communications and Computing，2014：641- 644.

[10] SUN M J，ZHANG D，REN J C，et al. Brushstroke based sparse hybrid convolutional neural networks for author classification of Chinese ink-wash paintings[C]. IEEE International Conference on Image Processing，2015：626-630.

[11] SHENG J C. An effective approach to identify digitized IWPs （ink and wash paintings）[C]. International Congress on Image and Signal Processing， 2013：407-410.

[12] SHENG J， JIANG J. Style-based classification of Chinese ink and wash paintings[J]. Optical Engineering， 2013， 52（9）： 093101.

[13] 高學，王有旺. 基于CNN和隨機彈性形變的相似手寫漢字識別[J]. 華南理工大學學報：自然科學版， 2014 （1） ：72-76.

[14] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems，2012：1097-1105.

[15] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems，2012，25（2）：1097-1105.

[16] SZEGEDY C，LIU W，JIA Y Q， et al. Going deeper with convolutions[C]. IEEE Conference on Computer Vision and Pattern Recognition， 2015：1-9.

[17] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. http：//papers.nips.cc/paper/8424-imagenet-classification-with-deep-convolutional-neural-netwonet.pdf，2014.

[18] IOFFE S，SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[C]. Proceedings of the 32 nd International Conference on Machine Learning，2015：448-456.

[19] GLOROT X， BENGIO Y. Understanding the difficulty of training deep feedforward neural networks[C]. International conference on artificial intelligence and statistics，2010：249-256.

[20] NAIR V， HINTON G E. Rectified linear units improve restricted boltzmann machines[C]. Proceedings of the 27th International Conference on Machine Learning （ICML-10），2010：807-814.

[21] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing humanlevel performance on ImageNet classification[C]. The IEEE International Conference on Computer Vision （ICCV）. 2015：1026-1034.

[22] CLEVERT D A，UNTERTHINER T，HOCHREITER S. Fast and accurate deep network learning by exponential linear units （ELUs）[DB/OL]. arXiv：1511.07289， 2015.

（責任編輯：黃 ?。?/p>