基于深度卷積神經網絡的乳腺細胞圖像分類研究

趙玲玲　楊輝華　劉振丙　潘細朋

摘 要：針對深度卷積神經網絡能夠提取圖像的高層特征并對圖像進行有效表達。采用基于深度卷積神經網絡的改進算法，設計了ZCNN網絡結構對乳腺病理細胞圖像進行分類研究。首先，對病理圖像進行預處理，利用ZCA白化降低數據特征間的相關性，從而降低數據間的冗余。其次，在網絡卷積層采用線性校正單元（ReLUs）作為網絡的激活函數，加速計算網絡輸出。最后，在網絡精調時，利用dropout方法隨機斷開池化層的網絡節點，可以有效抑制算法的過擬合，提高算法的泛化能力。采用本文方法對benign和actionable兩類病理細胞圖像的分類，精度達到94.65%。性能上超過了Softmax，PCA以及傳統的卷積神經網絡。

關鍵詞：深度卷積神經網絡；ZCA白化；線性校正單元；dropout方法

中圖分類號： F721.1 文獻標識碼： A 文章編號： 1673-1069（2016）18-144-3

1 概述

2006年，加拿大科學家Hinton和他的團隊在science上發表一篇關于深度信念網絡（DBN）[1]的文章，便引起了學術界的廣泛關注，隨后更多更一般的深度神經網絡方法隨之興起，例如：Denoising Autoencoder（DAE）、Sparse Autoencoder（SAE）、Convolutional Neural Network（CNN）[2]等算法。深度卷積神經網絡可以靈活的調節特征提取的空間尺度大小，因此，對圖像中目標區域的特征提取會更加靈活。利用深度卷積神經網絡對手寫字體MNIST數據集進行識別，性能已經接近人類的識別率，在交通標記識別上已經超過了人類的識別能力[3]。文獻[4]采用CNN結合圖像的空間信息對圖像中像素點進行分類研究，結果優于已有的SVM和k-NN分類方法。文獻[5]將多示例學習（Multiple Instance Learning）方法與深度卷積神經網絡結合應用于高分辨率圖像的分類，并且首次對神經膠質瘤（LGG）進行分類精度達到97%，效果接近病理學家的分類結果。

隨著計算機輔助診斷技術（Computer-assisted diagnosis， CAD）的不斷進步，未來會大大降低病理學家繁重的工作強度。

本文主要是基于深度卷積神經網絡的改進算法，設計了ZCNN網絡結構對乳腺病理細胞圖像進行分類研究。面對復雜的圖片信息（光照、染色不均等），在特征提取前，采用ZCA白化對數據進行預處理，降低數據維度間的相關性，然后，利用深度卷積神經網絡，逐層提取數據的高維特征。網絡構建中，利用線性修正單元（ReLUs）作為各卷積層的網絡輸出函數，可以加快網絡的計算速度。在池化層采用dropout方法隨機斷開網絡節點，防止算法的過擬合，文獻[2]采取的方法是在網絡輸出前的全連接層采用dropout方法，本文是二分類問題，在網絡的全連接層并沒有采用dropout方法，而是在池化層上使用dropout方法，隨機阻止部分網絡權值的更新。在網絡精調時，采用隨機梯度降法逐層計算深度卷積神經網絡的參數。

為了提高算法的精度，采用BP（back propagation）算法對網絡參數進行優化。

2 ZCA數據預處理

自然圖像中相鄰像素間存在很強的相關性。在學習統計模型時，通常采用預處理算法降低數據的這種冗余性。將數據的協方差矩陣轉變成單位矩陣的過程稱為白化（whitening）或球化（sphering）。白化的目的就是降低輸入數據的冗余，使白化后的數據更接近原始數據。在數值上，主要是使數據具有統一的協方差，且每個特征都有相同的方差。通過ZCA（Zero Components Analysis）白化使得數據從x空間映射到XZCAwhite空間，降低了數據間的相關性，特征向量各維度方差相等，數據的重要程度得到統一。

3 深度卷積神經網絡（CNN）

傳統的圖像特征提取方法沒有固定的提取原則，依賴于手工設計特征提取方法。基于深度卷積神經網絡是建立在人工神經網絡基礎上的自動特征提取方法，通過對輸入數據進行多層線性或非線性變換，將數據映射到新的空間里表達，可以穩定有效地提取圖像的固有特征。在視覺領域，通過學習整張數字圖像能夠提取圖像局部的高層特征。通常深度卷積網絡的底層可以學習邊緣、形狀等物理特征，隨著網絡隱含層層數增多可以學習到更多復雜、抽象的視覺特征。但是如果采用全連接方式，隱含層節點數量就會十分龐大，嚴重降低了算法的計算效率。因此，在學習圖像特征時，通常將網絡設計成局部連接的神經網絡。特征平面上的所有神經元共享一個連接權值，也就是每個特征平面上每個神經元的權重都一樣。因此，網絡參數大大減少，復雜度也變低。

一個深度卷積神經網絡主要由三部分組成：卷積層、池化層、全連接層。卷積層是對上層輸入進行卷積濾波，池化層是對上層輸入進行下采樣。卷積層的每個神經元連接上層輸入的小片相鄰區域（即感受野區域），表達圖像的局部特征。池化層用來提取圖像的統計特征，使得網絡結構對微小的平移和形變不敏感。卷積層與池化層交替連接且都是由多個2-D的特征平面構成，每個特征平面均代表一種特征映射，全連接層是1-D向量構成的網絡層，是對輸入數據的特征表達。如圖1是本文中設計的ZCNN網絡結構，共有11個隱含層，其中卷積層與池化層交替連接共有10層，最后一個隱含層為全連接層。網絡的具體參數設置如表1所示。

4 訓練階段

當訓練集比較小時，深度神經網絡訓練時會出現過擬合問題，為了消除過擬合對網絡模型的不利影響，Hitton 等人設計了dropout方法，該方法是指在模型訓練時，以某一概率隨機阻斷某些隱含層特征檢測器的共同作用，即隨機讓網絡的某些隱含層權重不更新，因此，在樣本輸入時會有部分隱含層網絡節點的權重不更新。在測試階段，所有的隱含層節點都有輸出值，只是輸出值降低為原來輸出的1/2。

訓練采用dropout方法的深度卷積神經網絡與傳統的神經網絡訓練類似，利用隨機梯度下降法求解網絡參數。卷積網絡通過前向傳播計算網絡的實際輸出值，然后用實際輸出值與理想輸出值作差，構造誤差損失函數：

En=（t-y） （1）

其中，M表示樣本類別數，n表示樣本序號，t表示第n個樣本的第s維對應的目標值（分類標簽），y表示第n個樣本對應的第s維輸出。最后利用反向傳播策略，通過梯度下降法更新網絡的權值。

5 實驗和結果

5.1實驗數據和網絡結構

實驗數據集由北卡羅來納大學夏洛特分校的張少霆教授提供，共計190張乳腺病理學圖像，其中有100張為benign類，90張為actionable類。分別從benign和actionable類中的每張圖像上采集5張互不相交的感興趣區域作為子圖，大小均為256*256*3。隨機從benign類和actionable類中分別選取360張和340張子圖訓練集，將剩下的子圖作為測試集。

訓練集數據是3維的RGB圖像，我們提取R通道的灰度強度圖像，對其進行歸一化操作，然后再對圖像進行ZCA白化處理去除圖像的相關性。將預處理后的數據送入我們設計的深度卷積神經網絡中，在所有池化層中采用dropout方法計算特征平面，全連接層將最后一個池化層的24個4*4的特征平面構成一個特征向量，作為圖像的特征表達，大小為384*1，用于Softmax分類模型的訓練。本文設計的網絡結構（ZCNN）如表1所示：

算法通過MATLAB R2013a仿真研究，實驗平臺是基于Windows 7操作系統的工作站（Intel（R） Xeon（R） E5-2650 v2 CPU and 32 GB 內存），為了更好的說明本算法在benign和actionable兩類病理細胞圖像的分類效果，我們做了多組對照實驗，計算各種分類方法的評價指標Precision，Recall和Accuracy，公式分別如下：

其中，TP表示benign類被正確分為benign類的樣本個數，TN表示actionable類被正確分為actionable類的樣本個數，FP表示benign類被分為actionable類的樣本個數，FN表示actionable類被分為benign類的樣本個數。

5.2 結果分析

分別對各種算法計算10組數據求取其平均值，結果如表2所示，利用我們的算法求取的精度明顯優于其他幾種方法。由結果可以看出Softmax分類器是單層分類器網絡，沒有充分提取圖像的特征信息，其準確率為79.2%。PCA主要是通過數據降維的方法將高維數據映射到低維空間，在本文中，我們保留了95%的特征信息作為分類依據，準確率達到84.00%。利用文獻[2]中的CNN方法，對圖像數據進行特征提取后分類的精度已經比上述4中算法有了較大的提高，這主要得益于網絡特征提取網絡層數的增加。然而，在分類精度和特征提取的時間上不及本文算法效果好。深度網絡的特征提取所需的時間遠遠大于傳統方法。由此可見，對benign和actionable兩類圖像分類時，采用卷積神經網絡提取圖像的高層特征可以實現更好的分類效果，歸根結底在于圖像特征的有效提取。

6 結論

基于深度學習的特征提取方法在目標識別、圖像分類等領域都遠遠超過了傳統的手工特征提取方法，在本文中，我們基于深度卷積神經網絡結構進行了改進。首先，利用ZCA白化對數據進行預處理降低特征間的相關性，然后，在訓練深度卷積神經網絡時，采用ReLUs作為非線性輸出函數，可以提高網絡計算速度。在網絡優化階段，采用BP算法更新網絡權值，利用Dropout方法隨機斷開網絡節點，實現網絡結構進行優化。將提取病理細胞圖像的高層特征作為Softmax分類器的輸入，可以更精確有效的實現benign和actionable病理圖像的分類。實驗中，采用我們設計深度卷積神經網絡結構的性能超過了傳統方法，并且也優于不采用預處理和Dropout方法的卷積神經網絡。

參 考 文 獻

[1] G.Hinton and R.Salakhutdinov，Reducing the dimensio-

nality of data with neural networks， Science，vol.313， 504（2006）.

[2] A.Krizhevsky， I. Sutskever and G. Hinton， ImageNet classification with deep convolutional neural networks， Advances in neural information processing systems， 1097（2008）.

[3] C. Dan， M. Ueli and S. Jurgen， Multi-column deep neural networks for image classification， 2012 IEEE Conference on Computer Vision and Pattern Recognition（CVPR） 6， 3642（2012）.

[4] H.Nuh and B.Gokhan， Classification of histopathological images using convolutional neural network， International Conference on Image Processing Theory， Tools and Applications 4， （2014）， pp. 1-6.

[5] L. Hou， D. Samaras， T. M. Kurc， Y. Gao， J. E. Davis and J. H. Saltz， Efficient multiple instance convolutional neural networks for gigapixel resolution image classification， arXiv preprint arXiv： 1504.07947， （2015）.