宋丹 張育釗
【摘要】:宮頸病變圖像分類具有重要的臨床應用價值。基于人工提取特征的分類算法,存在需要專業領域知識、耗時費力、提取高質量特征困難等問題。為此,采用一種改進的深度卷積神經網絡模型,實現了宮頸病變圖像的自動分類;同時,利用數據增強方法,有效避免了深度學習模型受樣本量限制時易出現的過擬合問題。實驗結果表明,該方法的識別率可達到89%,且具有較好的魯棒性和泛化性。
【關鍵詞】:宮頸病變圖像分類 深度學習 卷積神經網絡 數據增強
引言
在中國,宮頸癌是第二大高發癌癥,但是宮頸癌可以通過早期的普查,予以預防和治療,從而明顯降低患病率和死亡率。而臨床診斷的核心問題是診斷的假陽性率較高[1-3],那么宮頸癌細胞的特征識別就成了問題的核心,如何識別更加有效的癌細胞特征,如何自動化的完成分類,是亟待解決的問題,本文探索了從宮頸癌細胞的獲得,到細胞特征識別,并分類的全過程,并闡述基本原理。
1 方法
深度學習可看作是多層的人工神經網絡【4】,通過構建含有多個隱層的神經網絡模型,將低層特征通過逐層非線性特征組合變換,形成更加抽象的高層特征表達,以發現數據的分布式特征表示【5】。卷積神經網絡作為最常使用的深度學習模型之一,以2D或3D圖像直接作為網絡的輸入,避免了傳統機器學習算法中復雜的特征提取過程,相比全連接的神經網絡,其局部連接、權值共享和下采樣的特性減少了網絡參數的數量,降低了計算復雜度,同時對圖像的平移、縮放、旋轉等變化具有高度不變性。圖1顯示了深度卷積神經網絡的特征學習過程,模型從原始圖像僅能學習到一些邊緣、紋理、顏色等低層特征,隨著層數的加深,模型可以學習到更抽象的包含豐富語義信息的高層特征。
對比目前常用的深度卷積神經網絡模型LeNet【6】、AlexNet【7】、VGG【8】等,選用ILSVRC14競賽中獲得冠軍的GoogLeNet【9】作為本文模型的基礎架構,該模型共計22層,主要包括輸入層、2個普通卷積層、9個Inception層和若干池化層。其中,每個Inception層包含6個卷積層和1個池化層。包括Inception結構在內的所有卷積都使用ReLU函數。模型通過Inception結構,在增加網絡寬度的同時,減少了參數的數量,降低了計算復雜度;通過在不同深度處增加兩個loss來保證梯度回傳的消失。
2深度卷積神經網絡架構
2.1網絡架構設計
本文采用LeNet的模型,如圖1所示。
第一層,卷積層:這一層的輸入就是原始的圖像像素,LeNet-5模型接受的輸入層大小為32*32*1。第一個卷積層過濾器的尺寸為5*5,深度為6,不使用全0填充,步長為1.因為沒有使用全0填充,所以這一層的輸出的尺寸為32-5+1=28,深度為6。這一個卷積層總共有5*5*1*6+6=156個參數,其中6個為偏置項參數。
第二層,池化層:這一層的輸入為第一層的輸出,是一個28*28*6的節點矩陣。本層采用的過濾器大小為2*2,長和寬的步長均為2,所以本層的輸出矩陣大小為14*14*6。
第三層,卷積層:本層的輸入矩陣大小為14*14*6,使用的過濾器大小為5*5,深度為16。本層不適用全0填充,步長為1。本層的輸出矩陣大小為10*10*16。按照標準的卷積層,本層應該有5*5*6*16+16=2416個參數。
第四層,池化層:本層的輸入矩陣大小為10*10*16,采用的過濾器大小為2*2,步長為2.本層的輸出矩陣大小為5*5*16。
第五層,全連接層:本層的輸入矩陣大小為5*5*16,在LeNet-5模型的論文中將這一層稱為卷積層,但是因為過濾器的大小就是5*5,所以和全連接層沒有區別。本層的輸出節點個數為120,總共有5*5*16*120+120=48120個參數。
第六層,全連接層:本層的輸入節點個數為120個,輸出節點個數為84個,總共參數為120*84+84=10164個。
第七個,全連接層:本層的輸入節點個數為84個,輸出節點個數為10個,總共參數為84*10+10=850個。
2.2 Softmax分類器
Softmax分類器是除了SVM以外,另一種常見的線性分類器,它是Logistic回歸推廣到多類分類的形式。原始神經網絡的輸出被用作置信度來生成新的輸出,而新的輸出滿足概率分布的所有要求。這個新的輸出可以理解為經過神經網絡的推導,一個樣例為不同類別的概率分別是多大。
2.3 數據增強
Keras圖片預處理工具提供了兩個很強大的功能:圖片增強功能和樣本無線生成功能。所有的圖片預處理工具都寫在一個類ImageDataGenerator中,該類的主要功能的不斷生成一個batch的圖像數據,支持實時數據增強。數據增強包括均值化、白化樣本圖片,也包括對圖片的旋轉、平移、伸縮、翻轉等變換。訓練時該函數會無限生成數據,直到達到規定的epoch次數為止。
通過Keras圖片增強功能,可以有效提高圖片利用率,這在一定程度上提高了深度網絡的性能,防止過擬合(同一張圖片的不同變換保證了模型在更多情況下對該圖片的擬合)。本文將圖片旋轉30°,水平偏移和豎直偏移的幅度都為0.1,剪切強度為0.2,縮放幅度為0.2,進行水平方向翻轉,當進行變換時超出邊界的點將根據nearest的方法進行處理。
3 實驗及結果分析
3.1 數據集
本文采用的實驗數據來自合作醫院泉州婦幼保健醫院提供的470例宮頸病變圖像,其中陽性400例陰性(炎癥)70例, 包括CIN1總2162張圖片,CIN2總1135張圖片,CIN3總878張圖片,normal總325張圖片,總圖片數4500張。
3.2 訓練策略
增強前和增強后的數據集均被隨機分成三部分:訓練集50%、驗證集25%和測試集25%。其中,訓練集用于模型訓練和參數學習;驗證集用于優化模型,在訓練過程中對模型進行測試,根據測試結果自動微調參數;測試集用于測試模型的識別和泛化能力。為保證模型對未知數據的泛化能力,數據集之間互不交叉。
3.3 實驗工具
本文模型在ASUS,Intel i7 CPU,NVIDIA GTX 1081Ti GPU上訓練,使用keras框架,數據增強算法由keras的ImageDataGenerator實現。
3.4 實驗結果及分析
從實驗結果圖2、圖三訓練效果看來,準確率在89%左右,效果不錯了。
4 結束語
本文研究了利用深度學習方法實現宮頸病變圖像的分類。采用的深度卷積神經網絡模型具有更深、更復雜的結構,而參數更少,準確率更高,避免了人工提取特征的復雜性和局限性。采用的數據增強方法有效避免了深度學習算法在樣本量不足時易出現的過擬合問題,實驗證明本文方法提高了識別率,具有較好的魯棒性和泛化性,在一定程度上滿足了更高要求的臨床需求。
【參考文獻】:
【1】 潘晨,閆相國,鄭崇勛等.利用單類支持向量機分割血細胞圖像[J].西安交通大學學報,2005,39(2):150-153.
【2】 竇智宙,平子良,馮文兵等.多分類支持向量機分割彩色癌細胞圖像[J].計算機工程與應用,2009,45(20):236-239.
【3】 王衛星,蘇培垠.基于顏色、梯度矢量流活動輪廓及支持向量機實現白細胞的提取和分類[J].光學精密工程,2012,20(12):2781-2790.
【4】 Shen D,Wu G,Suk H I.Deep learning in medical image analysis[J].Annual Review of Biomedical Engi- neering,2017,19(1).
【5】 Bengio Y,Delalleau O.On the expressive power of deep architectures[C]//International Conference on Algorithmic Learning Theory.Berlin Heidelberg:Springer,2011:18-36.
【6】 LeCun Y,Bottou L,Bengio Y,et al.Gradient-based learn-ing applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.
【7】 Krizhevsky A,Sutskever I,Hinton G E.Imagenet classi-fication with deep convolutional neural networks[C]// Advances in Neural Information Processing Systems,2012:1097-1105.
【8】 Simonyan K,Zisserman A.Very deep convolutional net-works for large- scale image recognition[J].arXiv preprint arXiv:1409.1556,2014.
【9】 Szegedy C,Liu W,Jia Y,et al.Going deeper with con-volutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:1-9.
作者簡介:宋丹(1994—),女,漢族,山西大同市人,碩士研究生,單位:華僑大學工學院計算機專業,研究方向:深度學習。
張育釗(1963—),男,漢族,福建泉州市人,副教授,單位:華僑大學工學院,研究方向:電子信息、通信、自動控制、計算機采集控制。