基于遷移學(xué)習(xí)的膠囊內(nèi)鏡圖像分類

梁立媛，吉曉東，2*，李文華，3

(1. 南通大學(xué)信息科學(xué)技術(shù)學(xué)院，江蘇 南通 226019；2. 南通先進(jìn)通信技術(shù)研究院，江蘇 南通 226019；3. 江蘇文絡(luò)電子科技有限公司，江蘇 南通 226019)

1 引言

消化道疾病[1]，如出血、腫瘤和潰瘍等，已成為一種高發(fā)病癥并嚴(yán)重的危害人們的健康和生活質(zhì)量。作為一種新型的消化道疾病檢查技術(shù)，膠囊內(nèi)鏡[2，3](Wireless capsule endoscope，WCE)與傳統(tǒng)的插入式消化道內(nèi)鏡相比，具有無創(chuàng)傷、安全、可全程檢測(cè)等優(yōu)越性能。醫(yī)生通過系統(tǒng)傳回的圖像來診斷患者是否患病，然而，膠囊內(nèi)鏡自口至肛門的過程耗費(fèi)6-8小時(shí)，檢查過程產(chǎn)生的圖片量高達(dá)43200-57600張[4]，醫(yī)生逐張?jiān)\斷的方式耗時(shí)長(zhǎng)，且極易使人疲勞、漏掉有用的信息，難于應(yīng)對(duì)較大的檢查量。因此，找到一種對(duì)膠囊內(nèi)鏡圖像有良好分類效果的計(jì)算機(jī)輔助分析方法尤為重要。

目前，膠囊內(nèi)鏡圖像的分類算法主要分為兩類。一類是傳統(tǒng)的基于圖像特征提取的機(jī)器學(xué)習(xí)分類方法。設(shè)計(jì)者提取圖像的顏色[5]、紋理[6]和統(tǒng)計(jì)特征[7]，并通過支持向量機(jī)(Support Vector Machine， SVM)[4，8]、K-近鄰(k-nearest neighbor，KNN)[6，7]等進(jìn)行分類，受主觀因素影響較大，極易漏掉有價(jià)值的信息。一類是采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network， CNN)的分類方法。作為一種端到端的學(xué)習(xí)方法[9]，卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入的圖像進(jìn)行參數(shù)優(yōu)化，在輸出層給出所在分類，相比傳統(tǒng)分類方法擁有更強(qiáng)的自動(dòng)學(xué)習(xí)特征的能力。然而，設(shè)計(jì)一個(gè)有良好分類效果的卷積神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)優(yōu)化網(wǎng)絡(luò)中的參數(shù)。針對(duì)膠囊內(nèi)鏡圖像數(shù)據(jù)量少的問題，本文提出一種基于遷移學(xué)習(xí)的膠囊內(nèi)鏡圖像分類算法。首先對(duì)WCE圖像進(jìn)行預(yù)處理和數(shù)據(jù)擴(kuò)增；接著，采用Alexnet、Googlenet、Inception-v3網(wǎng)絡(luò)提取WCE圖像的深層特征。最后，合并提取到的3個(gè)模型的特征向量并輸入到SVM進(jìn)行訓(xùn)練和分類。實(shí)驗(yàn)證明，相比手動(dòng)提取特征的方法和構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的方法，本文提出的方法具有更好的分類性能。

2 方法基本框架

本文所提方法的流程如圖1所示。

圖1 本文方法流程圖

本文所提方法主要包括4個(gè)部分：1)數(shù)據(jù)預(yù)處理：WCE圖像含有噪聲，首先，對(duì)WCE圖像進(jìn)行真彩色增強(qiáng)及中值濾波去除噪聲，改善圖像質(zhì)量。2)數(shù)據(jù)擴(kuò)增：WCE數(shù)據(jù)集相對(duì)較小且存在健康、病變圖像類別不均衡的問題。仿射變換方法增大樣本，平衡健康、病變類別。3)遷移學(xué)習(xí)：CNN模型訓(xùn)練所需的參數(shù)量巨大，直接訓(xùn)練，易過擬合，因此采用ImageNet 數(shù)據(jù)預(yù)初始化Alexnet、Googlenet、 Inception-v3網(wǎng)絡(luò)的模型參數(shù)。4)訓(xùn)練及分類：利用預(yù)初始化后的3個(gè)卷積網(wǎng)絡(luò)提取囊內(nèi)鏡圖像的深層特征并加以融合，作為SVM的輸入進(jìn)行訓(xùn)練和分類。

3 圖像特征提取及分類算法設(shè)計(jì)

本文數(shù)據(jù)庫(kù)由杭州華沖科技有限公司提供，包含分辨率為480*480的bmp格式膠囊內(nèi)鏡臨床圖像共1251張，其中病變圖像135張，健康圖像1116張，病變圖像遠(yuǎn)小于健康圖像，需要對(duì)數(shù)據(jù)進(jìn)行擴(kuò)增。圖2給出了部分圖像， (a)(b)為健康圖像，(c)(d)病變圖像。

圖2 健康與病變圖像示例

3.1 數(shù)據(jù)預(yù)處理和數(shù)據(jù)擴(kuò)增

由于膠囊內(nèi)鏡本身的CMOS攝像頭聚焦不準(zhǔn)，光學(xué)遮光罩受消化液污染，電源供電不足等限制，獲得的WCE圖像存在亮度低，受噪聲污染的問題。針對(duì)WCE圖像的自身特點(diǎn)，提出的預(yù)處理步驟如下。

1)真彩色增強(qiáng)：將圖像由RGB(Red，Green，Blue)色彩空間轉(zhuǎn)化到更符合人的視覺特性的HSI(Hue，Saturation，Intensity)空間。對(duì)S，I分量分別進(jìn)行1.5、1.2倍的增強(qiáng)處理，并將處理后的H，S，I分量轉(zhuǎn)換回RGB顏色空間。提升圖像亮度，使邊緣清晰，反差增強(qiáng)。圖像RGB與HSI空間的轉(zhuǎn)換算法如下：

算法1 RGB到HSI空間的轉(zhuǎn)換

輸入：R、G、B

輸出：H、S、I

1)H∈[0°，120°]:

(注：S=0時(shí)，對(duì)應(yīng)無色的中心點(diǎn)，H無意義，定義H=0；S=0時(shí)，對(duì)應(yīng)黑色，H，S無意義，定義H=0，S=0)

2)中值濾波：用5×5的窗口對(duì)上面得到的圖像的R，G，B分量進(jìn)行中值濾波操作，去除噪聲的同時(shí)保留邊緣信息。

數(shù)據(jù)擴(kuò)增用于解決數(shù)據(jù)集的類別不均衡和模型過擬合問題。采用仿射變換方法對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)。主要通過將圖像旋轉(zhuǎn) 90°/180°/270°、裁剪、在水平和垂直方向作鏡像，以及這些操作的組合操作將數(shù)據(jù)集1次擴(kuò)增為原來的9倍，得到健康圖像10044張，病變圖像1215張。對(duì)1215張病變圖像通過裁剪操作進(jìn)行2次擴(kuò)增為原來的8倍，得到9720張病變圖像，與10044張健康圖像數(shù)量均衡。

3.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)[10]根據(jù)具體實(shí)現(xiàn)方法可分為：樣本遷移、特征遷移、關(guān)系遷移和模型遷移，近年來，已經(jīng)成為了卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢(shì)之一，它降低了CNN方法中對(duì)樣本的要求，解決了傳統(tǒng)機(jī)器學(xué)習(xí)方法中訓(xùn)練樣本和測(cè)試樣本必須獨(dú)立同分布以及訓(xùn)練樣本數(shù)目需求過大的問題[11]。本文在包含1000類，126萬張自然圖像的ImageNet 數(shù)據(jù)庫(kù)上預(yù)初始化Alexnet、Googlenet、 Inception-v3的模型參數(shù)。自然圖像與WCE圖像不同但相關(guān)，采取遷移學(xué)習(xí)的方法可以在ImageNet 數(shù)據(jù)庫(kù)上學(xué)到有助于WCE圖像分類的如角點(diǎn)、邊緣、顏色、紋理等特征，進(jìn)而提高卷積神經(jīng)網(wǎng)絡(luò)在小樣本的WCE圖像上的分類性能。

3.2.1 Alexnet網(wǎng)絡(luò)結(jié)構(gòu)

Alexnet網(wǎng)絡(luò)[12]在2012年ImageNet圖像識(shí)別的比賽冠軍，主要由5個(gè)卷積層，3個(gè)池化層，3個(gè)全連接層和softmax 層組成，基本網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Alexnet網(wǎng)絡(luò)結(jié)構(gòu)

3.2.2 Googlenet網(wǎng)絡(luò)結(jié)構(gòu)

Googlenet網(wǎng)絡(luò)[13]主要包括2個(gè)普通卷積層、9個(gè)Inception層，3個(gè)池化層和softmax 層。模型通過 Inception結(jié)構(gòu)，在增加網(wǎng)絡(luò)寬度的同時(shí)，減少參數(shù)數(shù)量，降低計(jì)算復(fù)雜度。Googlenet基本網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 Googlenet網(wǎng)絡(luò)結(jié)構(gòu)

3.2.3 Inception-v3網(wǎng)絡(luò)結(jié)構(gòu)

Inception-v3網(wǎng)絡(luò)[14]由Google 2014年發(fā)布，模型中的Inception模塊，在一個(gè)卷積層中同時(shí)選用多種較小尺寸的卷積核替換較大尺寸的卷積核，提取多種特征后合并到一起作為輸出結(jié)果。Inception結(jié)構(gòu)加入1×1卷積核實(shí)現(xiàn)降低特征維度，增強(qiáng)卷積操作的非線性表達(dá)能力的效果。Inception-v3基本網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 Inception-v3網(wǎng)絡(luò)結(jié)構(gòu)

將3.1節(jié)得到的WCE數(shù)據(jù)輸入到Alexnet、Googlenet、Inception-v3，輸入數(shù)據(jù)時(shí)將圖像尺寸調(diào)節(jié)成符合網(wǎng)絡(luò)要求的227×227，224×224，299×299，提取Alexnet的“Fc7”層的4096維特征，Googlenet的“Loss-classifier”層的1000維特征，Inception-v3的“Ave_pool”層的2048維特征， 并將其合并為7144維的特征向量F。

F=[F1，F(xiàn)2，F(xiàn)3]

(1)

3.3 訓(xùn)練及分類

SVM[15]是由Vapnik等人運(yùn)用統(tǒng)計(jì)學(xué)理論中的結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則和VC維理論提出的一種依賴核函數(shù)的機(jī)器學(xué)習(xí)分類算法，其原理是：尋找分類的最優(yōu)超平面，使超平面兩側(cè)類別的邊緣距離最大。樣本集{(x1，y1)，(x2，y2)，…，(xn，yn)}，分類函數(shù)為

f(x)=sgn(ω·x+b)

(2)

其中，ω是權(quán)值向量，b是偏移量。

依據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則，等價(jià)為

(3)

引入拉格朗日算子αi，分類閾值b*，最優(yōu)分類函數(shù)為

(4)

樣本集{(x1，y1)，(x2，y2)，…，(xn，yn)}線性不可分時(shí)，引入核函數(shù)K(xi·x)將樣本轉(zhuǎn)換到近似線性可分的空間，對(duì)應(yīng)的最優(yōu)分類函數(shù)為

(5)

在SVM的訓(xùn)練階段，利用2.2節(jié)得到的訓(xùn)練樣本的7144維特征向量及對(duì)應(yīng)的類別標(biāo)簽，選取徑向基核函數(shù)對(duì)SVM分類器進(jìn)行訓(xùn)練，得到用于后續(xù)分類的SVM分類器。徑向基核函數(shù)的表達(dá)式如下[16]。

(6)

其中，σ為可調(diào)參數(shù)。

在SVM的分類階段，將測(cè)試樣本的特征向量輸入到訓(xùn)練好的SVM分類器中進(jìn)行分類識(shí)別。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)在Matlab 2018b下完成，實(shí)驗(yàn)硬件平臺(tái)為：Intel(R)Xeon(R)Silver 4110處理器，32G內(nèi)存，Nivida Quardo P2000顯卡，5.032G顯存。將增強(qiáng)后的數(shù)據(jù)集隨機(jī)分成2部分：70%作為訓(xùn)練集用于訓(xùn)練SVM分類器，30%作為測(cè)試集用于測(cè)試模型的識(shí)別和泛化能力，訓(xùn)練與測(cè)試的數(shù)據(jù)互不交叉。為了對(duì)比不同方法對(duì)實(shí)驗(yàn)分類性能的影響，本文設(shè)置了4組實(shí)驗(yàn)。

實(shí)驗(yàn)1：為驗(yàn)證前期數(shù)據(jù)預(yù)處理和數(shù)據(jù)擴(kuò)增的有效性，將增強(qiáng)前后的WCE圖像數(shù)據(jù)均輸入到Alexnet、Googlenet、Inception-v3進(jìn)行對(duì)比實(shí)驗(yàn)。

實(shí)驗(yàn)2：為驗(yàn)證特征融合方法的有效性，分別選擇提取Alexnet、Googlenet、Inception-v3對(duì)應(yīng)的4096、1000和2048維特征和本文提出的特征融合方法作為對(duì)比。

實(shí)驗(yàn)3：為驗(yàn)證選擇SVM作為分類器的有效性，本文選取隨機(jī)森林(Random Forest，RF)、K近鄰(K-nearest neighbor，KNN)和樸素貝葉斯(Naive Bayes，NB)3種分類器作為對(duì)比。

實(shí)驗(yàn)4：為驗(yàn)證本文方法的有效性，同現(xiàn)有其它方法的分類結(jié)果對(duì)比。

4.2 評(píng)價(jià)指標(biāo)

對(duì)于醫(yī)學(xué)圖像的分類，可以從圖像的分類準(zhǔn)確率來判定該分類系統(tǒng)的性能。令TP表示被正確分類的病變圖像，F(xiàn)P表示被錯(cuò)誤分類的病變圖像，TN表示被正確分類的健康圖像，F(xiàn)N表示被錯(cuò)誤分類的健康圖像，本文使用敏感性(Sensitivity)，特異性(Specificity)和準(zhǔn)確率(Accuracy)作為方法的評(píng)價(jià)指標(biāo)。

(7)

(8)

(9)

其中，敏感性Sensitivity，特異性Specificity和準(zhǔn)確率Accuracy分別表示病變圖像、健康圖像以及總體WCE圖像的分類準(zhǔn)確率。

4.3 實(shí)驗(yàn)結(jié)果分析

4.3.1 第1組實(shí)驗(yàn)分析

實(shí)驗(yàn)1針對(duì)數(shù)據(jù)增強(qiáng)對(duì)實(shí)驗(yàn)結(jié)果的影響，采用增強(qiáng)前后的數(shù)據(jù)做了2組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。從表1的實(shí)驗(yàn)結(jié)果可知，應(yīng)用增強(qiáng)后的數(shù)據(jù)比原始數(shù)據(jù)的分類效果要好，說明在本文方法中，數(shù)據(jù)增強(qiáng)對(duì)于改善模型的分類效果是不可或缺的。

表1 數(shù)據(jù)增強(qiáng)前后的分類結(jié)果對(duì)比

4.3.2 第2組實(shí)驗(yàn)分析

對(duì)Alexnet、Googlenet、Inception-v3提取的特征進(jìn)行合并是本文的貢獻(xiàn)點(diǎn)之一。實(shí)驗(yàn)2對(duì)比了只提取單個(gè)網(wǎng)絡(luò)的特征對(duì)分類性能的影響，結(jié)果如表2所示。從表2的實(shí)驗(yàn)結(jié)果可知，特征融合的方法更能有效的表示W(wǎng)CE圖像的特征，因此提高分類的準(zhǔn)確率。

表2 遷移不同網(wǎng)絡(luò)的分類結(jié)果對(duì)比

4.3.3 第3組實(shí)驗(yàn)分析

為了驗(yàn)證分類器對(duì)分類性能的影響，實(shí)驗(yàn)3對(duì)比了RF、KNN、NB、SVM 4個(gè)分類器，結(jié)果如表3所示，由表3可知，SVM在分類性能上表現(xiàn)最好。

4.3.4 第4組實(shí)驗(yàn)分析

實(shí)驗(yàn)4將本文方法同現(xiàn)存的圖像分類方法進(jìn)行對(duì)比，結(jié)果如表4所示。鄧江洪[8]等人是根據(jù)特征的平均影響值對(duì)提取的顏色矩和灰度共生矩陣(Gray-level Co-occurrence Matrix)特征進(jìn)行篩選，再用SVM進(jìn)行分類。Xiuli Li[9]等人采用只增強(qiáng)病變圖像，遷移Inception-v3網(wǎng)絡(luò)并在網(wǎng)絡(luò)最后添加1個(gè)全連接層的方法分類圖像。由實(shí)驗(yàn)結(jié)果可知，本文方法在敏感性，特異性，準(zhǔn)確率方面均高于其它2種方法，驗(yàn)證了本文方法的有效性。

表4 本文方法與現(xiàn)有其它方法的分類結(jié)果對(duì)比

5 結(jié)論

為解決基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法上存在的模型參數(shù)難以訓(xùn)練、易過擬合的問題，突破傳統(tǒng)機(jī)器學(xué)習(xí)方法中訓(xùn)練樣本和測(cè)試樣本必須獨(dú)立同分布的限制，本文提出一種結(jié)合遷移學(xué)習(xí)和SVM的方法，實(shí)現(xiàn)膠囊內(nèi)鏡圖像的自動(dòng)分類。在實(shí)驗(yàn)過程中，對(duì)膠囊內(nèi)鏡圖像采取真彩色增強(qiáng)，中值濾波，數(shù)據(jù)擴(kuò)增方法提升圖像對(duì)比度、濾除噪聲、平衡健康與病變圖像數(shù)量。先用ImageNet 數(shù)據(jù)預(yù)初始化Alexnet、Googlenet、 Inception-v3網(wǎng)絡(luò)，再基于遷移學(xué)習(xí)的思想，利用預(yù)初始化的3個(gè)網(wǎng)絡(luò)提取膠囊內(nèi)鏡圖像的深層特征并合并用于訓(xùn)練SVM分類器，實(shí)驗(yàn)結(jié)果表明，本文方法能夠有效提取膠囊內(nèi)鏡圖像的特征，提高分類準(zhǔn)確率。

本文對(duì)膠囊內(nèi)鏡圖像的分類僅為健康與病變兩類。在今后的研究中，可以將病變圖像細(xì)分為出血、腫瘤、潰瘍等多個(gè)類別，嘗試改進(jìn)Alexnet、Googlenet、 Inception-v3的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步提高分類準(zhǔn)確率。