基于遷移學(xué)習(xí)的食道癌影像識(shí)別研究

凌其穎，劉小芳，張 陽(yáng)

（四川輕化工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，宜賓 644000）

0 引言

食道癌是最致命的癌癥之一，全球范圍內(nèi)死亡率排第六。其發(fā)病率呈世界分布，有一定的地域性［1］，占全球一半食道癌發(fā)病率的中國(guó)尤為明顯，河南、河北、廣東、四川等省均為食道癌的高發(fā)區(qū)。由于食道癌早期不易察覺(jué)，而且大部分依賴于專家的診斷，我國(guó)目前食道癌的早期診斷率幾乎為零［2］。研究表明［3］，早期確診的食管癌［4］，經(jīng)合理有效治療后五年生存率高達(dá)70%［5］，而對(duì)于中晚期患者，出現(xiàn)鄰近組織轉(zhuǎn)移，五年生存率下降到24%，尤其是遠(yuǎn)處轉(zhuǎn)移的患者，五年生存率僅為5%。所以，早發(fā)現(xiàn)、早治療是降低食道癌患者死亡率的關(guān)鍵。

隨著深度學(xué)習(xí)的興起，公開(kāi)數(shù)據(jù)的增加，以及計(jì)算機(jī)硬件的升級(jí)，促使深度學(xué)習(xí)的應(yīng)用領(lǐng)域急速擴(kuò)展。在醫(yī)學(xué)領(lǐng)域，經(jīng)過(guò)訓(xùn)練的深度學(xué)習(xí)模型可以快速整合大量醫(yī)學(xué)圖像信息并進(jìn)行分析，有效提高大多數(shù)疾病的篩查、診斷效率，從而成為各科醫(yī)生的有效診斷輔助工具。但是由于醫(yī)學(xué)領(lǐng)域的特殊性，樣本類別不平衡的小數(shù)據(jù)集成為研究人員望而卻步的原因，雖然這些有著許多難題的小數(shù)據(jù)隱含著豐富的各類信息［6］。對(duì)醫(yī)學(xué)數(shù)據(jù)集進(jìn)行人工標(biāo)注是一件費(fèi)時(shí)費(fèi)力的事，原因是用于神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)的數(shù)據(jù)集在制作以及處理等各方面的標(biāo)準(zhǔn)都極高［7］。因此將在其他領(lǐng)域?qū)W習(xí)到的知識(shí)轉(zhuǎn)移到目標(biāo)領(lǐng)域的遷移學(xué)習(xí)，成了解決以上問(wèn)題的大趨勢(shì)。

1 遷移學(xué)習(xí)

為了解決深度學(xué)習(xí)中數(shù)據(jù)集小而導(dǎo)致訓(xùn)練樣本不足的問(wèn)題而提出了遷移學(xué)習(xí)［7］。遷移學(xué)習(xí)可以根據(jù)兩類樣本之間的聯(lián)系以及最終學(xué)習(xí)的目的［8］，劃分為直推式遷移學(xué)習(xí)、歸納遷移學(xué)習(xí)，以及無(wú)監(jiān)督遷移學(xué)習(xí)等。遷移學(xué)習(xí)中可以使用類型截然不同的源領(lǐng)域樣本和任務(wù)領(lǐng)域樣本，但并不能毫無(wú)關(guān)涉，其基本要求和原則就是基于源域訓(xùn)練學(xué)習(xí)得到的預(yù)訓(xùn)練模型，對(duì)于目標(biāo)任務(wù)也有著不錯(cuò)的測(cè)試效果。遷移學(xué)習(xí)廣泛存在于人們的生活中，兩個(gè)不同領(lǐng)域交集越多，遷移學(xué)習(xí)的難度相對(duì)越好，反之遷移的難度和效果較不理想，甚至產(chǎn)生“負(fù)遷移”現(xiàn)象［9］，與理想效果背向而馳。

近些年來(lái)遷移學(xué)習(xí)不僅在理論研究上到處開(kāi)花結(jié)果，而且還被頻繁地應(yīng)用在類型不同但擁有關(guān)聯(lián)的各行各業(yè)中。Yang 等［10］為了克服深度學(xué)習(xí)在乳腺癌前哨淋巴結(jié)轉(zhuǎn)移CT 圖像數(shù)據(jù)不足的缺陷，通過(guò)遷移學(xué)習(xí)，將ImageNet 數(shù)據(jù)集上訓(xùn)練好的CNN-Fast 網(wǎng)絡(luò)模型用于乳腺癌前哨淋巴結(jié)的分類，取得了當(dāng)前基于CT 研究的最優(yōu)結(jié)果。Van 等［11］提出了一種使用帶有卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)進(jìn)行早期食道癌檢測(cè)的新方法，在只給定少量帶注釋的數(shù)據(jù)情況下，可使用CNN 進(jìn)行食道癌分類。Lévy 將預(yù)訓(xùn)練好的AlexNet［12］深度學(xué)習(xí)模型用于乳腺癌良惡性鑒別，并取得了優(yōu)于現(xiàn)有研究成果的診斷結(jié)果［13］。以上研究表明，遷移學(xué)習(xí)在諸多腫瘤類型中應(yīng)用頗多且成效較好，現(xiàn)將其用于食管癌內(nèi)窺鏡識(shí)別，是一種可行方案。

2 神經(jīng)網(wǎng)絡(luò)模型

2.1 AlexNet神經(jīng)網(wǎng)絡(luò)模型

AlexNet 在機(jī)器視覺(jué)領(lǐng)域?qū)W術(shù)競(jìng)賽ImageNet中的Top-5 上的分類精度位居第一，達(dá)到了84.7%，且第二名僅為73.8%［14］。AlexNet 神經(jīng)網(wǎng)絡(luò)作為識(shí)別效果較好的圖像識(shí)別模型，包含八個(gè)帶權(quán)重的層［15］，五個(gè)卷積層，三個(gè)全連接層。AlexNet 神經(jīng)網(wǎng)絡(luò)模型圖如圖1 所示，前五層的卷積層主要對(duì)圖像進(jìn)行卷積、池化或修正線性單元等特征檢測(cè)操作，最后三層是用于分類的全連接層。

圖1 AlexNet神經(jīng)網(wǎng)絡(luò)模型圖

表1 AlexNet網(wǎng)絡(luò)層級(jí)結(jié)構(gòu)

2.2 GoogLeNet神經(jīng)網(wǎng)絡(luò)模型

GoogLeNet 是谷歌公司在2014 年提出的一種深度學(xué)習(xí)結(jié)構(gòu)［16］。GoogLeNet 引入的Inception模塊核心思想就是將輸入樣本通過(guò)不同大小的卷積核進(jìn)行特征提取操作，然后再將各個(gè)部分得到的結(jié)果進(jìn)行組合，最后再輸入到下一層的網(wǎng)絡(luò)中，可使計(jì)算資源得到更加充分的使用，在同等條件下提取到更豐富的圖像特征，得到更高的準(zhǔn)確率。圖2為Inception原始模塊圖。

圖2 Inception原始模塊

但在實(shí)際應(yīng)用中仍然存在許多問(wèn)題，因此將Inception 模塊進(jìn)行改進(jìn)，具體改進(jìn)模型如圖3所示。改進(jìn)后的Inception 結(jié)構(gòu)不僅大大減少了參數(shù)量，并增加了1×1 卷積進(jìn)行特征降維，同時(shí)隨后跟著非線性激活函數(shù)，使得神經(jīng)網(wǎng)絡(luò)的泛化能力得到了提升。GoogLeNet 采用Inception Module，使用輔助分類節(jié)點(diǎn)，以及用多個(gè)小卷積核替代大卷積核，提高了參數(shù)的利用率，具有良好的分類性能。

圖3 Inception改進(jìn)模型

2.3 ResNet神經(jīng)網(wǎng)絡(luò)模型

從VGGNet 到GoogLeNet，神經(jīng)網(wǎng)絡(luò)的深度被公認(rèn)為影響網(wǎng)絡(luò)性能最重要的因素之一，一般認(rèn)為神經(jīng)網(wǎng)絡(luò)模型的層次越多，網(wǎng)絡(luò)的準(zhǔn)確率越高，效果越好。但研究表明，隨著網(wǎng)絡(luò)層次的增加，在達(dá)到一定程度后，會(huì)出現(xiàn)了網(wǎng)絡(luò)性能退化現(xiàn)象，效果也會(huì)隨之變差。這是由于隨著模型的加深，網(wǎng)絡(luò)模型的訓(xùn)練復(fù)雜程度也會(huì)隨之加大，深層的卷積神經(jīng)網(wǎng)絡(luò)可能會(huì)出現(xiàn)梯度向前傳遞衰減甚至消失為0的情況，網(wǎng)絡(luò)層數(shù)越多，這種情況造成的影響就會(huì)越大。為了解決梯度消失所造成的影響，He 等［17］等提出了殘差模塊，其點(diǎn)睛之筆就是在某些神經(jīng)網(wǎng)絡(luò)層之間添加一條回路，這樣就可以讓傳遞的信息得到對(duì)比，避免部分卷積操作使得梯度消失［18］，圖4中這種相似于電路中的短路連接就是殘差模塊中重要的創(chuàng)新點(diǎn)。當(dāng)輸入X時(shí)，其學(xué)習(xí)到的特征為H（x），希望學(xué)習(xí)到的殘差F（x）=H（x）-x，那么原始的學(xué)習(xí)特征就應(yīng)為H（x）=F（x）+x。最理想的狀態(tài)是將網(wǎng)絡(luò)模型做了殘差為零的恒等變換。

圖4 殘差模塊

3 遷移學(xué)習(xí)的實(shí)現(xiàn)

為了解決兩個(gè)完全不相關(guān)領(lǐng)域之間的遷移學(xué)習(xí)而產(chǎn)生的神經(jīng)網(wǎng)絡(luò)參數(shù)不適配問(wèn)題，參數(shù)的調(diào)整是非常重要的步驟。遷移學(xué)習(xí)主要可分為以下幾個(gè)步驟［19］：

（1）選取大量標(biāo)注完整且與目標(biāo)領(lǐng)域相關(guān)聯(lián)的數(shù)據(jù)集，用其對(duì)神經(jīng)網(wǎng)絡(luò)模型特征提取層進(jìn)行參數(shù)訓(xùn)練，用訓(xùn)練好的模型對(duì)目標(biāo)樣本進(jìn)行有效的特征提取；

（2）貼合實(shí)際任務(wù)對(duì)神經(jīng)網(wǎng)絡(luò)剩下的全連接層以及分類層進(jìn)行有效的自定義重構(gòu)；

（3）最后根據(jù)實(shí)際情況，使用最終任務(wù)樣本對(duì)最后重構(gòu)好的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和參數(shù)微調(diào)，完成遷移學(xué)習(xí)。

因?yàn)閷?shí)驗(yàn)數(shù)據(jù)集相對(duì)較小，且選用的圖像與源域的各類圖片存在差異性，所以采用凍結(jié)模型的方式對(duì)模型進(jìn)行微調(diào)。AlexNet 的遷移過(guò)程如圖5 所示，將AlexNet 的最后三層替換為與食道癌類別數(shù)目相同的節(jié)點(diǎn)數(shù)的全連接層、softmax 層和分類輸出層。

圖5 AlexNet遷移過(guò)程

通過(guò)使用源域上萬(wàn)張圖片對(duì)網(wǎng)絡(luò)中的參數(shù)進(jìn)行預(yù)訓(xùn)練，為了加快后期目標(biāo)任務(wù)訓(xùn)練的收斂速度，只需要對(duì)這些參數(shù)進(jìn)行微調(diào)即可。在整個(gè)網(wǎng)絡(luò)中替換層參數(shù)占很小一部分，即可使用小數(shù)據(jù)集進(jìn)行訓(xùn)練。

4 結(jié)果與分析

電子計(jì)算機(jī)斷層掃描（Computed Tomography，CT）是食管癌診斷評(píng)估常用的影像手段，一般認(rèn)為當(dāng)食管壁的厚度大于5mm 或者出現(xiàn)不對(duì)稱增厚時(shí)應(yīng)考慮可能為食管癌［20］，但在前期病發(fā)中會(huì)考慮用食道內(nèi)窺鏡。數(shù)據(jù)來(lái)源于2020年Kaggle［21］上發(fā)布的食管內(nèi)窺鏡圖像數(shù)據(jù)集，該數(shù)據(jù)集包含非病理性患者的食管內(nèi)窺鏡圖像1689 張，病理性患者的食管內(nèi)窺鏡圖像8973張。食道內(nèi)窺鏡圖像如圖6所示。

圖6 食道內(nèi)窺鏡圖像

首先考慮到數(shù)據(jù)集中食道內(nèi)窺鏡圖像在獲取過(guò)程中，因?yàn)椴僮髟O(shè)備、患病案例、現(xiàn)場(chǎng)情況的不同，對(duì)圖像進(jìn)行逐一的挑選檢查。對(duì)挑選檢查后的圖像進(jìn)行樣本標(biāo)記，食道癌患者的內(nèi)窺鏡圖像設(shè)為標(biāo)簽為1的正樣本，未患食道癌的健康內(nèi)窺鏡圖像設(shè)為標(biāo)簽為0的負(fù)樣本。將標(biāo)記好的圖像使用OpenCV 統(tǒng)一裁剪到224×224 的大小，然后對(duì)所有的圖像進(jìn)行歸一化處理，最后進(jìn)行簡(jiǎn)單的數(shù)據(jù)增強(qiáng)操作。研究表明在對(duì)圖像進(jìn)行幾何變換以及縮放操作時(shí)，對(duì)圖像的特征提取不會(huì)產(chǎn)生影響［22］，所以不必?fù)?dān)心數(shù)據(jù)增強(qiáng)會(huì)對(duì)后面的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)造成影響。最后將預(yù)處理好的圖像進(jìn)行簡(jiǎn)單的打亂，按照要求劃分為需要的集合。

4.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)深度學(xué)習(xí)的基本框架，使用國(guó)內(nèi)的PaddlePaddle2.1.2 以及python3.8 作為編程工具。選擇PaddlePaddle的主要原因是其對(duì)于國(guó)人友好的API，以及框架中可以加載結(jié)構(gòu)優(yōu)化以后的各類經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型，如LeNet、AlexNet、GoogLeNet 等。AlexNet 的 正 確 率 相 較于VGG、GoogLeNet、ResNet 略微偏低，但在驗(yàn)證集中也可達(dá)到70%以上［21］。實(shí)驗(yàn)中的樣本較少，所以選擇一種基于遷移學(xué)習(xí)和AlexNet 的一種微調(diào)模型，與從零開(kāi)始訓(xùn)練的AlexNet、GoogLeNet、ResNet 形成對(duì)比，驗(yàn)證遷移學(xué)習(xí)的可行性以及必要性。本實(shí)驗(yàn)網(wǎng)絡(luò)用到的激活函數(shù)有ReLU函數(shù)，公式為

其中：x是輸入變量。

與傳統(tǒng)的激活函數(shù)Sigmoid 函數(shù)、Tanh 函數(shù)相比，ReLU 在梯度下降和反向傳播上具有更高的效率。ReLU 是非飽和激活函數(shù)，因此當(dāng)數(shù)值過(guò)大或過(guò)小時(shí)，導(dǎo)數(shù)不會(huì)接近于0，可以避免梯度消失以及過(guò)擬合。

實(shí)驗(yàn)中的損失函數(shù)為交叉熵函數(shù)，公式為

其中：yi表示樣本的標(biāo)簽，正類為1，負(fù)類為0。pi表示樣本預(yù)測(cè)為正類的概率。

交叉熵函數(shù)不僅在反向傳播中的結(jié)果簡(jiǎn)潔，而且配合輸出層的激活函數(shù)還能提升深度學(xué)習(xí)的學(xué)習(xí)速度。

4.2 中間卷積層輸出可視化

為了對(duì)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程有更詳細(xì)的理解，這里進(jìn)行了神經(jīng)網(wǎng)絡(luò)模型中不同卷積層的輸出。食道癌患者的食道內(nèi)窺圖在AlexNet模型中間層的輸出結(jié)果如圖7 所示，圖8 為其它圖像在ResNet模型中間層的輸出可視化。

圖7 食道癌內(nèi)窺圖中間層可視化

圖8 其它圖像中間層可視化輸出

對(duì)比發(fā)現(xiàn)，輸入類型差別很大的圖像，通過(guò)前面低卷積層運(yùn)算后，仍可通過(guò)輪廓區(qū)分圖像類別；但在高層卷積池化以后，圖像的輪廓變得非常抽象模糊，肉眼已經(jīng)難以區(qū)分。由此可以看出遷移學(xué)習(xí)利用的是用于源領(lǐng)域訓(xùn)練好的通用特征提取的底層卷積網(wǎng)絡(luò)，結(jié)合用于特定任務(wù)的定向特征提取的高層卷積網(wǎng)絡(luò)，來(lái)完成目標(biāo)樣本的指定任務(wù)，側(cè)面驗(yàn)證了遷移學(xué)習(xí)的可行性。

4.3 模型訓(xùn)練效果對(duì)比

根據(jù)前文將四個(gè)模型分別訓(xùn)練，并對(duì)四個(gè)模型的訓(xùn)練集損失值、驗(yàn)證集損失值、測(cè)試集損失值進(jìn)行簡(jiǎn)單的對(duì)比，然后結(jié)合驗(yàn)證集以及測(cè)試集的準(zhǔn)確率作為綜合評(píng)價(jià)方法。如圖9訓(xùn)練集損失值對(duì)比圖所示，可以看出傳統(tǒng)的深度學(xué)習(xí)除了AlexNet 以外，GoogLeNet 和ResNet 損失值都相對(duì)較低且下降平緩，遷移微調(diào)以后的AlexNet 得到的效果明顯優(yōu)于從零開(kāi)始訓(xùn)練的AlexNet網(wǎng)絡(luò)。

圖9 模型訓(xùn)練集損失值對(duì)比圖

由圖10 驗(yàn)證集損失值對(duì)比圖可以看出，在相同的迭代次數(shù)從零開(kāi)始的AlexNet 損失值相對(duì)較高，收斂值不理想，而遷移學(xué)習(xí)的AlexNet 收斂迅速，與結(jié)構(gòu)更加優(yōu)良的GoogLeNet和ResNet幾乎不相上下。對(duì)于測(cè)試集損失值，從圖11 四個(gè)模型測(cè)試集損失值對(duì)比圖可以看出，從零開(kāi)始訓(xùn)練的AlexNet 損失值開(kāi)始于較高位置，且損失值收斂的過(guò)于異常，且波動(dòng)較少，而基于遷移學(xué)習(xí)的ALexNet 以及從零開(kāi)始訓(xùn)練的GoogLeNet以及ResNet損失值開(kāi)始較低，收斂速度穩(wěn)定。

圖10 模型驗(yàn)證集損失值對(duì)比圖

圖11 模型的測(cè)試集損失值對(duì)比圖

四個(gè)模型的訓(xùn)練準(zhǔn)確率對(duì)比如表2所示，通過(guò)觀察表2以及上圖發(fā)現(xiàn)，除了對(duì)于分類有著良好優(yōu)勢(shì)的GoogLeNet 以及ResNet 網(wǎng)絡(luò)模型外，遷移學(xué)習(xí)的AlexNet 模型識(shí)別效果較好，驗(yàn)證集和測(cè)試集的準(zhǔn)確率高達(dá)93.21%和91.26%，明顯優(yōu)于從零開(kāi)始訓(xùn)練的AlexNet 模型78%的準(zhǔn)確率。經(jīng)過(guò)遷移學(xué)習(xí)以后的AlexNet 神經(jīng)網(wǎng)絡(luò)模型對(duì)食道內(nèi)窺圖像有著更好的特征提取和泛化能力，側(cè)面驗(yàn)證了遷移學(xué)習(xí)應(yīng)用于小數(shù)據(jù)集醫(yī)學(xué)領(lǐng)域的可行性。

表2 四個(gè)模型訓(xùn)練準(zhǔn)確率對(duì)比%

5 結(jié)語(yǔ)

本文提出一種基于遷移學(xué)習(xí)和AlexNet 對(duì)標(biāo)注少、數(shù)據(jù)集小，且數(shù)據(jù)相對(duì)不平衡的食道癌數(shù)據(jù)集進(jìn)行識(shí)別的方法。與傳統(tǒng)直接從零開(kāi)始訓(xùn)練的AlexNet、GoogLeNet、ResNet網(wǎng)絡(luò)模型相比較，實(shí)驗(yàn)結(jié)果表明，通過(guò)遷移學(xué)習(xí)模型驗(yàn)證集和測(cè)試集的準(zhǔn)確率分別為93.21%和91.26%，與其它三個(gè)模型相比優(yōu)勢(shì)明顯，驗(yàn)證了遷移學(xué)習(xí)在數(shù)據(jù)量少、數(shù)據(jù)不平衡、標(biāo)注信息少的數(shù)據(jù)集上的可行性和優(yōu)良性。

實(shí)驗(yàn)使用的數(shù)據(jù)集較小、分類不夠細(xì)致、健康的食道圖像差異過(guò)少，都是可能對(duì)模型的準(zhǔn)確率產(chǎn)生影響的原因。為了能夠提高神經(jīng)網(wǎng)絡(luò)模型在識(shí)別食道癌圖像中的識(shí)別率，在以上問(wèn)題無(wú)法得到解決的情況下，使用結(jié)構(gòu)更為優(yōu)良的神經(jīng)網(wǎng)絡(luò)對(duì)小數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)成為了更好的選擇，能夠更快、更方便地提高模型的訓(xùn)練速度和準(zhǔn)確率。