基于深度學(xué)習(xí)的肺炎圖像目標(biāo)檢測(cè)

何 迪 劉立新 劉玉杰 熊 豐 齊美捷 張周鋒

1（西安電子科技大學(xué)光電工程學(xué)院，西安 710071）

2（中國(guó)科學(xué)院西安精密機(jī)械研究所中國(guó)科學(xué)院光譜成像重點(diǎn)實(shí)驗(yàn)室， 西安 710119）

引言

肺炎是一種可能由細(xì)菌、病毒或真菌等病原體引起的肺部炎癥，在兒童與老人中的致死率極高，也是美國(guó)十大死亡原因之一［1］。2019年底新冠肺炎的出現(xiàn)以及隨后的全球爆發(fā)更是給人民生命安全和身體健康帶來(lái)了巨大威脅［2］，因此肺炎的診斷和治療也日益受到人們的關(guān)注與重視。

肺部X 光片是肺炎診斷的重要方法之一。肺炎在X 光圖像上通常表現(xiàn)為肺部不透明度增加，然而肺部的其他疾病，如肺水腫、胸腔積液等，在X 光圖像上同樣呈現(xiàn)出不透明的區(qū)域，會(huì)對(duì)肺炎診斷造成干擾。所以，正確解釋影像信息始終是醫(yī)生面臨的主要挑戰(zhàn)，需要有經(jīng)驗(yàn)的放射科醫(yī)生才能進(jìn)行診斷確認(rèn)。對(duì)于缺乏經(jīng)驗(yàn)的醫(yī)生，其決定存在相當(dāng)大的主觀不一致，還需要通過(guò)血液檢測(cè)、細(xì)菌分析等復(fù)雜檢測(cè)流程才能夠精確判定。在中國(guó)，每年病理醫(yī)生人數(shù)的增長(zhǎng)速率僅為4%，專業(yè)放射科醫(yī)生增長(zhǎng)率更低。但是隨著近些年醫(yī)療數(shù)據(jù)的爆發(fā)式增長(zhǎng)，專業(yè)放射科醫(yī)生的數(shù)量供不應(yīng)求，導(dǎo)致在診斷環(huán)節(jié)會(huì)造成病人診斷不及時(shí)，誤診、漏診等問(wèn)題，耽誤患者治療的最佳時(shí)間。因此迫切需要研究并開(kāi)發(fā)新方法，幫助提供計(jì)算機(jī)輔助診斷，以提高肺炎診斷的準(zhǔn)確率并降低肺炎相關(guān)的死亡率。

深度學(xué)習(xí)［3］能夠模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，且在數(shù)據(jù)量龐大的情況下，可以有效解決傳統(tǒng)機(jī)器學(xué)習(xí)中算法準(zhǔn)確率低以及模型泛化能力差等問(wèn)題，因此在醫(yī)學(xué)圖像處理中得到了廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks， CNNs）是深度學(xué)習(xí)中最為重要的模型之一，在肺炎圖像分類以及目標(biāo)檢測(cè)方面顯現(xiàn)出優(yōu)越的性能［4-8］。馬書(shū)浩等［6］提出了一種基于YOLOv3 改進(jìn)的多分枝YOLO 肺炎檢測(cè)算法。該算法在實(shí)驗(yàn)數(shù)據(jù)集上的檢測(cè)準(zhǔn)確率高于單發(fā)多框探測(cè)器（single shot multibox detector，SSD）、YOLOv3 及更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster region-based convolutional neural network， faster-RCNN）等算法，但還存在誤檢、漏檢、定位偏差大的問(wèn)題。Nurmaini 等［7］提出了具有Faster-RCNN 結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)新冠病毒（SARS-CoV-2）感染病灶，解決逆轉(zhuǎn)錄聚合酶鏈反應(yīng)檢測(cè)結(jié)果假陰性率高的問(wèn)題，提高了檢測(cè)靈敏度。Dharani 等［8］利用faster-RCNN 模型來(lái)輔助臨床醫(yī)生診斷肺炎，將樣本中不清楚或可能與其他疾病混淆的肺部X 光圖像進(jìn)行識(shí)別，以實(shí)現(xiàn)更好的診斷和降低錯(cuò)誤率；結(jié)果表明，faster-RCNN_inception_coco 模型相較于其他模型具有更高的預(yù)測(cè)精度，有助于分析和診斷肺炎。

本研究首先將SSD 和faster-RCNN 這兩種典型目標(biāo)檢測(cè)算法用于肺炎病灶區(qū)域檢測(cè)；然后在原有faster-RCNN 的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上引入特征金子塔網(wǎng)絡(luò)（feature pyramid network， FPN），對(duì)faster-RCNN網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，來(lái)更好地解決不同類型病灶區(qū)域識(shí)別的問(wèn)題。

1 材料與方法

1.1 實(shí)驗(yàn)環(huán)境與肺炎圖像數(shù)據(jù)集

實(shí)驗(yàn)中所使用硬件設(shè)備與軟件環(huán)境具體配置如表1 所示。硬件設(shè)備主要為Dell T3630 圖形工作站，其中處理器型號(hào)為i7-8700，它包含6 個(gè)內(nèi)核和12 個(gè)邏輯處理器，運(yùn)行內(nèi)存大小為32 GB；顯卡型號(hào)為RTX 2080。軟件環(huán)境主要為： 操作系統(tǒng)Windows10、 Anaconda 環(huán)境、谷歌開(kāi)源的Tensorflow［9-10］、Python 版本、顯卡驅(qū)動(dòng)庫(kù)CUDA 以及GPU 加速庫(kù)Cudnn。

表1 實(shí)驗(yàn)環(huán)境配置Tab.1 Description of experimental environment

實(shí)驗(yàn)數(shù)據(jù)集由Kaggle 提供，來(lái)源于北美放射協(xié)會(huì)及醫(yī)療人工智能（artificial intelligence，AI）平臺(tái)合作開(kāi)發(fā)的26 684 張帶標(biāo)簽肺部X 光圖像，具體包括8 539 張患有肺炎的X 光圖像、10 407 張患有其他病癥的肺部X 光圖像，7 738 張正常肺部X 光圖像。圖1 所示為從數(shù)據(jù)集中隨機(jī)選取的肺部X 光圖像的例子，圖1（a）為沒(méi)有肺部疾病的正常X 光圖像，標(biāo)記為Normal；圖1（b）中的兩張X 光圖像患有肺部疾病，但是不屬于肺炎，標(biāo)記為No Lung；圖1（c）中的兩張X 光圖像來(lái)自肺炎患者，左圖具有單處病灶，右圖具有兩處病灶，標(biāo)記為L(zhǎng)ung。

圖1 肺部X 光圖像。（a）正常肺部圖像；（b）肺部其他病癥圖像；（c）肺炎圖像Fig.1 Lung X-ray images. （a） Normal lung images；（b） Other lung disease images； （c） Pneumonia images

1.2 數(shù)據(jù)預(yù)處理

圖2 所示為基于深度學(xué)習(xí)的肺炎圖像目標(biāo)檢測(cè)數(shù)據(jù)處理流程，其中圖像預(yù)處理［［11］是圖像輸入模型訓(xùn)練前必不可少的一環(huán)。來(lái)自Kaggle 數(shù)據(jù)集的原始X 光圖像首先經(jīng)過(guò)圖像預(yù)處理操作，包括圖像縮放變換、線性變換以及對(duì)比度增強(qiáng)等步驟，轉(zhuǎn)換為具有合適尺寸和高對(duì)比度的圖像，然后輸入深度學(xué)習(xí)模型進(jìn)行分類及目標(biāo)檢測(cè)。圖2 中展示了原始X 光圖像依次經(jīng)過(guò)各步預(yù)處理后所對(duì)應(yīng)的輸出效果。

圖2 數(shù)據(jù)處理流程Fig.2 Flow chart of data processing

1）圖像縮放變換

肺部X 光圖像的分辨率在不同的數(shù)據(jù)集中大小并不統(tǒng)一。利用雙線性插值算法［12］，對(duì)原始X 光圖像進(jìn)行縮放變換，以滿足深度學(xué)習(xí)模型中對(duì)于輸入圖像分辨率的要求。經(jīng)過(guò)處理后的圖像整體尺寸相對(duì)縮小，但保留了圖像的主要特征，同時(shí)縮短了模型的訓(xùn)練時(shí)間。所要使用的VGG 和ResNet 網(wǎng)絡(luò)要求的圖片輸入尺寸為224×224，因此原始X 光圖像經(jīng)過(guò)調(diào)整之后的尺寸均變成224×224。

2）圖像線性變換

圖像的線性變換操作通常包括平移和旋轉(zhuǎn)。旋轉(zhuǎn)是指將圖像以原點(diǎn)為中心軸旋轉(zhuǎn)若干角度。平移則是將圖像的所有像素沿X、Y 方向移動(dòng)若干距離。肺部X 光圖像經(jīng)過(guò)旋轉(zhuǎn)和平移操作后，可以增強(qiáng)深度學(xué)習(xí)模型對(duì)肺部圖像位置與方向的敏感程度。為了更好地實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)效果，可通過(guò)設(shè)定隨機(jī)種子的方式對(duì)輸入的X 光圖像進(jìn)行旋轉(zhuǎn)和平移操作。

3）圖像對(duì)比度增強(qiáng)

圖像對(duì)比度增強(qiáng)［13-14］可以實(shí)現(xiàn)對(duì)肺炎病灶區(qū)域的特征增強(qiáng)，提高模型對(duì)肺炎圖像的識(shí)別能力和檢測(cè)精度。采用限制對(duì)比度自適應(yīng)直方圖均衡（contrast limited adaptive histogram equalization，CLAHE）算法對(duì)經(jīng)圖像線性變換后的肺部X 光圖像進(jìn)行處理。CLAHE 算法通過(guò)限制局部直方圖的高度來(lái)限制局部對(duì)比度的增強(qiáng)幅度，從而限制噪聲的放大及局部對(duì)比度的過(guò)增強(qiáng)，因此它不僅能夠更好地改善圖像對(duì)比度，而且解決了局部特征不夠清晰的問(wèn)題。由圖2 可見(jiàn)，經(jīng)對(duì)比度增強(qiáng)處理后的肺部X 光圖像特征更加突出。

1.3 肺炎檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)模型

1.3.1 目標(biāo)檢測(cè)模型

卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于醫(yī)學(xué)圖像中的分類或目標(biāo)檢測(cè)等問(wèn)題，在大規(guī)模圖像處理中具有出色的表現(xiàn)。目前目標(biāo)檢測(cè)算法模型主要分為兩種，即one-stage 和two-stage。

如圖3 所示，one-stage 目標(biāo)檢測(cè)算法流程較為簡(jiǎn)單，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)輸入的圖像直接進(jìn)行特征提取，而后基于回歸思想實(shí)現(xiàn)結(jié)果輸出。圖4 為two-stage 目標(biāo)檢測(cè)算法的工作原理流程。相對(duì)于圖3 而言，在輸入圖像完成卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)特征提取后，又增加了一部分檢測(cè)流程，并且增加的部分與one-stage 過(guò)程類似，生成感興趣的區(qū)域（region of interest， ROI），其中包含預(yù)測(cè)的位置信息及前景的概率；然后對(duì)生成的感興趣的區(qū)域進(jìn)行進(jìn)一步位置的修正和物體所屬類別的概率值判定，完成最終的檢測(cè)。

圖3 One-stage 目標(biāo)檢測(cè)算法示意Fig.3 Schematic diagram of one-stage object detection algorithm

圖4 Two-stage 目標(biāo)檢測(cè)算法Fig.4 Schematic diagram of two-stage object detection algorithm

采用SSD［15-16］、faster-RCNN［17］和faster-RCNN優(yōu)化模型，對(duì)肺部X 光圖像實(shí)現(xiàn)肺炎病灶區(qū)域檢測(cè)。其中，SSD 為one-stage 算法，faster-RCNN 及其優(yōu)化模型為two-stage 算法。

1.3.2 特征提取網(wǎng)絡(luò)

VGG 和ResNet 是兩種常用的特征提取網(wǎng)絡(luò)，它們都包含卷積、池化、全連接和SoftMax 操作。相較于VGG 而言，ResNet 增加了JumpPoint 操作。ResNet 網(wǎng)絡(luò)通過(guò)使用特殊的跳躍連接和大批量歸一化處理操作，具有更強(qiáng)的圖像特征抽象能力。SSD 模型和faster-RCNN 模型均采用VGG16 作為特征提取網(wǎng)絡(luò)，而faster-RCNN 優(yōu)化模型則采用ResNet 網(wǎng)絡(luò)，對(duì)肺部X 光圖像實(shí)現(xiàn)特征提取。

目標(biāo)檢測(cè)算法模型在對(duì)輸入圖像進(jìn)行特征選取時(shí)主要有四種思路，如圖5 所示。圖5（a）首先將輸入的肺部X 光圖像進(jìn)行不同尺度的縮放操作，然后分別進(jìn)行特征圖提取，最終對(duì)生成的特征圖像完成結(jié)果預(yù)測(cè)任務(wù)。該方式增加了目標(biāo)檢測(cè)模型的計(jì)算量，不符合實(shí)際生產(chǎn)中的要求。圖5（b）的特征提取思路與faster-RCNN 思路一致，整個(gè)特征提取網(wǎng)絡(luò)僅采用最后一層的輸出結(jié)果輸入到后續(xù)目標(biāo)檢測(cè)模型。圖5（c）與SSD 模型的設(shè)計(jì)一致，在特征提取網(wǎng)絡(luò)內(nèi)選取若干個(gè)不同大小的特征圖輸入到目標(biāo)檢測(cè)模型。

圖5 目標(biāo)檢測(cè)算法特征提取示意。（a） 多尺度圖像輸入；（b） 單一圖像特征輸入；（c） 多圖像特征輸入；（d） 多圖像特征融合輸入Fig.5 Schematic diagram of feature extraction of object detection algorithm. （a） Multi-scale image input； （b）Single image feature input； （c） Multiple image feature input； （d） Multiple image feature fusion input

綜合上述，3 種特征提取網(wǎng)絡(luò)的設(shè)計(jì)思路，利用上采樣操作，使相鄰的特征圖進(jìn)行融合，將高層特征與低層特征融合處理后輸入到后續(xù)模型，如圖5（d）所示。采用這種方式對(duì)原圖像進(jìn)行處理時(shí)，更容易檢測(cè)到較小的區(qū)域，而且不增加計(jì)算復(fù)雜度。這種特征設(shè)計(jì)稱為特征金子塔網(wǎng)絡(luò)（feature pyramid network， FPN）［18-19］。Faster-RCNN 優(yōu)化模型即采用該設(shè)計(jì)，同時(shí)在應(yīng)用FPN 網(wǎng)絡(luò)的基礎(chǔ)上，將faster-RCNN 中使用的VGG16 模型替換為ResNet 網(wǎng)絡(luò)。

2 結(jié)果

2.1 SSD 模型

在SSD 模型訓(xùn)練過(guò)程中，模型整體的損失值變化曲線如圖6 所示。曲線在繪制的過(guò)程中程序進(jìn)行了平滑處理，平滑率設(shè)定為0.2。由圖可見(jiàn)，損失值開(kāi)始時(shí)驟然下降，而后緩慢下降。在迭代30 000 次后，損失值在4.5 上下波動(dòng)，而后趨于平穩(wěn)。在迭代50 000 次時(shí)，損失值接近4.0，損失函數(shù)曲線降到最低。該曲線表明，隨著訓(xùn)練次數(shù)的增加損失值整體呈下降趨勢(shì)。

圖6 SSD 模型損失函數(shù)變化曲線Fig.6 Loss function change curve of SSD model

利用訓(xùn)練后的SSD 模型對(duì)抽取的肺炎X 光圖像進(jìn)行測(cè)試。由于樣本數(shù)據(jù)集中每張肺部X 光圖像可能存在的病灶區(qū)域不超過(guò)兩處，因此將從單處病灶區(qū)域的樣本數(shù)據(jù)和兩處病灶區(qū)域的樣本數(shù)據(jù)各抽取一張進(jìn)行測(cè)試，目標(biāo)檢測(cè)結(jié)果分別如圖7（a）和（b）所示。圖中左側(cè)為輸入的樣本圖像，右側(cè)為SSD模型輸出的目標(biāo)檢測(cè)結(jié)果，包括對(duì)于病灶區(qū)域的框定位置，以及框定區(qū)域所患肺炎的概率大小；并且通過(guò)預(yù)測(cè)位置與真實(shí)標(biāo)記位置，可以計(jì)算得到兩者交并比，記為回歸精度，如表2 所示。對(duì)于單處病灶檢測(cè)，SSD 輸出的目標(biāo)檢測(cè)結(jié)果為85%的概率判定該處為病灶區(qū)域，預(yù)測(cè)位置與真實(shí)標(biāo)記位置的交并比為60.0%。對(duì)于兩處病灶檢測(cè)，SSD 輸出的目標(biāo)檢測(cè)結(jié)果分別為88%和86%的概率判定該處為病灶區(qū)域，預(yù)測(cè)位置與真實(shí)標(biāo)記位置的交并比分別為68.5%和66.8%。

表2 SSD 模型預(yù)測(cè)病灶區(qū)域結(jié)果Tab.2 Results of the prediction position of lesion areas of SSD model

圖7 SSD 模型預(yù)測(cè)病灶區(qū)域結(jié)果（方框表示預(yù)測(cè)為病灶的區(qū)域）。（a）單處病灶；（b）兩處病灶Fig.7 The prediction results of lesion areas of SSD model （Boxes indicate areas predicted to be lesions.）.（a） Single lesion area； （b） Two lesion areas

為了對(duì)模型性能進(jìn)行綜合評(píng)估，選取500 張肺部X 光圖像進(jìn)行測(cè)試，其中包括無(wú)病灶區(qū)域的X 光圖像50 張，單個(gè)病灶區(qū)域的X 光圖像150 張，兩處病灶區(qū)域的X 光圖像300 張。目標(biāo)檢測(cè)結(jié)果列于表3，可知SSD 模型的最高和最低分類準(zhǔn)確率分別為89.0%和79.0%，平均分類準(zhǔn)確率為86.6%；最高和最低回歸精度分別為70.4%和58.3%，平均回歸精度為67.4%。從這兩項(xiàng)指標(biāo)可以看出，SSD 雖然基本能夠完成對(duì)病灶區(qū)域進(jìn)行檢測(cè)的任務(wù)，但是效果不太理想，誤檢病灶區(qū)域個(gè)數(shù)達(dá)到11 個(gè)。通過(guò)對(duì)誤檢病灶區(qū)域所在的圖像進(jìn)行分析，發(fā)現(xiàn)該11 處誤檢病灶區(qū)域均是未患有肺炎，但存在其他肺部疾病的肺部X 光圖像。該類圖像會(huì)對(duì)目標(biāo)檢測(cè)模型的檢測(cè)產(chǎn)生一定難度，因此可以把誤檢病灶區(qū)域數(shù)作為目標(biāo)檢測(cè)模型的一個(gè)評(píng)估指標(biāo)，能夠更全面地評(píng)測(cè)該目標(biāo)檢測(cè)模型的好壞。

表3 SSD 模型性能評(píng)測(cè)Tab.3 Performance evaluation of SSD model

2.2 Faster-RCNN 模型

在faster-RCNN 模型訓(xùn)練過(guò)程中，模型整體的損失值變化曲線如圖8 所示。圖中損失值在開(kāi)始時(shí)波動(dòng)幅度較大，而后緩慢下降。在迭代10 000次后，損失值在1.0 上下波動(dòng)，趨于平穩(wěn)。在迭代50 000次時(shí)，損失函數(shù)曲線降到最低。該曲線表明，相比于SSD 模型，faster-RCNN 模型迭代較少的次數(shù)損失值便可趨于穩(wěn)定，且損失值較小。

圖8 Faster-RCNN 模型損失函數(shù)變化曲線Fig.8 Loss function change curve of faster-RCNN model

利用訓(xùn)練后的faster-RCNN 模型對(duì)抽取的肺部X 光圖像進(jìn)行測(cè)試。單處病灶和兩處病灶樣本的目標(biāo)檢測(cè)結(jié)果分別如圖9（a）和（b）所示。在這兩種情況下，預(yù)測(cè)位置與真實(shí)標(biāo)記位置如表4 所示。對(duì)于單處病灶檢測(cè)，faster-RCNN 輸出的目標(biāo)檢測(cè)結(jié)果為91%的概率判定該處為病灶區(qū)域，預(yù)測(cè)位置與真實(shí)標(biāo)記位置的交并比為72.9%。對(duì)于兩處病灶檢測(cè)，faster-RCNN 輸出的目標(biāo)檢測(cè)結(jié)果分別為89%和92%的概率判定該處為病灶區(qū)域，預(yù)測(cè)位置與真實(shí)標(biāo)記位置的交并比分別為74.5%和74.3%。

圖9 Faster-RCNN 模型預(yù)測(cè)病灶區(qū)域結(jié)果（方框表示預(yù)測(cè)為病灶的區(qū)域）。（a）單處病灶；（b）兩處病灶Fig.9 The prediction results of lesion areas of faster-RCNN model （ Boxes indicate areas predicted to be lesions.）. （a） Single lesion area；（b） Two lesion areas

表4 Faster-RCNN 預(yù)測(cè)病灶區(qū)域結(jié)果Tab.4 Results of the prediction position of lesion areas of faster-RCNN model

選取同樣的500 張肺部X 光圖像，利用faster-RCNN 模型進(jìn)行測(cè)試。根據(jù)表5 所示結(jié)果可知，faster-RCNN 模型的最高和最低分類準(zhǔn)確率分別為92.0%和88.0%，平均分類準(zhǔn)確率為90.2%；最高和最低回歸精度分別為75.9%和70.3%，平均回歸精度為74.6%。從這兩項(xiàng)指標(biāo)可以看出，faster-RCNN能夠完成對(duì)病灶區(qū)域進(jìn)行檢測(cè)的任務(wù)，各項(xiàng)指標(biāo)相對(duì)于SSD 模型而言均有所提升。此外，faster-RCNN誤檢病灶區(qū)域個(gè)數(shù)為3 個(gè)，少于SSD 誤檢的數(shù)量。

表5 Faster-RCNN 模型性能評(píng)測(cè)Tab.5 Performance evaluation of faster-RCNN model

2.3 Faster-RCNN 優(yōu)化模型

在faster-RCNN 優(yōu)化模型訓(xùn)練過(guò)程中，模型整體的損失值變化曲線如圖10 所示。由圖可見(jiàn)，從開(kāi)始到50 000 次的訓(xùn)練過(guò)程中，損失值一直在1.0 上下浮動(dòng)，但是浮動(dòng)范圍上下沒(méi)有超過(guò)0.5。當(dāng)訓(xùn)練完畢時(shí)，損失值接近1.0。該曲線表明該模型損失值在訓(xùn)練過(guò)程中能快速達(dá)到一個(gè)穩(wěn)定的狀態(tài)。

圖10 Faster-RCNN 優(yōu)化模型損失函數(shù)變化曲線Fig.10 Loss function change curve of faster-RCNN optimization model

利用訓(xùn)練后的faster-RCNN 優(yōu)化模型對(duì)抽取的肺炎X 光圖像進(jìn)行測(cè)試。單處病灶和兩處病灶樣本的目標(biāo)檢測(cè)結(jié)果分別如圖11（a）和（b）所示。在這兩種情況下，預(yù)測(cè)位置與真實(shí)標(biāo)記位置如表6所示。

表6 Faster-RCNN 優(yōu)化模型預(yù)測(cè)病灶區(qū)域結(jié)果Tab.6 Results of the prediction position of lesion areas of Faster-RCNN optimization model

圖11 Faster-RCNN 優(yōu)化模型預(yù)測(cè)病灶區(qū)域結(jié)果（方框表示預(yù)測(cè)為病灶的區(qū)域）。（a）單處病灶；（b）兩處病灶Fig.11 The prediction results of lesion areas of faster-RCNN optimization model （Boxes indicate areas predicted to be lesions.）. （a） Single lesion area； （b） Two lesion areas

對(duì)于單處病灶檢測(cè)，faster-RCNN 優(yōu)化模型輸出的目標(biāo)檢測(cè)結(jié)果為93%的概率判定該處為病灶區(qū)域，預(yù)測(cè)位置與真實(shí)標(biāo)記位置的交并比為74.8%。對(duì)于兩處病灶檢測(cè)，faster-RCNN 優(yōu)化模型輸出的目標(biāo)檢測(cè)結(jié)果分別為90%和94%的概率判定該處為病灶區(qū)域，預(yù)測(cè)位置與真實(shí)標(biāo)記位置的交并比分別為79.0%和78.1%。選取同樣的500 張肺部X 光圖像，利用faster-RCNN優(yōu)化模型進(jìn)行測(cè)試。根據(jù)表7 所示結(jié)果可知，faster-RCNN 優(yōu)化模型的最高和最低分類準(zhǔn)確率分別為96.0%和90.0%，平均分類準(zhǔn)確率為93.7%；最高和最低回歸精度分別為83.2%和74.5%，平均回歸精度為79.8%。從這兩項(xiàng)指標(biāo)可以看出，相對(duì)于另外兩個(gè)模型而言，faster-RCNN 優(yōu)化模型的目標(biāo)檢測(cè)效果有著顯著提升，并且誤檢病灶區(qū)域數(shù)為0，因此faster-RCNN 優(yōu)化模型可選用為肺炎圖像目標(biāo)檢測(cè)的應(yīng)用模型。

表7 Faster-RCNN 優(yōu)化模型性能評(píng)測(cè)Tab.7 Performance evaluation of faster-RCNN optimization model

此外，對(duì)該模型的運(yùn)行速度進(jìn)行了評(píng)測(cè)。通過(guò)對(duì)500 張測(cè)試圖像進(jìn)行檢測(cè)，結(jié)果顯示平均每張測(cè)試圖像檢測(cè)用時(shí)約216 ms，可滿足實(shí)際應(yīng)用需求。

3 討論

SSD 和faster-RCNN 是近年來(lái)實(shí)現(xiàn)目標(biāo)檢測(cè)的常用CNN 模型［6-8，20-21］。SSD 基于MultiBox 的思想，在不同特征尺度上預(yù)測(cè)不同尺度的目標(biāo)，可全面提升檢測(cè)精度［15］。Faster-RCNN 采用區(qū)域候選網(wǎng)絡(luò)（region proposal network， RPN）解決了目標(biāo)的區(qū)域推薦問(wèn)題，能極大提升檢測(cè)框的生成速度［17］。本研究構(gòu)建了3 種圖像目標(biāo)檢測(cè)模型，SSD、faster-RCNN和faster-RCNN 優(yōu)化模型，以實(shí)現(xiàn)對(duì)肺部X 光圖像的病灶區(qū)域檢測(cè)。其中faster-RCNN 優(yōu)化模型是在faster-RCNN 的網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上引入FPN，并將特征提取網(wǎng)絡(luò)VGG16 替換為ResNet 網(wǎng)絡(luò)實(shí)現(xiàn)的。

肺炎的病灶大小、形狀和位置變化很大［22］，邊界通常非常模糊，導(dǎo)致檢測(cè)難度很大，因此提高檢測(cè)精度是一個(gè)主要的研究問(wèn)題，這取決于數(shù)據(jù)預(yù)處理、模型選用、訓(xùn)練和測(cè)試等各個(gè)環(huán)節(jié)，并通過(guò)多種性能指標(biāo)，如損失函數(shù)、準(zhǔn)確率、回歸精度和誤檢病灶數(shù)等來(lái)綜合表征評(píng)定。在數(shù)據(jù)集的處理過(guò)程中，采用多種方法對(duì)原始肺部X 光圖像進(jìn)行數(shù)據(jù)增強(qiáng)，主要包括圖像縮放變換、線性變換以及對(duì)比度增強(qiáng)等步驟，從而調(diào)整圖像尺寸，改善圖像效果，突出圖像特征，以增強(qiáng)深度學(xué)習(xí)模型的魯棒性和泛化能力，提高檢測(cè)精度。

損失函數(shù)有助于優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)。本研究分析了3 種模型的損失函數(shù)隨模型訓(xùn)練次數(shù)的變化情況。由各模型的損失函數(shù)曲線可知，隨著訓(xùn)練次數(shù)的增加損失值均下降；Faster-RCNN 模型相比于SSD 模型損失值下降更快，迭代較少的次數(shù)便可趨于穩(wěn)定，且損失值較小；Faster-RCNN 優(yōu)化模型從開(kāi)始訓(xùn)練，損失值一直在1.0 上下浮動(dòng)，可快速達(dá)到穩(wěn)定狀態(tài)。

為了評(píng)估深度學(xué)習(xí)模型的性能，首先分別利用訓(xùn)練后的3 種模型對(duì)抽取的肺炎X 光圖像進(jìn)行測(cè)試，得到了單處病灶和兩處病灶的框定位置及框定區(qū)域所患肺炎的概率大小，根據(jù)預(yù)測(cè)位置與真實(shí)標(biāo)記位置可以計(jì)算得到回歸精度。通過(guò)比較可知，無(wú)論對(duì)于單處病灶還是兩處病灶，faster-RCNN 優(yōu)化模型的回歸精度高于faster-RCNN 模型，且二者均高于SSD 模型。然后，分別利用3 種模型對(duì)選取的500張肺部X 光圖像進(jìn)行目標(biāo)檢測(cè)，由所獲得的分類準(zhǔn)確率、回歸精度和誤檢病灶數(shù)結(jié)果可知，faster-RCNN 優(yōu)化模型的綜合性能均優(yōu)于另外兩種模型。此外，faster-RCNN 優(yōu)化模型對(duì)X 光圖像的測(cè)試速度很快，這表明了其在肺炎圖像目標(biāo)檢測(cè)實(shí)際應(yīng)用中的可行性和潛力。

本研究采取的深度學(xué)習(xí)方法框架并不僅限于肺部X 光圖像，未來(lái)可在其他疾病的目標(biāo)檢測(cè)研究中進(jìn)行嘗試，以驗(yàn)證其普適性；并期望進(jìn)一步提高模型的檢測(cè)精度和速度，將其應(yīng)用于臨床疾病的實(shí)時(shí)檢測(cè)和診斷。

4 結(jié)論

本研究使用SSD、faster-RCNN 和faster-RCNN優(yōu)化模型3 種目標(biāo)檢測(cè)模型完成對(duì)肺部X 光圖像的病灶區(qū)域檢測(cè)任務(wù)，通過(guò)在損失函數(shù)、分類準(zhǔn)確率、回歸精度、誤檢病灶區(qū)域數(shù)等方面對(duì)模型性能進(jìn)行分析可知，faster-RCNN 優(yōu)化模型可快速達(dá)到穩(wěn)定，平均分類準(zhǔn)確率達(dá)到93.7%，平均回歸精度為79.8%，且誤檢病灶數(shù)為0，性能指標(biāo)均優(yōu)于其他兩種模型。因此faster-RCNN 優(yōu)化模型可幫助醫(yī)生進(jìn)行準(zhǔn)確高效的X 光圖像肺炎病灶檢測(cè)，并有可能應(yīng)用于其他醫(yī)學(xué)圖像的目標(biāo)檢測(cè)，在實(shí)際的醫(yī)療領(lǐng)域中具有廣泛的應(yīng)用前景。