基于深度學習方法的胸片異物檢測

侯鵬飛，沈秀明，袁明遠，孫九愛

1.上海理工大學健康科學與工程學院，上海200093；2.上海市松江區(qū)衛(wèi)生人才培訓中心，上海201600；3.上海健康醫(yī)學院附屬周浦醫(yī)院放射科，上海201318；4.上海健康醫(yī)學院醫(yī)學影像學院，上海201318

前言

近年來隨著數(shù)字X 線攝影的廣泛使用，X 線攝影檢查的數(shù)量和影像質(zhì)量得到了很大的提高，已成為放射影像診斷檢查最常用的方法［1］，但臨床數(shù)據(jù)顯示，數(shù)字X 線攝影仍存在5%～15%的廢片率［2-3］。廢片的產(chǎn)生不僅降低了醫(yī)療資源的使用效率和影像診斷質(zhì)量，后續(xù)補償重復攝影還會給被檢者增加不必要的電離輻射。為了利用最低輻射劑量獲得最佳品質(zhì)的醫(yī)學影像，充分滿足臨床診斷的需要，X 線攝影的甲級片率監(jiān)控正成為醫(yī)院放射科質(zhì)量控制的一個重要任務(wù)。

胸部正位攝影是臨床采用最為廣泛的常規(guī)影像檢查項目，也是放射影像質(zhì)量控制檢查項目之一。影響X線胸片質(zhì)量的主要原因有攝影體位不正、呼吸氣屏氣不合理和被檢者穿戴各種異物等?，F(xiàn)階段放射影像的質(zhì)量控制主要通過人工檢查閱片的方式核對技師操作的規(guī)范性。這種人工檢查方法存在主觀性強和效率低下等問題，而采用計算機輔助圖像分析的方法可以實現(xiàn)影像質(zhì)量的自動篩查，有效解決上述問題。異物的存在在X 線影像中具有可解釋和辨別的影像特征，因此本文以異物檢測為研究目標，探索放射影像中異物的自動客觀檢測方法，為后續(xù)的影像質(zhì)量控制提供技術(shù)基礎(chǔ)。

X 線胸片中的異物檢測可以歸結(jié)為圖像處理中的目標檢測問題。Xue 等［4］最先提出對胸片中的異物進行自動檢測，他們先對胸片中肺部區(qū)域進行分割，然后分別使用Viola-Jones和霍夫圓檢測技術(shù)搜索線形或圓形特征，實現(xiàn)對紐扣類目標的檢測。Zohora等［5］首先使用幾種不同的邊緣檢測算子對圖像進行濾波處理，然后利用形態(tài)學方法得到候選結(jié)果，最后利用霍夫圓檢測算法進行檢測確認。最近Santosh等［6］提出歸一化互相關(guān)算法對胸片中的圓形異物進行初步檢測得到候選物體，然后用無監(jiān)督聚類的方法最后判斷是否存在圓形異物。上述胸片異物檢測研究都利用紐扣異物的圓形或其他能夠標識物體的基本影像特征，對某一種異物的檢測準確度可以達到80%左右［6］。但實際臨床攝影工作中異物種類各異，且影像特征變化繁多，尺度不一，基于特定的影像特征進行檢測的方法很難取得滿意的檢測效果。王繼元等［7］在DR 胸片質(zhì)控體系研究中用Inception-V4 網(wǎng)絡(luò)對胸片中的異物進行分類，分類效果基本符合要求。但該方法主要實現(xiàn)異物的類型判斷，為了確定異物位于肺野的具體位置，尚需要配合肺野的分割結(jié)果才能進行精準定位。

近年來發(fā)展起來的基于圖像深度學習的方法突破了傳統(tǒng)圖像處理算法的缺陷，通過多通道和多尺度的卷積運算，可以抽取圖像中具有不同形狀和尺度的復雜影像特征，實現(xiàn)感興趣目標的自動檢測。目前基于深度學習方法的目標檢測算法可分為Two-stage（兩步法）和One-stage（單步法）兩大類。Two-stage是把目標檢測分為兩個階段，第一個階段獲得圖像中若干個可能的物體候選框，然后對候選框進行分類和回歸運算，最后得到物體的種類和位置信息，這種方 法 主 要 有R-CNN［8］、Fast R-CNN［9］、Faster RCNN［10］。而One-stage 方法不需要產(chǎn)生候選框，直接對目標區(qū)域進行分類和回歸，得到物體的種類和位置信息。One-stage 方法比Two-stage 方法大大提高檢測效率，同時也提高精度，是目前目標檢測的主流方法，主要有SSD［11］、YOLO［12］、YOLO v2-v4［13-15］等。

YOLO 目標檢測網(wǎng)絡(luò)通過將圖像分為不同大小的子區(qū)域進行檢測，這大大提高了檢測速度，其中YOLO v4 采用的CSPDarkNet53 特征提取網(wǎng)絡(luò)由若干個殘差塊組成，可以融合不同層次的信息提取有用特征，分別對52×52、26×26 和13×13 尺度的特征層分別進行獨立預測，實現(xiàn)多尺度的物體檢測［15］。在胸片異物檢測的實驗中可以發(fā)現(xiàn)，該網(wǎng)絡(luò)結(jié)構(gòu)對于形狀模糊的異物檢測精確率不高，因此本文在CSPDarkNet53 特征提取網(wǎng)絡(luò)中加入SE-block［16］，以區(qū)別對待不同通道信息的貢獻程度，從而抑制貢獻程度較低的信息，并增強貢獻程度較高的信息。實驗結(jié)果表明這種改進可以有效地提高模型的檢測能力。

1 基于YOLO v4的異物檢測

YOLO v4通過將YOLO v3的骨干特征提取網(wǎng)絡(luò)DarkNet53 改成CSPDarkNet53，并使用SPP［17］結(jié)構(gòu)和4 個不同尺度卷積核進行最大池化處理，極大地增加了感受野，同時還引入PANet［18］使網(wǎng)絡(luò)能夠反復利用圖像特征，因此YOLO v4 在檢測精度和檢測速度上都有了很大提升［15］。

1.1 YOLO v4網(wǎng)絡(luò)

YOLO v4 主要由特征提取網(wǎng)絡(luò)CSPDarkNet53、特征融合模塊SPP 和PANet、預測網(wǎng)絡(luò)構(gòu)成。其中CSPDarkNet53 由5 個殘差塊構(gòu)成，殘差塊可以防止由于網(wǎng)絡(luò)過深造成的過擬合等問題，最大化地提取圖像的有用信息。SPP 結(jié)構(gòu)由4 個卷積核大小為1×1、5×5、9×9 和13×13 的最大池化層構(gòu)成，增加了感受野，能夠更好地分離出上下文特征。PANet 輸入為CSPDarkNet53 和SPP 不同層的輸出，通過對輸入進行特征的反復提取，最后得到3個輸出結(jié)果輸入到最后的預測網(wǎng)絡(luò)。YOLO 在預測過程中先初始化9 個不同大小的Anchor Box，在模型預測過程中相對于Anchor Box 產(chǎn)生4個偏移參數(shù)tx、ty、tw、th，如 圖1所示。

圖1 Anchor Box和BoundingBox關(guān)系Fig.1 Relationship between Anchor Box and BoundingBox

BoundingBox調(diào)整公式為：

其中，bx和by為BoundingBox 中心點橫坐標和縱坐標，bw和bh為BoundingBox 的寬度和高度，cx和cy是中心點坐標對應(yīng)左上角方框的坐標，pw和ph為Anchor Box對應(yīng)的寬度和高度，σ是sigmoid 激活函數(shù)。

在計算tx、ty、tw、th過程中，YOLO v4采用CIOU［19］作為回歸優(yōu)化的損失函數(shù)。CIOU 把Ground Truth Box 與BoundingBox 之間的重合率，距離和尺度這些因素都考慮在內(nèi)，使得預測結(jié)果更加穩(wěn)定和準確。CIOU公式如下所示：

式（6）中，B代表BoundingBox，Bgt代表Ground Truth Box。式（5）中b代表BoundingBox中心點坐標，bgt代表Ground Truth Box 中心點坐標。ρ2(b,bgt)代表BoundingBox和Ground Truth Box中心點之間的歐氏距離。c表示能夠包含BoundingBox 和Ground Truth Box 的最小Box 的對角線長度。式中α 和v可通過以下公式計算：

式（8）中，w和h代表BoundingBox 的寬度和高度，wgt和hgt代表Ground Truth Box 的寬度和高度。最后得到損失函數(shù)為：

1.2 FOXNet網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)參數(shù)和深度過多會很大程度增加檢測物體的時間，為了不給網(wǎng)絡(luò)添加過多參數(shù)并且提高胸片異物檢測的效果，采用注意力機制對網(wǎng)絡(luò)進行優(yōu)化。 由于YOLO v4 骨干特征提取網(wǎng)絡(luò)CSPDarkNet53在特征提取過程中不同的通道權(quán)重設(shè)置都相同，不同通道的有用信息沒有合理地利用起來。在異物檢測神經(jīng)網(wǎng)絡(luò)的構(gòu)建中，我們改進了YOLO v4，在CSPDarkNet53 網(wǎng)絡(luò)的每個殘差塊中都加入SE-block，為每個通道使用不同的權(quán)重，這樣可以區(qū)別利用各個通道的信息［16］。圖2 所示是對CSPDarkNet53 中殘差塊加入SE-block 后的網(wǎng)絡(luò)，稱之為異物檢測網(wǎng)絡(luò)FOXNet。徑一輸出的每個通道上。

圖2 改進后的殘差模塊Fig.2 Improved residual network

2 實驗及結(jié)果分析

2.1 實驗環(huán)境

開展本文實驗所使用的電腦主要配置為ubuntu18.04操作系統(tǒng)，CPU為Inter(R)Xeon(R)，顯卡為TITAN X，內(nèi)存64G。實驗是通過Python 語言編程實現(xiàn)，應(yīng)用深度學習框架Pytorch 1.7.1 實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的搭建。

2.2 數(shù)據(jù)及預處理

數(shù)據(jù)集取自由JF醫(yī)療和NVidia公司舉辦的異物檢測比賽提供的共計10 000 幅胸片圖像，其中5 000幅為帶有異物的胸片圖像，5 000 幅為不帶有異物的正常合格圖像。圖像中的肺野和異物由具有1～3年工作經(jīng)驗的共12位放射醫(yī)生進行標注。實驗中數(shù)據(jù)集被分為訓練集、驗證集和測試集，其中訓練集包含8 000 幅圖片，驗證集和測試集各包含1 000 幅圖片。圖3所示為數(shù)據(jù)集的樣本，圖3a是不存在異物的正常圖片，圖3b～圖3d是包含異物的圖片。本文進一步使用實際臨床數(shù)據(jù)集驗證算法的有效性和魯棒性，從合作醫(yī)院獲取實際臨床數(shù)據(jù)共500幅胸片，其中包含異物的為50幅，正常和異常的胸片數(shù)量比例為9：1。

圖3 正常數(shù)據(jù)和含有異物數(shù)據(jù)樣本Fig.3 Radiographs with and without foreign objects

在訓練網(wǎng)絡(luò)之前需要對數(shù)據(jù)進行預處理，這包括對圖像的邊緣進行填充使圖像變成正方形，并縮放成416×416像素大?。粚?shù)據(jù)集進行翻轉(zhuǎn)、平移、拉伸變形和加入隨機噪聲，擴增數(shù)據(jù)集的大小，提高訓練網(wǎng)絡(luò)模型的魯棒性。

2.3 評價標準

為了量化表達網(wǎng)絡(luò)模型對于胸片異物檢測的精度，采用準確率（Accuracy）、召回率（Recall）、精確率（Precision）、F1 score 和受試者工作特征曲線（ROC）［20］等指標作為評價標準。其定義如下所示：

其中，TN代表胸片圖像中不存在異物，預測結(jié)果圖像中也顯示不存在異物；FP 代表胸片圖像中不存在異物，預測結(jié)果圖像中顯示存在異物；FN代表胸片圖像中存在異物，預測結(jié)果圖像中不存在異物；TP代表胸片圖像中存在異物，預測結(jié)果圖像中存在異物。

2.4 實驗方法和結(jié)果

利用同樣的數(shù)據(jù)集，實驗分別對Faster R-CNN、YOLO v3、YOLO v4 和FOXNet 網(wǎng)絡(luò)進行訓練和測試，相應(yīng)的精確率、召回率、準確率和F1 score 結(jié)果如表1所示。

表1 實驗結(jié)果對比Tab.1 Comparison of experimental results

從表1 的對比實驗結(jié)果可以看出，利用典型兩步法的Faster R-CNN 獲得的精確率和準確率都是最低的，分別為76%和82%，但召回率較好，這說明兩步法獲得的敏感度較好，而特異性一般。相反，單步法的精確率和準確率都較好，都高于兩步法，且YOLO v4 和FOXNet 的召回率也有所改善，達到83%。YOLO v4 和FOXNet 在YOLO v3 基礎(chǔ)上使 用SPP 結(jié)構(gòu)，增加了感受野，還引入了PANet 反復利用圖像特征，使得真陽性預測的數(shù)量從386增長到417，提高正樣本的檢出率，召回率顯著提高6%。FOXNet 在YOLO v4 特征提取網(wǎng)絡(luò)的每個殘差塊中加入SEblock，使每個通道產(chǎn)生對應(yīng)權(quán)重，充分利用各個通道感興趣的信息，使得假陽性的數(shù)量從61降低到34，有效降低誤檢率，精確率提高5%。FOXNet 的綜合性能指標F1 score 是最高的，這也可以從各個網(wǎng)絡(luò)在測試集測試獲得的ROC 曲線結(jié)果發(fā)現(xiàn)。如圖4 所示，F(xiàn)aster R-CNN、YOLO v3、YOLO v4和FOXNet這4種網(wǎng)絡(luò)獲得的ROC 曲線的AUC 值分別為0.846、0.904、0.922和0.945。

圖4 不同網(wǎng)絡(luò)結(jié)構(gòu)ROC曲線示意圖Fig.4 ROC curves of different networks

為了驗證算法的有效性，本文利用合作醫(yī)院提供的實際臨床數(shù)據(jù)進行測試。測試結(jié)果顯示，F(xiàn)OXNet 在實際臨床測試數(shù)據(jù)中能正確檢測出包含異物的42 幅胸片，漏檢8 幅胸片，召回率達到84%。該結(jié)果比在異物檢測比賽測試數(shù)據(jù)集上獲得的結(jié)果還要好，這說明FOXNet能夠可靠地檢測出含有異物的胸片，具有一定的實際應(yīng)用價值。圖5所示為部分臨床數(shù)據(jù)的檢測結(jié)果。

圖5a和圖5b中的異物為植入性醫(yī)療電子或金屬設(shè)備。雖然用來訓練的數(shù)據(jù)集中異物主要為項鏈、內(nèi)衣和紐扣等，但FOXNet也能很好地檢測出訓練過程中沒有出現(xiàn)過的異物。圖5c和圖5d為圖像像素僅為256×210 低分辨率的情況，F(xiàn)OXNet 網(wǎng)絡(luò)能以0.83和0.80 的置信度檢測出不是很明顯的異物。圖5e～圖5h中的異物（衣服、裝飾等）是肉眼難以觀察到的，F(xiàn)OXNet 網(wǎng)絡(luò)依然能夠準確識別。這些結(jié)果表明，F(xiàn)OXNet 有著很好的異物檢測泛化能力，能夠用于胸片的異物自動檢測的實際應(yīng)用場景。

圖5 臨床胸片檢測樣例Fig.5 Examples of foreign objects detected from clinical chest radiographs

3 討論

以往對于胸片中的異物檢測的傳統(tǒng)圖像處理方法，局限于檢測紐扣或者具有特定形狀的某一類物體，難以適用于臨床胸片中存在的尺寸和形狀變化繁多的異物檢測任務(wù)。本研究提出用深度學習的方法對X線胸片中的異物進行檢測，卷積神經(jīng)網(wǎng)絡(luò)中包含有多種不同尺寸和參數(shù)的卷積核，能夠?qū)W習提取圖像在不同尺度下的特征，實驗證明該方法能夠克服傳統(tǒng)圖像處理的固有缺點。

本研究基于YOLO v4 目標檢測網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中增加運用了注意力機制的SE-block，使得新的網(wǎng)絡(luò)能夠充分利用不同通道的信息。實驗表明這樣的改進能夠有效提高異物檢測的精確率和準確率，降低異物檢測的誤檢率，使自動檢測的結(jié)果更貼近攝影質(zhì)量控制的真實需求，這對在放射攝影質(zhì)量評估中推廣使用基于深度學習的異物自動檢測方法具有重要意義。

雖然FOXNet 的實現(xiàn)改善了胸片異物檢測的精確率和準確率，并在網(wǎng)絡(luò)的總體檢測性能上有所提高，但該方法的異物檢測召回率依然與兩步法相近。導致這個結(jié)果可能有多種原因，如用于訓練和測試的圖片是通過醫(yī)學影像壓縮獲取的，其空間和灰度分辨率大大縮小，部分異物在壓縮后很難辨別或甚至消失。因此，在異物檢測的漏檢率方面FOXNet還需要開展很多的研究，這也將是我們下一步的研究目標。

4 結(jié)論

為了實現(xiàn)放射攝影質(zhì)量的客觀評價，提高胸部正位片的優(yōu)良率，避免被檢者接受不必要的電離輻射，本文提出一種基于深度學習的方法用來自動檢測和定位胸片中的異物。實驗結(jié)果表明，該方法的異物檢測可以實現(xiàn)92%的精確率和83%的召回率。