深度學習在肺炎檢測中的研究綜述

李 新, 陳 帆, 郝海江,黃 琳, 劉亞榮

(桂林理工大學 a.信息科學與工程學院; b.廣西嵌入式技術與智能系統重點實驗室, 廣西 桂林 541006)

0 引 言

肺炎是臨床醫學中最常見的感染性疾病之一[1], 其發病周期短、 成因復雜, 免疫力相對低下的兒童和老年人更是易感人群。 據世界衛生組織報告, 僅2016年, 全球就有80多萬人死于肺炎, 死亡人數超過瘧疾、 艾滋病和麻疹的總和[2-3]。 因此, 及時的診斷肺炎并且進行治療是非常重要的。目前診斷肺部疾病的主要方法有X射線[4]、 計算機斷層掃描(CT)[5]、 磁共振成像(magnetic resonance imaging, MRI)等[6]。 由于X射線和CT價格相對便宜, 成像質量適中等優點, 是大多數病人選擇的檢查方式。在肺部胸片上檢測[7]是否患有肺炎，要求醫生有過硬的專業知識和豐富的臨床經驗, 是一項極具挑戰性的工作。 此外，對于醫生來說, 每天花費大量時間來觀察大量肺部影像, 難免存在視覺疲勞, 出現誤診、 漏診等情況，計算機輔助診斷系統 (computer-aided designs, CAD)應運而生[8]。

深度學習作為人工智能領域的一個重要分支[9], 其出現開辟了現代計算機領域的一個新興研究方向。它是由Hinton等在2006年所提出, 其本質是有監督的學習[10], 使用原始或者經過預處理帶有明確標簽的數據作為卷積神經網絡算法的輸入； 然后算法對數據進行分層抽象處理, 將原始的輸入數據一層一層地抽象成其自身任務所需要的目標特征[11]； 最后將學習到的特性映射到任務目標作為結束。 深度學習與傳統的淺層學習的主要區別在于淺層學習(圖1)基本上只有輸入輸出和一層隱藏層; 而深度學習(圖2)主要是強調模型結構的深度[12], 一般具有多層隱藏層(包含多層的卷積層和池化層), 深層網絡意味著擁有更好的非線性表達能力, 可以學習到更加復雜的非線性變換, 從而擬合更加復雜的輸入特征。因此,深度學習方法成為目前計算機輔助診斷領域所使用最為廣泛的方法，本文就深度學習在肺炎檢測中的研究現狀展開詳細討論,充分描述了目前肺炎檢測所取得的成果以及所面臨的問題，并給出了進一步的研究建議。

圖1 傳統淺層神經網絡結點

圖2 深度神經網絡一般模型結構

1 深度學習模型

在2012年ImageNet競賽[13]上, 由Krizhevsky等[14]設計的AlexNet卷積神經網絡模型(CNN)取得冠軍, 使得CNN成為圖像識別檢測等領域的核心算法模型。 隨后，大量優秀模型相繼問世, 例如VGGNet[15]、 GoogleNet[16]、 ResNet[17]、 ResNext[18]等。其詳細參數以及Top5錯誤率如表1所示。

2 數據集

肺炎圖像數據集的獲取途徑特殊, 一般情況下只能在醫院獲得。文獻中所用到的數據集多是通過和一些大型醫院進行合作所得, 并未公開, 因此數據集獲取存在一定難度; 另外, 由于醫學影像的專業性, 其標注成本相對較高, 通常都是由1～2位經驗豐富的專業醫學影像醫生進行標注, 再由1～2位醫生檢查標注結果, 這也是導致公開肺部醫學圖像數據集較少的原因之一。目前有3個比較大型的公開肺部影像數據集可以供學者進行研究。

(1)NIH Chest X-ray。此公開數據集是由美國國立衛生研究院(national institutes of health, NIH)[19]所提供, 有112 120張X射線肺部影像, 包括肺炎在內的14種胸部疾病, 研究人員在原始數據集上采用自然語言處理(NLP)的方式對圖片進行標注, 正確率超過90%, 由于其自身標簽就存在一定的誤差性, 因此采用此數據集進行研究所得到的結果一般都沒有其他兩個數據集所得到的結果理想。

(2)Chest X-ray Images。此數據集是加州大學圣迭戈分校Kermany等[20]在2018年間收集的廣州婦女兒童醫學中心1～5歲兒童肺部的5 863張胸片, 分為正常和肺炎兩個類別。 在此數據集上利用遷移學習的方法得到高達92.80%的準確率[21], 部分肺部影像如圖3所示。

(3)肺炎識別比賽公開數據集。 此數據集是2018年9月由北美放射協會(RSNA?)聯合Kaggle公司發起的醫學圖像肺炎識別比賽中提供的數據集[22]。 每組胸片還提供了患者的肺部病灶邊界框值、 目標值等; 此外數據集分為肺炎和非肺炎(包括正常和非肺炎異常組)。

表1 卷積神經網絡不同模型的參數信息

圖3 胸部 X-ray部分影像[20]

3 國內外研究現狀分析

3.1 傳統檢測方法

早期, 在肺炎檢測領域大多數采用傳統圖像處理[23]和機器學習[24]的方法對肺炎進行檢測, 如范炤等[25]提出了一種基于BP人工神經網絡的肺炎預測模型，將肺炎的多個致病因素作為網絡模型的輸入，使用反向傳播算法對參數進行更新后達到肺炎預測目的，相對于如今的卷積神經網絡，出現了網絡泛化能力不強、預測準確率不高等問題。袁茂州[26]使用LBP算法以及灰度共生矩陣來提取圖像只含肺部區域的特征, 結合支持向量機(SVM)分類器對肺部圖像進行識別, 然而新算法需要人工設置閾值, 提取到的肺部特征較為單一。王忠闖等[27]同樣是采用SVM的方法，針對感染肺炎后無法準確監測病人的實時情況提出了一種基于支持向量機的呼吸器肺炎檢測方案，經過交叉驗證和受試者工程特征曲線對搭建后的模型進行評估，其結果為專科醫師提供了一定的參考作用。 王家銘等[28]采用KNN分類器, 最終也是只達到了75%的精確率。 岳路等[29]利用經典的決策樹算法, 對200例的小兒肺炎進行分類, 準確率達到了80%。 朱碧云等[30]利用小波變換的熵紋理特征進行塵肺病分類診斷的研究, 準確率達到了84.6%。 2017年傅星瑜等[31]在采用小波變換和BP神經網絡的基礎上提出了一種特征提取和分類不穩定的肺音信號識別方法[32]來診斷肺炎, 在識別肺炎的過程中表現良好。

這類傳統方法一般需要人工提取特征, 并且對于肺部X射線影像而言, 需要研究人員有一定的醫學知識或者交叉學科基礎, 因此人工提取特征存在一定的誤差性, 所得出的檢測結果也不十分理想, 目前已逐漸淡出肺炎檢測研究領域。

3.2 深度學習檢測方法

深度學習方法作為目前計算機視覺分類、 目標檢測領域的主流研究方法, 表現出強大的競爭力。針對傳統方法檢測過程中耗時耗力、 檢測準確率不高等問題， 為進一步提升識別效率和結果, 研究人員將深度學習方法引入肺炎檢測領域。深度學習成為提升醫學圖像分類識別效率的突破口, 其端到端的應用方式、 高精度的分類結果是目前肺炎識別領域的研究熱點。

3.2.1 分類識別 分類是指將圖片結構化為某一類別信息, 將標注好類別或者屬性ID的圖片經過分類算法得出類別結果。 基于深度學習的分類方法在訓練階段通過大量的訓練數據優化網絡的參數, 在測試階段, 網絡可以通過多層卷積快速得到待求的類別, 而無需再進行繁瑣的數值優化; 不足之處在于不能對圖片中特定信息(如肺炎檢測中病灶區域的定位)進行更為詳細的解釋。

潘麗艷等[33]提出一種基于改進AlexNet方法并結合遷移學習對肺炎胸片進行了細菌型和病毒性肺炎進行了判別:先利用AlexNet的全卷積神經網絡對肺部胸片進行左右肺區的分割, 排除其他非肺部組織對檢測結果的干擾, 該網絡使用了3個卷積層替換了原來AlexNet網絡中的最后面3個全連接層, 使輸入的圖片大小和輸出的圖片大小保持一致; 算法采用Dice系數來進行分割效果評價, 最終平均Dice系數為0.90, 將分割后的圖片采用改進AlexNet+SVM的分類方法, 最后得到準確率為80.48%, 特異度為82.07%, 靈敏度為77.55%。劉長征等[34]提出一種改進的卷積神經網絡:該網絡由3個卷積層、 3個層和1個全連接層組成, 并且對卷積層進行了特殊處理, 加入了兩個標志符號, 有效抑制不活躍的肺部圖像信息, 同時也防止了過擬合的出現; 前期預處理時采用趙恒等提出的閾值分割算法[35]，將分割后的肺部圖像送入到卷積神經網絡中, 使用來自哈爾濱醫科大學附屬第二醫院的2 000張肺部CT(該數據集并沒有公開)，最終達到86.75%的識別率。

雖然以上文獻采用的都是深度學習技術, 但由于采用的是經典算法, 所用網絡結構相對單一, 泛化能力不強, 以及使用了早期效果一般的激活函數， 在反向傳播的過程中或多或少出現了梯度爆炸或者梯度消失的情況, 導致在迭代的過程中出現了識別率飽和的現象。

為解決肺炎數據集中數據量不夠的問題, 遷移學習目前已經成為了深度學習中醫學圖像輔助檢測的主流方法, 不僅解決了醫學圖像數據規模不夠的問題, 同時也解決了難以從開始就訓練大型網絡的問題，它采用已在大型數據集上(如ImageNet或者特征相近其他大型數據集)訓練好的權重, 將權重文件遷移到新的網絡中后再對網絡進行優化改進。如鄧棋等[36]采用了一種基于知識蒸餾[37]并結合優化后的卷積神經網絡的方法, 根據肺部CT圖像的特點, 選用AlexNet和Inception V3深度學習模型網絡, 利用遷移學習的方法有效避免了由于數據量過小而易引起的過擬合等問題, 具體實現過程如圖4所示。

圖4 知識蒸餾網絡模型

先將Teacher Module的訓練結果用指定的參數T“軟化”, 再利用激活函數softmax得到經過T軟化后的概率, 具體計算式為

其中:i表示某一類別；qi為教師模型所得出的某一類結果的可能性;zi為教師模型中第i類的輸出值，zj為教師模型中總輸出值，j為分類類別數，本文為作二分類問題，j取值為1,2；T為軟化參數。模型的最終準確率達到了92.48%， 損失為0.023。

Liang等[38]同樣采用了遷移學習的思路, 基于ResNet殘差網絡, 通過引入殘差的思想, 來解決隨著網絡深度不斷增加, 效果越差的問題。該網絡由49個卷積層和2個全連接層組成, 通過空洞卷積[39]的方式, 使得原始網絡分辨率不變, 圖像空間分辨率損失最小化, 空洞卷積的原理如圖5所示, 可看出, 空洞卷積支持在不增加核參數的情況下增加卷積核的感受域, 有效避免了過度丟失特征圖的分辨率, 達到了90.50%的準確率。

何新宇等[40]采用在ImageNet數據集上預訓練好的GoogleNet Inception V3模型進行特征提取, 在該深度學習模型中加入由2層全連接層(神經元個數分別為1 024和512)和1個Dropout層所組成的特征融合層, 并結合隨機森林分類器, 在公開數據集Chest X-Ray Images肺炎數據集上進行了一系列的測試, 準確率達到了96.77%, 敏感度達到97.56%, 特異度達到94.26%, 此成果為目前肺炎檢測中所取得的最好研究成果。

圖5 膨脹系數為1(a)、 2(b)、 3(c)的3×3空洞卷積結構圖

在有關肺炎檢測研究中, 使用的大多是層數較深的網絡, 多層卷積以及多樣化的卷積核具有更好的特征擬合泛化能力。2017年Wang等[41]使用自建的Chest X-ray8, 即前文面所提到的公開數據集NIH Chest X-ray的子數據集, 來判定和定位肺不張、 心臟肥大、 肺炎等8種胸部疾病, 其中肺炎識別的精確率最高達到了63.33%。 Yao等[42]利用標簽之間的統計依賴關系來進行更加準確的預測, 其結果優于文獻[19]研究中14個分組中的13個, 其中肺炎的精確率為71.3%，識別精確率較低的原因是因為數據集本身存在部分錯誤標簽, 并且多種胸部疾病的影像特征相近、 分類類別較多, 因此最終識別效果不高。 Rajpurkar 等[43]設計了一種叫作CheXNet的121層卷積神經網絡, 在目前最大的胸部X射線數據集Chest X-ray14上訓練、 測試, 所得結果與4位從事學術研究的放射學家的標注結果進行了對比, 結果表明在CheXNet上得到的指標中F1-score超過了放射科醫生的平均水平。Varshni等[44]使用在ImageNet上預訓練好的Xception[45]、 RestNet-50、 DensNet-121、 DensNet-169[46]等卷積神經網絡, 隨后結合隨機森林、 KNN、 樸素貝葉斯、 SVM分類器對其性能進行了評估, 最后在Chest X-ray14數據集上進行數據處理, 挑選出了1 431張帶有肺炎標簽的圖片； 為了平衡數據集, 同樣在該數據集上挑選出了1 431張標記為無發現的正常胸片, 然后將數據集分為訓練集和測試集, 結果顯示:在RestNet-169結合帶rbf核的SVM分類器并對網絡進行超參數調節后表現出了最好結果, 其評價指標AUC(area under the curve)值達到了0.800 2, 結合多種網絡和多種分類器, 進一步提升了分類效果。

3.2.2 目標檢測定位識別 深度學習具有自動從網絡中學習深層次、 鑒別特征的能力, 已在醫學圖像檢測定位領域廣泛應用。 目標檢測的深度學習方法優點在于不僅進行了類別識別, 同時也根據標簽信息將感興趣的區域(病灶區域)檢測出來, 在肺炎檢測領域更好地幫助醫生快速定位病灶點; 其缺點在于當圖片存在多個感興趣區域時檢測難度大大增加, 檢測結果準確性有待提高。

在目標檢測方面:Mubarok等[47]使用了由北美放射協會RSNA?聯合Kaggle公司提供的肺炎挑戰賽中的公開數據集, 基于ResNet和Mask-RCNN[48]兩個深度學習模型, 在ResNet的基礎之上實現了在每次卷積和使用激活函數之后進行批處理歸一化, 并且在訓練的過程中采用余弦退火算法來優化學習率； 對于損失函數, 結合了IOU和二元交叉熵。在Mask-RCNN上采用了自底而上和自頂而下兩種提取特征的路徑, 采用準確率、 敏感度、 特異度3個醫學圖像檢測常用的評價指標, Residual Network和Mask-RCNN的結果分別為85.60%、 51.52%、 94.83%和78.06%、 36.12%、 85.54%，并且利用Mask-RCNN進行了病灶區域的定位, 具體定位結果如圖6所示。

圖6 由Mask-RCNN給出的定位信息[53]

文獻[49]使用與前文所述都不相同的深度神經網絡——CoupleNet[50]的全卷積神經網絡： 先通過基本網絡將圖片信息傳送到區域建議網絡來產生Proposal區域； 然后每一個Proposal被傳送給兩個分支, 第一個分支使用位置敏感RoI pooling[51]來獲取本地信息, 第二個分支用來提取全局的上下文信息； 最后合并這兩個分支的輸出, 生成基于本地信息和全局信息的預測， 預測結果如圖7所示(紅色為預測框信息, 綠色框為真實信息)。

從某種程度上看, 在肺炎識別領域目標檢測的方法要優于分類方法。 分類的方法僅是給出是否患有肺炎, 而目標檢測方法不僅區分出是否患有肺炎并且還給出了具體病灶區域的候選框, 真正達到了輔助醫生進行疾病的診斷,減少了醫生的負擔, 不足之處在于目前此方面的相關文獻不多, 同時相關文獻中肺炎病灶區域定位準確率還有待提高。

3.3 算法總結

由于多數研究者是利用不同的方法在不同的數據集上進行實驗, 而且不同的實驗環境和設備以及不同的數據集預處理方式和評價指標都會對最后的結果產生影響。在Chest X-ray Images數據集上進行研究的文獻較多, 對此數據集上的研究成果進行了對比總結, 其結果如表2所示。

圖7 文獻[49]中的定位結果

表2 在Chest X-ray Images數據集上已有研究成果對比

4 總結與展望

隨著深度學習浪潮的涌起, 很多文獻在研究利用深度學習方法來進行肺炎的檢測診斷需求， 盡管取得了一定的進展, 但是其效果仍不能完全滿足實際的肺炎診斷。 究其原因, 主要是醫學疾病診斷的嚴謹性, 在當前技術不成熟的情況下仍然需要專業醫生再次把關, 最終結果還是需要醫生根據以往的臨床診斷經驗和專業知識來做最后的判別。多數研究人員只是對肺部影像進行了是否屬于肺炎的判別, 而肺炎具有多種類型, 例如大葉型肺炎、 支氣管肺炎、 間質肺炎、 SARS等, 僅文獻[34]通過和醫院合作利用未公開的數據集對肺炎的類型進行了判別， 因此在未來的技術挑戰和發展方向上對相關研究人員給出幾點建議:

(1)更多肺炎數據集的公開: 目前只有3個比較大型的肺炎公開數據集, 對于深度學習領域而言, 通常需要大量的肺部醫學影像經過長時間的訓練才能取得較好的效果, 因此需要更多的大型肺部影像數據集來為肺炎檢測作出貢獻。

(2)對相關肺炎數據集進行具體信息標注:對一般的肺部影像數據集而言, 如果沒有給出具體信息(如病灶區域的位置信息, 病灶區域的大小,x、y軸信息), 僅能識別出是否是患有肺炎, 無法具體定位病灶區域以及通過候選框框出, 因而不能良好地快速幫助醫生定位病灶大小, 給出建議性的治療方案。

(3)研究方向傾向于病灶定位以及快速定位:僅將肺部影像區分為肺炎和正常還遠遠不夠, 目前分類方面研究已取得較好效果, 未來的重點應該是采用目標檢測的方法進行肺部炎癥病灶區域的快速定位和精準定位, 使得計算機輔助診斷系統能夠快速精確診斷。

(4)提出更加高效的算法: 目前深度學習算法參數量以及計算量基本上是少則幾十萬, 多則上億， 需要非常優秀的硬件設備(顯卡和CPU等), 這無形之中大大增加了科研成本；另一方面也要求研究人員在算法方面進行創新。

深度學習方法作為一項新技術, 其在影像醫學領域應用研究還有很長的路要走, 針對醫學領域的實際情況, 需要投入更多的人力和物力去不斷改進與創新; 并且由于深度學習技術在圖像信息處理方面的卓越表現能力, 其未來可能成為影像醫學臨床診療中的得力輔助工具。