基于注意力機制改進CNN的肺炎圖像識別研究

高 敏，曾孟佳，2*

（1.湖州師范學院信息工程學院，湖州 313000；2.湖州學院電子信息學院，湖州 313000）

0 引言

肺炎是臨床上最常見的傳染病之一，由于肺炎病因復雜，且發病時間短，因此盡早識別肺炎對肺炎的治療和診斷都起著重要的作用［1］。X 光檢查因其輻射小、費用低、實用性強等優點而被廣泛用于影像檢查［2］。但是X光肺炎圖像分辨率低，圖像中的器官會出現重疊、交叉等現象，增加了專業醫生的識別難度，容易導致醫生出現誤診、漏診的情況［3］。如果肺炎沒有被及時地發現和治療，將影響到人的呼吸，嚴重的可能危及生命［4］。因此，快速和準確地診斷肺炎在治療過程中至關重要。

傳統的肺炎識別方法主要是依靠肺部專業醫生的個人經驗來判斷［5］?，F有的識別方法過于依賴專業的醫學知識，由于醫務人員的短缺、視覺疲勞和缺乏經驗等客觀因素導致診斷效率偏低［6］。隨著計算機和圖像處理技術的快速發展，計算機輔助診療系統逐漸應用在臨床醫學中，并為肺炎診斷等提供了參考性的意見。針對肺炎識別的問題，中外很多研究學者都提出了許多不同的方法［7］。Jun 等［8］利用支持向量機（support vector machine，SVM）算法對兩種不同的肺炎進行了分類，最后的分類結果與放射科專業醫生的分類結果準確率只相差5%～6%。俞一奇［9］在對咳嗽音兒童肺炎識別模型選用的是支持向量機算法，通過驗證比較不同核函數等參數，最終實驗得出的分類準確率為73.26%。Jakhar 等［10］使用深度卷積神經網絡對肺炎圖像進行識別，這是一個基于隨機森林算法優化的大數據預測模型來識別肺炎圖像，通過實驗得出肺炎識別的準確率為84%。

隨著人工智能的深入發展和醫學影像數據的增加，人工智能在智慧醫療領域取得了重大的突破［11］。深度學習技術可以提高臨床診斷的準確性和效率，它能夠自動地從原始圖像數據中逐層提取特征，從而更加準確地識別肺炎。Krizhevsky 等［12］使用卷積神經網絡（convolutional neural network，CNN）在ImageNet 挑戰賽中取得了壓倒性的成功，引起大多數研究者的關注。在CNN 模型取得成功之后［13?14］，Anwar 等［15］將CNN 用于醫學圖像的相關分析中， Jahan 等［16］采用CNN 的高效網絡，通過遷移學習和微調訓練分類器，將改進后的網絡模型用于肺炎識別中。Song等［17］使用特征金字塔網絡改進殘差神經網絡，克服殘差神經網絡過擬合問題，并通過實驗證明該方法在肺炎識別上取得了不錯的準確率。Kong 等［18］提出了密集型融合網絡和VGG 特征的分類網絡，通過特征的重復利用來減少網絡參數的數量，并緩解了梯度消失的現象。

為了提高肺炎圖像的分辨率，同時提高肺炎識別的準確率，本文設計了一種基于注意力機制改進卷積神經網絡的肺炎識別方法，使用公開的肺炎X 光圖像數據集，對其進行圖像增強等操作來增強肺炎圖像的對比度，將處理完成后的數據作為網絡模型的訓練數據；由于無關特征對肺炎識別的影響，本文在卷積神經網絡中加入注意力機制進行改進，對肺炎特征施加不同的權重，使得模型更加關注肺炎特征，抑制重疊器官和背景等無關特征的影響，從而提高肺炎識別的準確率。

1 方法

1.1 數據集預處理

卷積神經網絡要求網絡中與全連接層相連的最后一個卷積層的特征圖尺寸是統一的。然而初始數據的質量和尺寸大小存在較大差別，需要對數據集進行尺寸歸一化處理。本文使用拉伸縮放的方式將圖像調整為224 × 224大小。

在肺炎圖像形成的過程中，由于噪音等原因會使得的圖像對比度降低，邊緣模糊，再加上圖像本身就有各種臟器覆蓋，前后背景對比不突出。圖片的質量會直接影響模型的訓練。本文采取直方圖均衡化和限制（HE）對比度直方圖均衡（CLAHE）對圖像進行增強操作。CLAHE主要在于對比度的限制，對每個小區域塊都使用對比度限制，用來克服HE 過度放大噪音的問題。如圖1 所示，CLAHE 方法能夠優化均衡化的效果，保留了肺炎圖像更多的細節。

圖1 圖像增強示例

1.2 基于注意力機制改進卷積神經網絡

卷積神經網絡是一種特殊的深層神經網絡，神經網絡是由神經元節點連接構成的網絡結構，廣泛應用于視覺圖像識別領域。卷積神經網絡中主要的核心結構層由卷積層、最大池化層、全連接層構成，卷積層和最大池化層之間交替疊加，各結構層之間共同作用。

1.2.1 總體框架

本文研究的是注意力機制的改進卷積神經網絡的肺炎識別方法，首先對肺炎圖像進行圖像增強等相關的預處理，然后在不改變CNN 網絡深度的前提下，向網絡中不同深度加入注意力機制，從而使得網絡能夠根據肺炎特征的不同重要性，對不同通道上的特征施加不同的權重，抑制無關器官和背景特征的干擾，從而提高網絡模型的肺炎識別準確性。具體網絡架構如圖2所示。

圖2 改進CNN網絡架構

1.2.2 全連接層

在模型訓練的過程當中，加入模型的參數很多，而用于訓練的數據集樣本很少，會出現訓練完成之后的模型出現過擬合的現象。在網絡模型訓練的過程中加入全連接層可以有效緩解過擬合現象的發生［19］。

全連接層是一種正則化的方法，在訓練中，隱藏層的神經元以概率P被抑制，部分隱藏層的神經元會被丟棄，然而被丟棄的結點參數值會被保留下來。在誤差反向傳播的過程當中，只有激活的神經元參數被更新。這個過程將在下一次訓練過程中重復進行，從而可以在隱藏層的不同子集中學習相對應的特征，來減少特征之間的依賴性，防止過擬合。標準神經網絡和應用Dropout的神經網絡如圖3所示。

圖3 Dropout技術圖

1.2.3 注意力機制

為了使改進后的CNN 忽略不相關的信息，更加關注肺炎的關鍵特征信息，本文在不同層的CNN 網絡中加入了通道注意力機制模塊，通道注意力機制是一個端到端、簡單而又有效的計算機視覺注意力機制模塊，在卷積神經網絡中，通道注意力機制可以沿著通道維度輸入任何中間的特征圖。然后，將經過注意力施加權重的特征圖與輸入的特征圖相乘，對輸入的特征圖進行一定程度的自適應特征細化。最后，將其無縫集成到卷積神經網絡當中。通道注意力模型的計算方法如公式（1）所示。

其中：MLP是多層感知器；σ為sigmoid 函數；AvgPool是平均池化操作；MaxPool是最大池化操作，F是輸入的特征圖。通道注意力機制的結構如圖4所示，其中?表示乘法運算。

圖4 通道注意力機制結構

2 實驗和討論

本實驗在Windows10 環境中基于keras 深度學習框架和TensorFlow 開源庫，處理器為Intel（R）Core（TM）i5?7200U CPU@2.50 GHz 2.70 GHz，內存為16 GB。

2.1 數據集介紹

本文采用加州大學圣迭戈分校Kermany等［20］于2018 年在Kaggle 網站公開的胸部X 光影像數據集Chest X?ray Images。數據集分為兩大類和三小類。訓練集共有5216 張影像，包含1341張正常（normal）狀態的影像和3875張患有肺炎的影像，其中患有肺炎的圖像包含2530 張細菌性（bacteria）肺炎影像和1345 張病毒性（virus）肺炎影像。測試集共有624 張影像，包含234 張正常狀態的影像和390張患有肺炎的影像，其中患有肺炎的圖像包含242 張細菌性肺炎影像和148 張病毒性肺炎影像。圖5是胸部X光影像數據集正常、病毒性肺炎、細菌性肺炎樣本數據。圖6是胸部X光影像數據集的具體分布情況。

圖5 胸部X光影像部分樣本數據

圖6 胸部X光影像數據分布

2.2 評估標準

對于醫學圖像的識別，性能的評價指標一般有三個，分別是準確率Accuracy、精確率Pre?cision、召回率Recall。在三分類任務中使用平均值的評價方法。對正常、細菌性肺炎、病毒性肺炎三個類別分別統計準確率、精確率和召回率三個評價指標，然后求算術平均值作為模型的準確率、召回率和精確率。計算過程如公式（2）～公式（4）所示。

式中：TP是指真正的正樣本；TN是指真正的負樣本；FP是指假正樣本；FN是指假負樣本。

2.3 實驗結果分析

為了驗證本文提出的圖像增強方法對肺炎識別的有效性，分別使用直方圖均衡化和限制對比度直方圖均衡對圖像進行增強操作，然后輸入到CNN當中進行對比，結果如表1所示。

表1 使用圖像增強技術的對比結果

表中的模型（1）、模型（2）和模型（3）依次表示輸入CNN中的肺炎圖像數據未進行圖像增強、經過直方圖均衡化圖像增強、經過限制對比度直方圖均衡圖像增強之后的實驗結果。相比較而言，肺炎圖像數據經過圖像增強處理之后能夠一定程度地提高肺炎識別的準確率，提高了2%～6%左右，表明肺炎圖像增強方法的有效性。

為了驗證本文改進的CNN 網絡結構的有效性，采用本文收集的數據集與其他主流的網絡結構的結果進行對比，且使用相同的圖像增強方法進行數據預處理，為了驗證注意力機制在肺炎特征提取中的有效性，對本文網絡沒有使用注意力機制和加入了注意力機制的情況進行對比，結果如表2所示。

表2 與現有模型的對比結果

由表2 可知，本文研究的Att?CNN 網絡在肺炎識別的準確率達到90.57%，在所有對比方法中最高，表明加入注意力機制對網絡進行改進能有效提高肺炎圖像識別的準確率，召回率和精確率都不是很高，相對而言處于平均水平。本文在不同深度的CNN 中加入注意力機制模塊進行改進，為CNN 在提取肺炎特征時分配了不同的權重，從而提高了肺炎識別的準確率，在加入注意力機制的情況下，本文研究的網絡結構的三個評價指標都達到最高，表明本文所提出方法的有效性。

3 結語

本文研究基于注意力機制改進CNN 的肺炎圖像識別方法，網絡結構采用CNN為主干網絡，首先對肺炎圖像數據進行圖像增強處理，然后在不增加CNN 網絡深度的情況下，向網絡結構的不同層加入注意力機制，對肺炎特征施加不同的權重進行訓練，使得網絡能夠更加精準地識別肺炎特征。實驗結果表明，本文的模型和主流的方法相比，能夠有效識別肺炎，其準確率達到了90.57%，精準率達到了89.76%。在一定程度上滿足了部分臨床的需求，對智慧醫療中肺炎識別的臨床診斷有極其重要的意義。