MRAU-net網絡下的X光胸片肺野分割算法

胡俊, 李平

(華僑大學 信息科學與工程學院, 福建 廈門 361021)

利用醫學影像進行疾病的篩查與診斷已經成為臨床上不可或缺的手段,這既給醫生帶來了幫助,也帶來了繁重的工作負擔[1].X光胸片是臨床診斷肺部疾病最常用的手段,將計算機輔助診斷(CAD)技術應用于X光胸片的診斷,具有重要的現實意義[2].圖像分割是CAD技術的基礎步驟,其精確性會影響計算機對疾病的判斷.由于X光胸片存在對比度低、邊緣模糊、組織投影重疊等問題,因此,對肺野進行精確分割頗具難度[3].

X光胸片的肺野分割問題一直受到國內外眾多學者的關注.張繼武等[4]通過水平集方法,提高了肺野的分割精度,但無法排除背景信息的干擾;Candemir等[5]提出一種改進的圖片分割算法,通過設計的形態模板獲取圖割法參數來完成肺野分割,雖分割效果良好,但受限于模型結構,泛化能力較差;佘廣南等[6]提出一種基于密集特征匹配的全自動分割模型,該方法無需人工參與,結果較為精確,可對弱、偽邊界區域進行分割,但容易陷入局部極值;Matsuyama[7]提出一種基于迭代聚類的X光胸片肺區分割算法,該算法高效快捷、泛化性強,但分割精度較差;秦子亮等[8]提出一種基于卷積神經網絡的X光胸片肺野分割方法,該方法將肺野分割問題轉換成對圖像塊的分類問題,提高了分割精度;Kim等[9]提出一種自注意力機制的肺野自動分割方法,在U-net網絡[10]的基礎上引入注意力機制,提升了網絡學習目標區域圖像特征的能力,取得了較好的分割效果;Singh等[11]提出一種基于Deeplabv3+的X光胸片肺野自動分割方法,該模型訓練速度較快,但對于病變嚴重的胸片圖像,分割效果較差.

由于U-net網絡在醫學圖像分割任務中展現出的卓越性能,被國內外眾多學者應用于各自的研究領域中.Abid等[12]設計了雙U-net網絡架構,用以獲取高分辨率和冗余信息,從而提升對皮膚圖像中病變區域分割的精確性和穩定性;Li等[13]將2個對抗性網絡集成到U-net網絡中,利用注意力模塊引導分割過程,以提升對胰腺CT圖像的分割精度;Hussain等[14]利用多輸入多輸出模塊和改進的跳躍連接,對U-net網絡結構進行優化,將不同卷積塊的輸出進行級聯設計,以減小特征提取時的信息損失,從而提升對血管分割的精確性.

綜上可知,學者們主要從傳統圖像分割和深度學習兩個角度對胸片肺野分割問題展開研究.基于此,本文針對利用U-net網絡進行X光胸片肺野分割時,受限于特征提取能力不足而導致結果不精確的問題,提出一種多尺度殘差注意力U型網絡(MRAU-net)模型.

1 MRAU-net網絡的結構設計

1.1 整體網絡結構設計

MRAU-net網絡結構,如圖1所示.MRAU-net網絡沿用了U-net網絡編-解碼的架構思想,其整體結構分為11個分塊,除了輸入、輸出模塊外,其余分塊均融合了2個改進的殘差模塊;在下采樣階段,利用多尺度信息融合(MIF)模塊提升了網絡對多尺度圖像特性信息的挖掘與融合能力;在上采樣階段,利用通道和空間雙注意力(CSDA)模塊指導網絡進行更準確、高效的特征整合和肺區預測.與U-net網絡相比,殘差模塊加深了網絡的體系結構,提升了網絡對X光胸片圖像的肺野特征提取與預測能力.

圖1 MRAU-net網絡結構圖

在編碼器部分,網絡由4個相似的分塊組成.每個分塊均以MIF模塊為起始,從而增加網絡對多尺度信息的獲取.利用稠密塊和2個改進的殘差模塊,優化網絡結構,實現對多尺度信息的進一步挖掘.稠密塊的結構與殘差模塊的基本單元相同,由3×3的膨脹卷積層、批標準層(BN)及LeakyRelu激活層組成,這樣能保持網絡結構的一致性,便于網絡對數據進行處理.利用1個2×2的最大池化層(Maxpooling),實現圖像下采樣,特征圖的數量在每次下采樣后會增加一倍.此外,為了防止過擬合,還在每個分塊中添加了比率為0.5的Dropout層.

在解碼器部分,同樣包含4個相似分塊.每個分塊通過1個3×3的轉置卷積層實現圖像上采樣,每經過一次轉置卷積,特征圖數量會減少一半,而特征圖尺寸會增加一倍.同時,利用CSDA模塊對上采樣過程進行指導,幫助網絡剔除無用信息,有利于網絡對目標進行準確定位.通過Concatenate層連接來自編碼器和轉置卷積的特征映射,實現高、低維圖形特征的結合,補償下采樣過程中的信息損失.同樣,為了防止過擬合,在每個分塊中添加了比率為0.5的Dropout層.

在編碼器和解碼器之間,利用1個MIF模塊、1個稠密塊及2個改進的殘差模塊構建連接橋,完成編碼器和解碼器之間的信息傳遞.利用1個3×3的膨脹卷積層和1個Sigmoid激活層,將特征圖映射到目標、背景的分割中,并輸出分割結果圖.

1.2 改進的殘差模塊

原始殘差塊和改進殘差塊的結構,如圖2所示.由圖2可知:殘差模塊使用了一種類似于跳躍連接的結構,用以實現淺層信息向深層的傳遞,稱為短路鏈接或快捷鏈接[15].由于原始殘差模塊缺乏對數據的處理,使提取的特征比較繁雜,對有效特征的提取能力稍顯不足[16].利用膨脹卷積層、修正的激活層(LeakyRelu函數)及批標準(BN)層對原始殘差塊進行改進.

(a) 原始殘差塊 (b) 改進殘差塊

利用膨脹卷積替換普通卷積,能提升殘差模塊的特征提取能力.同時,對各個膨脹卷積層的膨脹率進行鋸齒化設計,可以弱化柵格效應[17].為了避免神經元“死亡”對網絡訓練造成負面影響,將殘差模塊中的Relu函數用LeakyRelu函數替代.通過在殘差模塊中添加批標準層,實現對輸入數據的標準化.BN層可將同一批次的訓練數據規范到相同量綱下,增加樣本數據間的相似性.這既能提升網絡學習、收斂的速率,又能防止過擬合,抑制梯度消失現象和梯度爆炸現象.

1.3 MIF模塊

MIF模塊結構,如圖3所示.受Inception模塊[18]的啟發,設計的MIF模塊利用4條支路對輸入數據進行特征提取,除直連支路外,其余3條支路執行1×1,3×3膨脹卷積和批標準化的不同組合,這樣組合的目的在于:1) 增加網絡深度、寬度;2) 用小尺寸卷積的堆疊實現大尺寸卷積的功能,除了能獲取更全面的信息,還能減少參數量,加快學習進程;3) 利用不同深度的支路,獲取多尺度信息.而直連通路則能實現信息的無損傳遞,類似于殘差結構中的短路連接.

圖3 MIF模塊結構

1.4 CSDA模塊

注意力模型按照原理可以劃分為空間注意力模型和通道注意力模型.空間注意力模型按照區域的重要程度分配權重,使網絡著重學習圖像的重要區域;而通道注意力模塊,則基于通道的顯著程度分配學習權重,使網絡能著重學習顯著通道對應的特征圖.

就二維圖像而言,假設卷積后得到的特征圖尺寸為H×W×C,H,W,C分別為長、寬和通道數(特征圖數量).空間注意力模型基于所有特征圖,首先生成一張熱力圖,此時,特征圖尺寸由H×W×C變為H×W×1;然后,基于熱力圖,標定圖像中各區域的重要程度,并按照重要程度分配不同的學習權重;最后,將相同權重配比作用到所有特征圖上.而通道注意力模型首先將每一張特征圖壓縮成一個數,并用該數代表相應通道,此時,特征圖尺寸由H×W×C變成1×1×C;然后,基于數值定義各通道的顯著性;最后,按照通道的顯著程度給對應特征圖分配學習權重.

CSDA模塊結構圖,如圖4所示.圖4中:GAvg Pooling為全局平均池化;GMax Pooling為全局最大池化.利用CSDA模塊可以增強網絡對目標位置、形態等有效特征信息的捕獲能力,還能抑制無用信息,加快網絡的學習過程,解決網絡在有限算力下的信息過載問題.

圖4 CSDA模塊結構圖

2 X光胸片肺野分割算法的設計

對于神經網絡,從X光胸片圖像中學到有利于肺野分割的圖像信息,具有一定的難度[19].由于可用于訓練的有效樣本量較少,想要取得良好的肺野分割效果頗具挑戰.對于小數據集,可以通過數據增強手段,獲取足夠的訓練樣本,保證網絡對于數據的基本需求[20].此外,還可以通過設計合適的損失函數,提升網絡對有效圖像特征的挖掘能力,增加網絡的肺野分割性能.

2.1 算法的整體流程

X光胸片肺野分割算法流程,如圖5所示.該算法主要包括2個部分:1) 數據預處理,包括數據增強和圖像預處理;2) 對MRAU-net網絡進行設計,并利用預處理后的圖像數據對網絡進行訓練和預測.由于MRAU-net網絡是一種端到端的神經網絡結構,因此,無需其他操作,既可獲得X光胸片的肺野分割二值結果圖.

圖5 X光胸片肺野分割算法流程

2.2 數據預處理

數據預處理包括數據增強和圖像預處理.數據增強是在訓練神經網絡的過程中,應對可供訓練的有效樣本不足的情況下,普遍使用的一種數據處理手段[21].

就神經網絡而言,只需要對圖像數據做一些細微的改變,即可使網絡將改變后的圖像認定為不同的圖像數據[22].同時,神經網絡具有平移、旋轉等不變性,無論目標處于圖像中的哪個位置、何種狀態,都不干擾網絡進行穩定的預測.因此,常規的數據增強手段包括旋轉、平移、縮放、剪切、翻轉、加噪聲、顏色變換等[23].

使用的Montgomery數據集和Shenzhen數據集包含800張X光胸片圖像,其中,704張有對應的掩膜圖像.通過左右翻轉、上下翻轉、-70°～70°隨機旋轉、平移、剪裁、旋轉加剪裁等操作,生成了4 652張具有對應掩模圖的X光胸片圖像數據.

通過數據增強,提升數據集的樣本數量;而利用圖像預處理,則可以提升數據集的樣本質量.圖像預處理包括圖像尺寸、灰度標準化.對于數據增強后的數據集,圖像尺寸不具備一致性,所以,需要對圖像執行標準化,將圖像尺寸規范到相同大小.此外,為了減少網絡訓練的計算量,提升學習效率,還需將圖像的像素灰度區間由0～255調整到0～1之間.

2.3 損失函數

對于二分類問題,通常會用0和1來區分樣本數據的類別.以圖像分割為例,用1標記前景,用0標記背景.就單目標分割任務而言,利用神經網絡實現分割,本質上是對圖像中所有像素點類別的二分類預測[24].

在神經網絡結構的末端,采用Sigmoid函數作為激活函數.Sigmoid函數通過處理所有輸入特征數據,輸出一個對二分類結果的預測概率,該概率值分布在0～1之間,代表網絡預測樣本為正樣本的可能性,數值越大,表示網絡認為樣本是正樣本的可能性越大.在單目標分割任務中,圖像中所有像素點類別的預測經由Sigmoid函數會得到相應的概率值,此概率值表示網絡將像素點預測為前景的可能性[25].

對于二分類問題,最常用的損失函數為二元交叉熵損失,其作用原理如下.

(1)

當y=0時,表示將該像素點被預測為背景的概率;當y=1時,表示該像素點被預測為前景的概率,即

(2)

(3)

根據極大似然估計原理,將上述兩種情況進行整合,可得

(4)

在式(4)的基礎上,在等號兩邊引入對數函數,對數函數并不會改變原式的單調性,即

(5)

于是,定義損失函數L=-lgP(y|x),則可以得到二元交叉熵損失函數Lbce的表達式為

(6)

式(6)中:無論實際標簽值為0或1,Lbce均表示網絡的輸出與標簽值的誤差,且誤差越大,損失函數的數值越大.由于對數函數的作用,損失值的變化是非線性的,這樣能使網絡的輸出更容易擬合真實樣本的標簽值.

3 實驗結果與分析

采用Montgomery數據集和Shenzhen數據集對圖像分割算法進行研究.為評判文中方法的分割性能,共進行3組實驗.第1組為消融實驗,以展示兩個主要改進點(MIF模塊和CSDA模塊)對網絡性能提升的貢獻;第2組實驗采用文中方法對不同X光胸片進行肺野分割,通過對結果進行對比分析,評判文中方法的有效性;第3組實驗采用不同方法對相同數據集進行肺野分割,通過對結果進行對比分析,評判文中方法的優越性.

3.1 實驗環境及參數設定

實驗使用工作站的操作系統為Ubuntu 20.03,運行環境為Python 3.6,在Tensorflow 2.0深度學習框架上搭建神經網絡并進行訓練、測試.實驗環境及參數配置,如表1所示.

表1 實驗環境及參數配置

3.2 消融實驗

消融實驗將未加入MIF模塊和CSDA模塊的網絡作為基線模型(Baseline),為了評估X光胸片肺野的分割質量,引入靈敏度(Isen)、特異性(Ispe)、Dice系數(D)及交并比(IoU)4個評價指標作為參考標準.靈敏度反映肺野中被正確分類的像素比例,特異性反映背景中被正確分類的像素比例,Dice系數和交互比反映分割結果與金標準的相似性,其表達式分別為

Isen=NTP/(NTP+NFN),

(7)

Ispe=NTN/(NTN+NFP),

(8)

D=2NTP/(2NTP+NFP+NFN),

(9)

IoU=NTP/(NTP+NFP+NFN).

(10)

式(7)～(10)中:NTP為肺野中被正確分類的像素數量;NFN為將肺野分成背景的像素點數量;NTN為背景中被正確分類的像素數量;NFP為將背景分成肺野的像素數量.

4個評價指標的數值均不大于1,數值越高,表示分割得越準確,發生錯誤分割的情況越少.不同模塊組合在X光胸片數據集的評價結果,如表2所示.

表2 不同模塊組合在X光胸片數據集的評價結果

由表2可知:文中方法添加的MIF模塊和CSDA模塊對網絡的肺野分割性能均有一定程度的提升,相較而言,CSDA模塊對網絡性能提升的效果優于MIF模塊;此外,將MIF模塊和CSDA模塊搭配使用,能進一步提升網絡的肺野分割性能.

3.3 文中方法對不同X光胸片的分割效果展示

將原始X光胸片數據集進行隨機打亂,按照8∶1∶1的比例對訓練集、驗證集和測試集進行劃分,并對訓練集進行數據增強,得到的訓練集、驗證集和測試集分別包含4 512,70,70張X光胸片圖像.

將文中方法在增強后的訓練集上進行訓練,并在驗證集上進行驗證.訓練的迭代次數設置為50個Epoch.網絡訓練階段Loss值(L)和準確率(η)變化曲線,如圖6所示.

(a) Loss值 (b) 準確率

由圖6可知:訓練集的Loss值曲線能快速且平滑地下降,在8個Epoch附近就基本收斂,最終Loss值穩定在0.05左右;雖然在30個Epoch附近開始出現輕微的過擬合,但在整個訓練過程中,驗證集的Loss值能快速跟隨訓練集Loss值的變化而變化;此外,驗證集的準確率也能緊密跟隨訓練集準確率的變化,這表明文中方法對X光胸片圖像具有較強的學習和預測能力,展示了良好的肺野分割性能.

網絡訓練結束后,采用文中方法在測試集上進行肺野分割實驗,結果如圖7所示.

由圖7可知:文中方法實現了對X光胸片肺野的精確分割,所得肺野形態完整且邊緣平滑,有效排除了圖像中不同亮度、對比度及骨骼、血管等組織投影對分割過程的干擾,不易受到弱、偽邊界的影響,得到圖像對角點及凹陷區域的分割結果也較精確.

(a) 圖像1 (b) 圖像1分割結果 (c) 圖像2 (d) 圖像2分割結果 (e) 圖像3 (f) 圖像3分割結果

利用上述4種評判指標進行分割結果的數據分析.文中方法對不同X光胸片的分割結果,如表3所示.由表3可知:在不同的X光胸片上,測得的4個評價指標均獲得了較高的數值,這表明文中方法在不同X光胸片上均得到了較精確的肺野分割結果,說明文中方法的有效性.

表3 文中方法對不同X光胸片的分割結果

3.4 不同方法對X光胸片肺野的分割效果對比

設置同一組網絡參數,采用U-net網絡[10],Attention-Unet網絡[9],Deeplabv3+網絡[11]和文中方法,在相同X光胸片數據集上進行肺野分割實驗.不同方法的分割結果對比,如圖8所示.

(a) 原圖 (b) 金標準 (c) U-net (d) Attention-Unet (e) Deeplabv3+ (f) 文中方法

由圖8可知:U-net網絡對模糊邊緣區域的分割效果較差,產生了大片的假陽性區域;Attention-Unet網絡的肺野分割效果優于U-net網絡,但其對邊緣的分割不夠準確;Deeplabv3+網絡保留了更多的細節信息,展現了更好的肺野分割效果,但對偽邊界區域的分割仍不夠精確;相較于其他3種網絡,文中方法所得的肺野形態更完整且邊緣更平滑,展示了更好的分割效果,說明文中方法具有更強的肺野分割性能.

對4種方法的分割結果進行評價,得到4種方法在不同數據集上的評價結果,如表4所示.

由表4可知:在Shenzhen數據集上,文中方法的靈敏度和特異性分別為0.991 9和0.991 0,在Montgomery數據集上,文中方法的靈敏度和特異性分別達到0.993 0和0.995 7,說明在肺野分割過程中,文中方法具有更低的錯誤率;文中方法的Dice系數和交并比在兩個數據集上的均值都最高,表明文中方法對X光胸片肺野具有更高的分割準確性和穩定性;文中方法在X光胸片肺野分割任務上的性能優于其他3種方法,與U-net網絡相比,分割效果提升明顯,交并比平均提升了3.86%,說明文中方法具有更強的特征捕獲能力,彰顯了更好的網絡性能.

表4 4種方法在不同數據集上的評價結果

4 結束語

為了解決利用U-net網絡進行X光胸片肺野分割時,受限于特征提取能力不足而導致分割結果不精確的問題,提出一種基于MRAU-net網絡的X光胸片肺野分割方法.該方法采用改進的殘差模塊提升U-net網絡圖像特征捕獲能力,利用MIF模塊幫助網絡獲取豐富的多尺度特征信息,通過CSDA模塊改善網絡的預測性能,加速網絡訓練,減少了訓練過程中的過擬合現象,避免了梯度消失和梯度爆炸等問題的發生.通過實驗對比可知,文中方法展示出了優秀的肺野分割性能,相較于U-net網絡,文中方法在分割準確性上有了顯著提升,充分說明了文中方法的優越性.