DA-GAN肺結節分割網絡研究

趙俊強， 李 驥， 王 昌， 劉華楠，李南艾， 吳星陽

(1. 新鄉醫學院，河南 新鄉 453003; 2. 新鄉市智能影像診斷工程技術研究中心，河南 新鄉 453003; 3. 新鄉市醫學VR（AR）與智能反饋重點實驗室，河南 新鄉 453003; 4. 臨床與生物醫學大數據融合技術河南省工程實驗室，河南 新鄉 453003; 5. 鄭州大學第一附屬醫院，河南 鄭州 450052)

0 引 言

肺癌是所有癌癥中的頭號殺手，對肺癌的早期癥狀做到精準的診斷是提高肺癌患者存活率的有效手段。近年來醫學影像[1-3]的飛速發展給肺癌的早期診斷帶來極大的便捷。但是爆炸式增長的影像數據帶給醫生高強度的工作。為了提高醫生的工作效率，降低工作強度，很多學者將神經網絡引入計算機輔助診斷系統解決肺結節分割問題。

神經網絡發展初期，Mukherjee[4]，Wang[5]，Keshani[6]以及Nithila[7]等人分別提出粗-精兩段分割網絡，多輸入分割網絡，檢測-分割兩段分割網絡和模糊C均值分割算法，這些方法相比傳統算法的分割效果好，但仍屬于神經網絡的初級演變，即通過多種網絡組合的方式實現更優的分割結果，但是仍無法解決全類型結節的精細分割。現階段，Savic[8]等人提出了一種基于快速行進法的圖像分割算法，將圖像分割成具有相似特征的區域，然后結合k-means生長區域進行合并。Cha[9]等人在神經網絡中加入帶符號距離的函數，用于學習肺結節的形狀特征，然后用光流法尋找肺結節在序列圖像中的局部運動進而實現肺結節的分割。Keetha[10]等人提出了一種資源效率模型架構U-Det，在編碼器和解碼器之間集成了一個雙向特征網絡(Bi-FPN)，并利用Mish激活函數和蒙版的類別權重來提高分割效率，以一種端到端深度學習方法解決分割任務。Liu[11]等人提出一種金字塔擴張卷積塊(PDCB)，利用擴張卷積的優勢，解決特征圖網格化問題，以更好地分割肺結節。這些方法雖然提高了肺結節分割精度，但仍存在不足之處。Savic和Cha等人的分割算法僅針對限定區域內的肺結節，而不涵蓋整個肺部CT圖像，未能處理結節出現位置隨機這一問題。Keetha和Liu等人，雖然以端到端的方式實現肺結節分割，但是他們都忽略了肺結節分割當中一個重要的部分，即分割算法中的隱識別問題，僅關注對肺結節本身的分割效果，產生較高的假陽性。

針對上述存在問題，本文提出雙注意力生成對抗網絡(double-attention generative adversarial network，DA-GAN)，該網絡由自注意力生成器和結節注意力判別器兩個主要模塊構成。生成器中的自注意力機制通過連接不同空間的位置特征，建立特征圖中任意位置的依賴關系，以實現捕捉遠程上下文信息、解決分割過程中的隱識別問題。判別器中的結節注意力機制通過3個獨立的判別器加強分割結果圖中結節的邊緣信息和中心位置信息，使得分割結果無限接近標簽圖像。此外，本文還在判別器中使用多尺度像素損失和結節保留損失來協助生成器輸出的肺結節分割圖保持真實結節的形態。生成器和判別器兩者在網絡訓練過程中進行動態的博弈，最終達到納什均衡點[12-13]。

1 方法介紹

本文將生成對抗的思想引入肺結節分割問題中，提出基于生成對抗網絡的雙注意力肺結節分割方法?？傮w流程如圖1 所示，對輸入的肺部圖像首先使用融入雙注意力機制的類U-Net生成網絡提取深度特征，得到結節的分割圖，然后將標簽圖和分割圖輸入對抗網絡進行學習以尋求兩者的平衡點，最終得到與標簽圖像更相近的分割結果圖。

圖1 網絡整體的流程

1.1 問題定義

令Pdata表示數據集，即包含肺結節的原始CT圖像和肺結節分割標簽圖像。{I f,I p}表示從Pdata中提取的圖像對，I f表示標簽圖像，I p表示標簽圖像對應的原始CT圖像。假設給定一張原始肺部CT圖像，理想的目標是訓練一個生成器能夠生成對應的肺結節分割圖像，即I?f=G(Ip)，并使得生成的分割圖像I?f無限接近于標簽圖像I f。為此，本文提出的DA-GAN有兩個主要部分，即自注意力生成器（self-attention generator, SA-G）和結節注意力判別器（nodule-attention discriminator, NA-D）。自注意力生成器能夠捕獲長距離的上下文信息，產生的特征既包含高分辨率層的關鍵信息又包含低分辨率層的特征，該特征能更好地表示原始圖像。結節注意力判別器包括3個獨立的判別模塊，每個模塊針對肺結節的不同區域，該設計有助于加強I f和I p的局部一致性。SA-G與NA-D兩者的結合使分割網絡生成的結果更接近真實的肺結節標簽圖像。

1.2 融入自注意力機制的生成器

U-Net網絡適用于醫學圖像的分割，且相較于同期其他網絡分割效果較好。因此，本文分割網絡的生成器（G）采用類似于U-Net[14-15]網絡的結構，由編碼器和解碼器（encoder-decoder, E-D）組成，并在該結構中加入跳級連接以進行多尺度特征融合。

卷積層中的每個節點是通過對前一卷積層中的一個小的局部鄰域計算得出的。想要得到圖像長距離上下文特征信息僅僅通過對繁多的卷積層進行計算是比較困難和低效的。自注意力模塊能夠將特征圖上單個位置的響應計算變為來自不同空間位置的所有特征的加權和，使得分割網絡能夠建立特征圖中任意兩個位置的長期依賴關系以及非線性轉換關系。應用于肺結節分割中指：肺結節在胸腔內存在的位置以及肺結節區域的明暗程度有較大的差異，在生成器中引入自注意力模塊，捕捉遠程上下文信息，進而獲得肺結節區域更好的特征表示。自注意力模塊如圖2所示。

圖2 自注意力模塊圖（self-attention，SA）

對于給定的輸入特征圖X∈RC×H×W。首先將該特征圖輸入到兩個不同的1×1卷積層，以生成兩個新的特征映射A,B∈RC×H×W。然后把這兩個新的特征映射A和B重塑成RC×N，N=H×W，分別記為A*和B*。然后再對(A*)T和B*進行矩陣乘法運算。最后，使用Softmax對權重進行歸一化處理即可得到自注意力圖譜Ma∈RN×N，如下：

式中：*——將三階張量重塑為二階張量操作；

σ——Softmax函數；

f(·)g(·)和——兩個不同的1 × 1卷積操作。

生成自注意力圖譜的同時，還需將原始的特征圖X輸入卷積層再將其重塑為RC×N，得到新特征圖X′。 然后特征圖X′乘 以自注意力圖譜Ma后再將結果重塑為 RC×H×W。最后，對M乘以一個標量參數并將其與原始特征圖X相加，得到自注意力特征圖X′′∈RC×H×W。計算過程如下：

式中：i，j——特征圖位置；

u——一個標量參數。

作為在教研工作中有著豐富經驗的教師，王文娟不僅主動將山西的優秀經驗引入到團場學校的教研工作中去，同時還十分注重傳幫帶工作。在教研工作期間，她引入小組合作教學、探究式教學模式在學校進行推廣，還把山西長治市清華中學實施的“數學周周練、英語周周清”教學活動和初中的老師進行交流和傳授，加強教學過程中的效果檢查和落實，在教學成果上取得不錯成績。除了重點科目課程教研工作，王文娟老師還引入山西學校較為重視的新生入學教育、七年級轉折教育、中考前的心理疏導教育課程，自己首先示范，并逐步帶出一支由班主任組成的心理疏導隊伍。

將其初始化為0，并在訓練的過程中進行更新。自注意力特征圖X′′包含空間上下文信息，能夠突出肺結節特征區域，提高分割精度，有效解決了隱識別問題。

1.3 融入結節注意力機制的判別器

為了得到更加精確的肺結節分割圖像，分割網絡的生成器除了強調肺結節所處的局部特征之外，還必須突出肺結節的中心位置和邊緣細節。為此，提出了一種新的結節注意力機制，即額外采用兩個與Df判別器協同作用的“分割指引判別器”，這兩個分割指引判別器分別關注肺結節的不同局部區域。即將肺結節的中心和邊緣指定為兩個局部區域，并對每個區域分配一個區域判別器（Dc和Db）。各區域的判別器在各自區域內發揮作用，以提高最后的分割結果。融入結節注意力機制的判別網絡損失函數構成圖如圖3所示。

圖3 辨別網絡損失函數構成圖

受文獻[16]啟發，將肺結節分解為兩個預定義區域。首先使用預先訓練的模型作為現成的肺結節解析器fp，生成兩個研磨圖像。然后將研磨圖像應用于肺結節原始圖像，創建區域圖像，其中低頻區域Ic（即肺結節中心區域），高頻區域Ib（即肺結節輪廓區域）。數學公式說明如下：

式中：Mc,Mb——肺結節的中心區域和輪廓區域；

⊙——兩個向量按元素逐個相乘；

，——肺結節中心和輪廓的區域圖像。

3個判別器（Df,Dc,Db）分別判別3種肺結節分割標簽視圖（If,Ic,Ib）和與之對應的區域視圖（，，）。所有這些判別器都與生成器進行對抗性地訓練。因此，本文提出的肺結節注意力機制由3個獨立判別器的3個對抗性損失組成，如下：

1.4 生成器目標函數

1）肺結節保留損失。評價肺結節分割效果的一個關鍵方面是指生成分割圖中肺結節形狀完整性的保留能力。利用預先訓練的肺結節識別網絡提取關鍵性的特征表示，提高生成器保留肺結節區域的能力。在訓練過程中肺結節識別網絡采用AlexNet+MSPP網絡架構[17]與其固定的權重，得到肺結節區域特征。肺結節保留損失定義為生成器生成的肺結節區域與真實的肺結節區域在倒數第二個全連接層的特征級差，如下：

式中：pi(·)(i∈1,2)——AlexNet+MSPP倒數第二個全連接層的輸出特征；

|| . ||2——L2范數。

2）多尺度像素損失。采用多尺度像素損失來約束內容一致性。在生成器中，多尺度合成圖像由不同層次的解碼器輸出，第i個樣本的損失是多尺度合成圖像與真實肺結節標簽的絕對平均差，對應的數學表示如下：

式中：S——尺度的數量；

Ws和Hs——對應尺度S的寬度和高度。

3）總損失。目標函數是上述損失的加權總和：

其中，λ1，λ2是控制損失項權衡的超參數，在實驗中分別設為5和0.5。

2 結果分析

2.1 實驗數據及細節

本文的實驗數據包括兩個部分，第一部分是LIDC[18]中的數據集，第二部分是河南某合作醫院的數據集。實驗數據的LIDC（Lung Imaging Database Consortium）數據部分，排除了切片厚度大于2.5 mm的CT掃描圖像，將剩余的888例肺部圖像作為數據集，這888例CT圖像中共包含1 186個結節，其直徑范圍在3.170 mm至27.442 mm之間。CT圖像采集參數為150 mA、140 kV，平均層厚1.3 mm。河南某醫院CT數據含有200個肺部疾病患者，150例被確診為肺結節，每個患者平均含有150張CT片，因為可能出現多個切片屬于同一結節的情況（表示不同方位的結節），所以，在 150×150 CT 圖像中大概有3 060個結節。這些結節的直徑范圍為：1.3～25 mm，平均最大直徑為 6.1 mm。醫學專家對這些結節進行了診斷并確認，其中包含1 730個惡性結節和1 330個良性結節。將合作醫院的數據和LIDC數據打亂，訓練數據與測試數據分別為830例與208例，這208例測試數據（其中包含孤立型肺結節320組，包含胸膜牽拉型肺結節220組，包含磨玻璃型肺結節和血管粘連型結節大約各500組，以及其他類型結節30組）CT序列圖像共31 200張，單張CT圖像的大小為512×512。

在訓練過程中，DA-GAN以原始CT圖像作為輸入數據，使用MSRA[19]方法隨機初始化權值，在標準反向傳播更新中，學習速率初始化為0.1，每完成2次迭代衰減0.5%，將每個批次的大小設置為32，初始動量值設為0.87。采取交叉驗證策略評估本文分割網絡的效果，在訓練和測試數據集中采用相近的數據分布情況，以避免由于數據不均衡而引起對肺結節的過分割和欠分割。

DA-GAN網絡搭建實驗平臺是Ubuntu 19.0，處理器為Intel(R) Core(M) i7-8770，主頻3.40 GHz，內存16 GB，包括一張NVIDIA GeForce RTX3060顯卡其顯存為16 GB。

2.2 實驗結果

2.2.1 定性分析

圖4是本文提出的DA-GAN肺結節分割網絡對孤立型結節、胸膜牽拉型結節、血管粘連型肺結節及磨玻璃型結節的分割結果。其中第一行為原始CT圖像，第二行為醫生手動標記的結果，第七行為本文方法分割結果。因為磨玻璃結節具有顏色較淡、形狀多變的特性，使得較難分清血管和結節；血管粘連型結節由于血管的復雜性，很可能出現將小血管誤認為結節的情況；所以對這兩種結節進行分割時，結果大多不太理想。但是，從結果圖來看，本文方法不論是對孤立型結節還是較難分割的血管粘連型結節和磨玻璃結節，得出的分割結果都有完整且清晰的邊緣，并且與醫生標注的分割結果相符。

圖4 各類型分割結果圖

2.2.2 定量分析

像素準確率（pixel accuracy，PA），類別平均像素準確率（mean pixel accuracy，MPA）,平均交并比（mean intersection over union, MIoU）[20]是三種常用的語義分割標準。通過這三個標準對本文方法進行評估。具體的計算方法如下所示：

由于肺結節分割屬于一類語義分割問題（即只需從背景中分割得到肺結節），因此我們設k=1。pij表示在標簽中本歸為i類但被預測為j類的像素數量。pii與pji以同理解釋。

表1數據展示了不同算法在不同類型肺結節上的表現。從表格中可以看出所有方法對孤立型肺結節均有較好表現，分割精度都很高，但是對于其他三類肺結節，表現差異較大。文獻[8-11]這四種方法，對于血管粘連型肺結節和磨玻璃型肺結節過分割，說明這兩種算法沒能解決好“隱識別”問題，就會出現將非結節部分歸為到結節的現象。相反，本文方法使用融入結節注意力機制的判別器，對肺結節先識別再分割，不僅強調肺結節所處的局部特征，還突出肺結節的中心位置和邊緣細節，在一定程度上避免過分割的情況，從而解決“隱識別”問題。

綜合分割結果圖4和分割結果數據表1得出，相比較目前成熟的四種分割算法，本文方法對血管粘連型肺結節和磨玻璃型肺結節的分割結果最好，從表1得出，本文方法有最高的像素準確率、類別像素準確率和平均交叉比值，分別達到91.22%、91.4%、91.27%。不論是哪種類型的結節，本文算法的分割結果都接近于標簽，邊緣完整。

表1 各類型結節的結果值

3 結束語

本文設計的DA-GAN網絡的主要創新之處和貢獻：1）將自注意力機制引入以類Unet為主框架的生成器中，使特征圖的每個位置融入長距離的相互依賴關系進而得到更具有辨識性的深度特征。2）設計了結節保留損失函數以及多尺度特征損失函數，改進肺結節分割過程中的隱識別問題。3）把肺結節分為中心局部區域和邊緣局部區域，使用不同的判別器對這兩個局部區域進行指引，最終使各個類型結節的分割結果具有明確的中心和清晰的邊緣。經過對河南某醫院數據和LIDC數據的測試，本文方法獲得91.27%的準確率。

之后的研究計劃是對分割出的各類型結節進行良惡性的判斷，對良性結節的突出特征進行研究，分析其生長情況，掌握整個肺結節的生長速度和標志性特征，為阻止肺結節衍生為肺癌做早期的精準診斷和預防。