基于NRU網絡的肺結節檢測方法

徐麒皓，李 波

武漢科技大學 計算機科學與技術學院，武漢 430081

肺癌作為人類健康和生命威脅最大的惡性腫瘤之一[1]，在我國的發病率和死亡率增長最快。早期診斷是提高患者生存率的關鍵[2]，但是由于肺結節的直徑小，早期的肺癌結節很難檢測到。計算機斷層掃描（CT）與其他醫學診斷技術相比具有更高的準確性，因此被廣泛用于檢測肺結節。檢查CT 會花費醫生的大量時間和精力，并且醫生的診斷水平不一致，因此很容易出現誤診。為了提高診斷的準確性，目前已有計算機輔助診斷（CAD）系統來輔助肺癌檢測[3-4]。醫生可以將結果作為判斷的參考，這項技術加快了檢測速度，并在一定程度上降低了誤診率[5]。

肺癌的自動檢測過程分為兩個步驟：（1）提取所有可疑候選結節；（2）將提取的結節分為兩類（陽性和假陽性結節）。第二步中的分類對象來自第一步中的識別結果，因此所有陽性結節都應在第一步中進行識別。在候選結節的提取過程中，之前的研究已經優化了基于形狀的CAD系統。

傳統的CAD是基于閾值調整和形態學檢測的圖像檢測技術，在實踐中通常忽略了低密度的毛玻璃不透明區域[6]以及靠近外部組織的邊緣結節。傳統的CAD 特征分類技術對范圍過大的肺結節無法保持良好的檢測率，導致基于形狀的CAD 系統對結節檢測的準確性降低。與基于形狀的CAD系統相比，U-Net神經網絡在醫學圖像分析過程中可以實現精確的像素級定位[7]，在原始圖像中根據是否有結節對所有像素進行分類，然而小結節在檢測過程中很容易被忽略。為了解決這個問題，本文提出一種U-Net網絡的改進方法NRU（Noisy Residual U-Net）。該方法在訓練過程的隱藏層中添加了與神經元相關的特殊噪聲，利用殘差網絡中跳躍層連接結構的特性，噪聲影響隨著隱藏層深度的加深而不斷增加，有效提升了肺結節的識別精度。與傳統的U-Net 相比能夠更準確地識別小結節，漏診率極低。

1 數據集

本文神經網絡使用Lung Nodule Analysis 2016（LUNA16）[8]和阿里巴巴天池競賽數據集[9]進行訓練。LUNA16 數據集來自肺部圖像數據庫協會[10]，它包含888個CT和1 186個陽性結節。圖1顯示了數據結節直徑分布的直方圖，大多數結節直徑為4～8 mm，平均直徑為8.3 mm。阿里巴巴天池竟賽數據集包含800 個CT，包括1 244個陽性結節。圖2顯示了結節的直徑分布直方圖，平均結節直徑為10.0 mm。

圖1 LUNA16數據集結節直徑分布

圖2 阿里巴巴天池競賽數據集結節直徑分布

由于訓練數據中結節的直徑范圍較大，使用上述數據訓練的神經網絡在面對各種大小的結節時都可以得出很好的結果。上述數據集中的切片大小和數量是不固定的，大多數CT切片為512×512像素，故本文將圖像處理為512×512像素。

2 方法

本文提出的NRU肺結節檢測網絡創新點主要有兩方面：一方面利用神經網絡對輸入圖像分析的不連續性，通過在隱藏層中添加與神經元相關的特殊噪聲來實現誤導；另一方面通過添加殘差網絡的捷徑對傳統的特征提取方法進行優化，能夠保留更多高層特征圖中的低分辨率信息，提升了對小結節識別的靈敏度。

2.1 預處理

預處理通過提高圖像質量來提升系統的整體精度。為了在降噪后去除背景的干擾，采用閾值法[11]和形態學相關方法對圖像進行處理，得到真實的肺圖像[12]。

2.2 NRU原理

NRU 是在U-Net 的基礎上改進的。原始U-Net 模型雖然易于訓練，但由于缺乏深度，在一定程度上影響了預測結果的準確性。NRU網絡通過疊加殘差塊來增加整個網絡的深度，每個塊包含“捷徑連接”和“標識映射”，每個殘差塊用下式表示：

其中，Xl和Xl+1表示第l個殘差塊的輸入和輸出，ω為殘差塊的權值，k為每個殘差塊包含的加權層數。函數H是一個恒等映射H(Xl)=Xl，與傳統結構不同的是將線性整流函數（ReLU）和批量歸一化（BN）作為權重層的“預激活”，具體殘差塊設計如圖3所示。

圖3 殘差塊

NRU和U-Net之間的區別在于NRU將特定噪聲添加到卷積和反卷積層中，卷積層公式如下：

式（3）中，Y表示截斷正態分布隨機張量[13]，其形狀與x相同。Y是一個外部定義平均值為0 且標準偏差為α的常數。Y的概率分布如圖4 所示，可以通過調整α大小來調整卷積層中的噪聲幅度。以Y×(g(x))2作為噪聲輸入，將Y×(g(x))2與σ(g(x))相加得到輸出值f(x)。

NRU的反卷積層操作表示如下：

圖4 中間期望與截斷正態分布概率的關系

使用帶泄露修正線性單元（Leaky ReLU）[14]函數作為激活函數σ，如圖5 所示，它可以改善神經網絡傳遞的梯度并防止神經元死亡。為了避免由噪聲引起的輸出結果的不確定性，在測試和使用神經網絡的過程中，應將式（3）和（5）中的截斷正態分布的標準偏差α設置為0。與U-Net相比，NRU計算量略高于U-Net。

圖5 NRU輸入g(x)和輸出 f(x)之間的關系

Leaky ReLU 的輸入輸出關系如圖 6 所示，NRU 中輸入g(x)和輸出f(x)之間的關系如圖5 所示，數據分布（直線）和數據分布范圍（虛線）由式（3）和（5）中截斷正態分布的標準偏差α控制，這種函數關系類似于ReLU 激活函數[15]。噪聲函數的幅度與(g(x))2正相關，g(x)的絕對值越大，噪聲對f(x)的影響就越大，神經元置信度越低。神經網絡通過將神經元的絕對值降到最低來保證輸出受到的噪聲影響最弱，也可以通過限制模型空間并將神經元限制在較小的范圍內，對神經網絡具有一定的正則化效果。這種通過向隱藏層添加隨機噪聲的方法也可以將其視為數據增強[16]。

圖6 Leaky ReLU激活函數

當Y的標準偏差增加時，會導致模型魯棒性增強的同時神經網絡的有效容量變小，訓練速度變慢。因為α越小神經網絡越容易擬合，類似于丟棄正則化[17]公式（3）和（5）不能在最大池化層之前使用，通過設置一個合適的α值，以使神經網絡收斂更快而不會過擬合[18]。由于在訓練過程中添加到隱藏層的噪聲會增加神經元的數量，故訓練時在隱藏層之后直接用最大池化使隱藏層輸出的平均值高于測試的最大值，如圖7所示。由于使用不同的數據分布會導致神經網絡的性能低下，為了獲得更好的性能，在構建NRU 時不能將噪聲添加到最大池化前的卷積層中。

圖7 在Max Pooling后向隱藏層添加或不添加噪聲的效果

2.3 網絡結構

在圖8 中，除了卷積層（藍色箭頭）和池化層（紅色箭頭）外，每個隱藏層都進行了批量歸一化，使用Leaky ReLU作為激活函數。所有黃色或綠色箭頭表示的卷積和池化層都會添加噪聲，這種神經網絡的顯著特點是同時具有跳躍連接和非跳躍連接。在U-Net 網絡中隱藏層被池化的次數越多，其面積就變得越小，如圖8 所示。每個神經元包含的信息來自輸入圖像神經元中較大的區域，也就是隱藏層神經元所包含的信息是底層神經元中包含高級特征的概括。如圖9 所示網絡中神經元的黃色部分被較小的神經元高度概括，而右邊的神經元則包含更多高級特征。

通常神經網絡對小結節的識別取決于隱藏層中包含的基本特征，而對大結節的識別則取決于高級特征[19]。出現這種情況的原因如下：

（1）在合并過程中，神經網絡丟失部分信息容易導致小結節上的信息丟失，并最終導致網絡的判斷結果出錯。在識別小結節的過程中僅需要分析原始圖像中的小區域，因此神經網絡對小結節的識別必須依賴于底層特征。

（2）在大結節的識別過程中對原始圖像的高級特征進行分析。因為相對較大的結節會導致收集信息量增加，在池化過程中丟失的信息對判斷結果的影響很小，所以神經網絡對大結節的識別必須依賴高級特征。

NRU 結構與U-Net 相同，如圖8 所示，該結構具有跳躍式連接，可以跳過池化并傳輸更完整的信息，以便神經網絡對較少的圖像特征進行操作。在神經網絡的非跳躍式連接中，神經元通過與隱藏層的有效合并對原始圖像中更大范圍的數據進行分析，并根據從中提取的高級特征進行操作。這也意味著神經網絡可以直接保存原始圖像的高級特征并進行判斷，同時也體現出對高級特征的過度依賴，導致神經網絡無法很好地識別小結節。

圖8 NRU網絡

圖9 隱藏層的池化過程

神經網絡的語義信息獨立地保存在每一個神經元內，特別是在隱藏層中每一個神經元都可以作為數據的一個語義特征，神經網絡對輸入圖像的分析是不連續的，因此通過這個特點可以在原始圖像上添加一種特定噪聲來實現誤導。模型通過反向傳播學習得到的數據擁有非直接的特性，對小結節的識別主要通過NRU 網絡在訓練中逐層增加特定噪聲，噪聲的影響隨著隱藏層的加深不斷增大，能夠使得網絡在每一級的上采樣過程中，將編碼器對應位置的特征圖在通道上進行融合。通過底層特征與高層特征的融合，網絡能夠保留更多高層特征圖蘊含的低分辨率細節信息，從而提高了小結節的識別精度。

神經網絡在識別小結節時傾向于使用跳躍層連接，而在識別大結節時傾向于使用非跳躍層連接，以免因過度依賴高級特征而錯過小結節診斷。本文所設計的NRU網絡系統能夠滿足這一需求。該網絡的跳躍層連接等于跳過了部分隱藏層，這使得此連接傳輸的信息受噪聲影響較小且具有較高的置信度。同樣由非跳躍層連接的隱藏層發送信息受噪聲的影響很大且置信度較低，因此NRU 可以很好地識別小結節更多地取決于跳躍層連接類型的信息。大結節由于信息量大且易于識別，導致噪聲對信息的影響很小，因此非跳躍式連接中的隱藏層在識別大結節時仍然可以很好工作。

2.4 損失函數

利用損失函數來度量模型預測值與真實值之間的差別程度。在本實驗中采用了Dice相似系數作為損失函數，Dice相似系數是一個相似性度量函數，其定義如下：

其中，X表示預測值，Y表示真實值。|X∩Y|表示兩個集合的交點，|X|∪ |Y|表示兩個集合的全部。可以得出兩個樣本越相似，系數值越接近1，Dice系數越大的同時損失越小，模型的魯棒性越好。

3 實驗

NRU 使用軸切片代替整張圖片作為輸入，從而極大減少了計算開銷。輸入圖像的大小為512×512×7，但訓練時使用的是從原始圖像中截取的64×64×7 圖像。如果圖像太大會導致計算量隨之增加，同時訓練速度變慢甚至出現無法訓練的情況。用小圖像訓練后，理論上訓練速度可提高64 倍。基于U-Net 架構的網絡對輸入圖像大小沒有嚴格的限制，可以根據輸入圖像的大小調整每個隱藏層的大小。

本文采用平移和旋轉兩種方法對樣本數據進行增強[20]，由于在處理圖像時均是以結節中心作為中心進行剪切，使得結節出現位置過于單一。因此在截取時將圖像中心坐標于橫向或縱向隨機平移0～10 個單位，得到一系列既含有結節且結節不在中心處的新圖像。同時為了獲取不同成像條件下的結節圖像，又對圖像進行旋轉操作，進一步擴充樣本。

對于坐標為(x,y)的點，平移操作后的坐標為(x′,y′),其表達式如式（8）所示；旋轉操作后的坐標為 (x″,y″)，表達式如式（9）所示：

式（8）中k1、k2分別為圖像在橫向或縱向上平移的單位數量，這里k1、k2取 -10～10 之間的整數，Δx、Δy是橫向、縱向像素點的單位間距。式（9）中θ為圖像逆時針旋轉的角度，本文選取θ值為90°和180°。使用該方法擴增后樣本量如表1所示，對3～5 mm 的小結節擴大4倍，對5～10 mm 的中結節擴大3倍，對大于10 mm的大結節擴大3倍，提高了測試的準確性。

表1 擴增后樣本數量

實驗使用TensorFlow建立一個神經網絡，在NVIDIA GTX 1080Ti GPU上運行。共進行了2萬次訓練，每批16 張，每100 次后設置一個檢查點。在這個實驗中，將阿里巴巴天池競賽數據集和LUNA16 數據集進行數據混合后平均分成10份。使用兩個評估標準來分析檢測網絡結構的性能，第一種使用Dice相似系數來評估預測結果，當Dice系數的預測值和實測值都大于50%時判別為命中。第二種使用自由響應接收機工作特性（FROC）對結節檢測性能進行了分析。

3.1 NRU性能影響評估

改變噪聲幅值α可以對訓練結果產生影響，將α訓練為[0.050、0.075、0.100、0.125、0.150]時FROC 曲線如圖10所示。當FROC曲線的橫坐標大于150時，靈敏度趨于穩定且閾值β≤0.3，當α=0.100 時，神經網絡具有最佳性能。

3.2 U-NET和NRU的性能比較

圖10 α 值對應的FROC曲線

在設計NRU 實驗的同時創建了3 個基于U-Net 結構的控制實驗。它們的區別如表2 所示，訓練數據、神經網絡通道數和NRU配置相同。其中U-Net1代表沒有任何正則化的U-Net網絡，U-Net2代表通過傳統正則化方法優化的U-Net網絡，U-Net3代表使用另一種噪聲作為正則化方法的殘差U-Net網絡。通過比較這3個實驗來證明NRU比U-Net對結節識別更敏感。

表2 四種不同網絡的實驗結果比較

3個實驗的卷積和反卷積層對應于式（3）和（5）的運算被式（10）代替：

由于加入殘差塊可以加深網絡的深度，NRU 網絡的訓練參數比普通U-Net 網絡多，如表3 所示，NRU 網絡分割效果明顯高于其他U-Net網絡，其分割效果提高了約8%，可以看到傳統U-Net1分割誤差較高。

表3 四種不同實驗比較

圖11 四類神經網絡的FROC曲線

圖12 不同網絡實驗結果比較

經過神經網絡訓練后對NRU 和3 個U-Net 網絡進行圖像測試，并計算出4個網絡的FROC曲線，如圖11所示。圖12 列出了NRU 和3 個U-Net 在測試集上生成的5組圖像的比較結果，為了清楚地對比結果，僅截取了結節及其周圍區域的圖像。原始圖像列是輸入圖像，真值列是用于訓練U-Net 的標簽，后4 列表示每個神經網絡對相應圖像的識別結果。

從圖11 中可以看出，在相同的橫坐標下NRU 的靈敏度是4個網絡中最高的。在圖12中正則化殘差U-Net網絡（U-Net2、U-Net3 和NRU）訓練中生成的圖像質量要好于非正則化殘差U-Net網絡（U-Net1），在這些網絡中NRU 在對小結節的靈敏度方面具有很大的優勢，實驗數據集的結節根據其直徑分為3類，如表4所示。

表4 數據集結節直徑分布

NRU 的高靈敏度不會隨著訓練集的改變而改變，NRU 相比于其他U-Net 網絡訓練和測試的時間更長。NRU 和其他3 個U-Net 網絡的平均訓練時間以及每個CT的平均測試時間如表5所示。

表5 U-Net和NRU網絡比較

如圖13 所示，在小結節檢測中NRU 比其他U-Net更為敏感。在U-Net使用正則化方法之后，由于特殊的網絡結構以及添加噪聲后的正則化效應，使NRU 仍然具有很高的靈敏度。

圖13 四種網絡對結節識別的靈敏度和置信度

為了證明該方法在不同數據集上的魯棒性，分別在阿里巴巴天池竟賽數據集和LUNA16 數據集上對神經網絡進行了訓練和測試，如圖14 和圖15。它們在不同大小結節識別的靈敏度是由每次掃描相同數量的假陽性（每次掃描200 FP）獲得的。

圖14 天池數據對結節識別的靈敏度和置信度

4 討論

圖15 LUNA16數據對結節識別的靈敏度和置信度

由于肺結節大小的差異很大（直徑范圍從3 mm 到30 mm），現有效果好的檢測系統大都采用多尺度體系結構。這些方法需要用不同大小的結節作為輸入，并將每個圖像進行分割以去除無關區域，這樣可以減少神經網絡在判別中不受無關區域干擾從而提高準確性。肺結節分割過程緩慢且耗時，并且很多在肺部外組織附近分割結節會導致整體效果不佳。由于數據集中的圖像來自不同掃描設備，導致大多數CT 圖像的像素間距有差別，從而也會影響訓練結果。先前很多研究在預處理中統一所有圖像的實際像素體積為1 mm×1 mm×1 mm，這種方法通過降低具有較小原始像素間距的圖像分辨率促使小結節的區分難度增大，最終會導致漏診率的增加。因此本文沒有使用這種方法，取而代之選擇原始大小的圖像進行訓練。

本文通過靈敏度來評估神經網絡性能，即陽性結節的檢出率。在實際檢測中，許多假陽性結節通常會伴隨陽性結節一起檢出，但是假陽性結節的誤診不會影響檢測系統的性能評估。神經網絡需要盡可能地識別所有陽性結節，因此使用靈敏度作為評價標準。

為了從大量候選結節中快速準確地區分出真陽性肺結節，本文設計了一個基于殘差單元的三維卷積神經網絡篩查假陽性肺結節，在輸出中將殘差路徑變為連接路徑，即將殘差單元的輸入通過池化操作后，與經過特征提取函數的輸出在通道維拼接成新的特征。與殘差路徑相比，單連接路徑重復利用原特征的同時，通過拼接的方式提供了更大的特征空間。與密集連接路徑相比，單連接路徑的卷積核通道維度不會隨著層數增加而變大，從而降低了參數冗余，提高了參數利用率。該模型綜合了ResNet重復使用特征、收斂速度快的特點，以及與DenseNet 重組新特征的能力。與2D CNN 相比，該模型的肺結節假陽性篩查方法不僅可以省略數據切片步驟，而且能夠充分利用空間信息。與其他基于3D CNN的方法相比，該模型具有參數少、訓練快的特點。

由于FROC 曲線的橫坐標數值范圍與LUNA16 競賽中使用的橫坐標數值范圍不同，導致無法計算每條FROC 曲線的兼容性指標（CPM）。然而本文具有直觀的靈敏度比較，仍可以通過FROC曲線比較神經網絡的性能。雖然NRU有良好的檢測性能，但仍然存在局限性：

（1）由于NRU使用正則化方法會增加訓練的難度，準確來說NRU 在相同的訓練規模下比U-Net 訓練時間增加了12%。

（2）當噪聲α的標準偏差較大時，神經網絡可能不會收斂。解決方案是在訓練開始時將α設置為較小的數值，然后逐漸增加該值。

（3）可以用其他尺寸圖像訓練神經網絡來作為數據增強的一種方式。通過使用64×64×7、80×80×7、96×96×7、112×112×7等多尺度圖像進行訓練以增強神經網絡的魯棒性（長度和寬度都必須是16的倍數）。

5 結束語

為了解決檢測肺癌候選結節漏診的問題，本文在傳統U-Net網絡的基礎上添加殘差網絡的“捷徑連接”，并在每個隱藏層上加入特殊的噪聲分布并進行改進，得到用于肺結節檢測的NRU 網絡，使其對底層特征更加敏感。本研究開發的肺癌候選結節檢測系統在測試集中的靈敏度超過98%，尤其對小結節檢測的效果更加明顯，并且在降低肺結節診斷系統的漏診率方面可以發揮重要作用。

由于在系統的檢測過程中仍然存在漏診的情況，未來的研究將進一步優化檢測系統，以提高對小結節和毛玻璃結節的靈敏度。可以使用本文所用的候選結節檢測網絡配合基于殘差單元的三維卷積神經網絡假陽性結節篩查系統創建一個肺癌檢測集成軟件。