基于混合密集注意力機制和NRAdam算法的圖像分割

任亞敏

（東北大學理學院，沈陽110819）

0 引言

神經膠質瘤是最常見的原發性中樞神經系統腫瘤，約占所有顱內原發腫瘤的一半。世界衛生組織（WHO）根據神經膠質瘤的生長潛力及侵襲性等將神經膠質瘤分為WHOⅠ級（惡性程度最低、預后最好）到Ⅳ級（惡性程度最高、預后最差），Ⅰ、Ⅱ級為低級別膠質瘤（Low-Grade Gliomas，LGG），Ⅲ、Ⅳ級為高級別膠質瘤（High-Grade Gliomas，HGG）［1］。其中，彌漫低級別膠質瘤主要包括彌漫星形細胞瘤、少突膠質細胞瘤和少突星形細胞瘤［1－2］。LGG是一組異質性生長緩慢的原發性腦腫瘤，占所有神經膠質瘤的15%至20%，其中位生存期從5到15年不等，具體取決于患者的年齡，IDH基因突變的存在，染色體1p和19q處雜合性的喪失以及腫瘤的位置［3－4］。治療低級別膠質瘤（LGG）可以對腦腫瘤進行手術切除，所以準確的分割腦腫瘤區域對醫生制定治療計劃至關重要，這不僅要選定腦腫瘤的區域，而且要排除周圍的健康組織，以避免對其他組織部位造成傷害［3］。

圖像分割發展至今已提出多種分割算法，包括閾值分割算法［5］、邊緣分割算法［6－7］、基于活動輪廓模型的分 割 算 法［8－9］以 及 基 于 深 度 學 習 的 方 法［10－16］。Taheri等人［5］使用水平集和閾值分割算法相結合的方式。Neha等人［6］基于邊緣檢測算法來確定腫瘤的位置，并使用K均值聚類算法來增強Sobel邊緣檢測的能力。Manisha等人［7］提出運用標準偏差來找閾值的方法，并利用Sobel邊緣過濾器提高了腦檢測的有效性。基于區域的模糊聚類算法和可變形模型或梯度矢量流Snake模型相結合［8－9］，可以更精確地確定腫瘤邊界。

近年來，隨著深度學習的發展，通過計算機進行輔助診斷在臨床醫學上也得到了廣泛的應用［10－16］。例如，使用卷積神經網絡（CNN）［10］分割X射線圖像中的骨骼結構，將提取到的圖像特征用Softmax分類器進行分類，從而實現骨骼結構的分割。將引入了3D信息的CNN與完全連接的條件隨機場（CRF）相結合［11］，提高網絡對腫瘤的識別能力。全卷積神經網絡（FCN）［12］將CNN最后的全連接層改成卷積層，訓練了一個端到端的模型，實現了像素級的分類。Ronneberger等人［13］提出U-Net結構，目前，U-Net是醫學圖像分割領域中應用最為廣泛的網絡模型之一，對于不同的分割任務，也產生了多種U-Net模型的變體。例如，將2D U-Net延展到3D圖像領域［14］，一定程度上解決了3D圖像以切片的形式進行訓練的局面，同時還可以提升訓練效率。同樣的，V-Net［15］也可以對三維醫學圖像進行分割。UNet＋＋［16］重新設計了U-Net中的跳躍連接，將原有的長連接改成密集跳躍連接的方式，從而可以抓取不同層次的特征信息，提高分割精度。

本文在U-Net模型上引入密集模塊，使模塊內部每層之間的特征信息能最大化的進行傳輸，提高了特征的利用率，同時減少參數大小。在跳躍連接部分加入注意力機制，使下采樣的特征與同層上采樣特征拼接之前，能將注意力集中在所要分割的目標區域，有助于提高分割精度。同時提出NRAdam優化算法，即在RAdam優化算法的基礎上加入Nesterov動量，使訓練模型能快速收斂，提高訓練性能。

1 混合密集注意力機制網絡

U-Net模型是醫學圖像分割方面的一個重要網絡結構。框架左右兩側分別為編碼器和解碼器，呈U型對稱結構。編碼器對輸入的圖像進行特征提取，獲取一些淺層的特征，再由解碼器將所得到的特征圖恢復至圖片原尺寸大小。同時，通過跳躍連接將編碼和解碼部分連接起來，實現了不同層次下特征的融合。混合密集注意力機制網絡結構以U-Net為基礎，融入密集模塊和注意力機制，從而達到更好的分割結果。

1.1 密集模塊

網絡的深度對網絡結構的性能有著重要的作用，雖然加深網絡深度在一定程度上可以提高結構性能，但是隨著網絡深度的不斷加深，進行反向傳播時也常會出現梯度消失的問題。DenseNet［17］通過密集連接使特征信息能夠最大程度的進行傳輸，在緩解梯度消失問題的同時，又能充分利用特征，減少參數大小。將密集模塊加入U-Net模型中，用密集模塊代替了傳統UNet模型的卷積塊。密集模塊中每層之間都是由BN、ReLU、卷積層三個部分組成，其結構如圖1所示。密集模塊使用密集連接的方式，可以讓任何兩層之間都存在聯系，即任一層的輸入都是前面所有層特征輸出的聯結，所以可以設置較小的通道數，減少冗余。這樣的方式不僅可以讓特征信息的傳遞更加有效，還使得所設計的網絡結構較于U-Net模型參數量有所減少。

1.2 注意力機制

注意力機制在自然語言處理中有著廣泛的應用，通常 用 于 機 器 翻 譯［18－20］、圖 像 分 類［21－22］、語 音 識別［23－24］任務中。我們在U-Net的跳躍連接上加入了注意力機制，改變了下采樣的特征直接與同層上采樣特征相融合的方式。注意力機制的內部結構如圖2所示。將淺層特征與深層特征相加，結合上下文信息，通過訓練得到一個注意力系數，然后將該系數與下采樣的特征圖相乘，這樣就能將注意力集中在目標區域上面，也就是對輸入圖像中的腫瘤部分施加更多的權重，從而提高分割精度。

2 NRAdam優化算法

本文提出NRAdam優化算法，即在RAdam優化算法中加入Nesterov動量。RAdam是Adam［25］的一個新變種，由于諸如Adam、RMSprop這樣的優化算法在訓練早期階段，其自適應學習率的方差較大，導致訓練過程不穩定，容易收斂到局部最優解。對此，RAdam在Adam的基礎上引入了一個整流項，動態地控制自適應學習率，而動量是積累了之前梯度指數衰減的移動平均。由于Nesterov Accelerated Gradient（NAG）的效果要優于傳統動量，因此，NRAdam的思想是將RAdam和NAG結合，改進RAdam中原有的傳統動量。RAdam中參數的更新規則如公式（1）所示。

這里的β1、β2是一階、二階矩指數衰減率，ɡt是目標函數的梯度，mt是動量一階矩，＾mt是mt的偏差修正，vt是動量二階矩，＾vt是vt的偏差修正，αt是步長，rt是方差整流項。

由于NAG修改了動量部分，所以在此僅對RAdam中的動量項進行改進，即只要修改動量項mt即可。

傳統的動量是計算當前梯度的方向和前一步動量的方向，從而進行更新。與動量不同的是，NAG是利用下一個迭代點的梯度和前一步動量的方向，這樣的做法可以考慮到未來的梯度，從而加快收斂。NRAdam的參數更新規則如下：

3 實驗結果與分析

3.1 數據集

本文研究所用的數據集［26］是低級神經膠質瘤影像，該數據集包含腦磁共振成像（MRI）和手動流體衰減反轉恢復（FLAIR）異常分割蒙版。由110名患者的腫瘤信息組成，患者的切片數量為20至80不等，并由人工對其進行注釋，以形成實驗數據。

3.2 評價指標

為了評估我們所提出的方法和其他算法的分割精度，我們將Dice值作為模型分割性能的評價指標，其計算公式如下：

其中，VP表示預測的分割結果區域，VT表示真實的分割結果區域，VP∩VT是兩者之間的交集。這里，Dice∈［0，1］，它表示預測值與真實值之間的相似度。Dice的值越大，說明該分割模型越好，其分割的精度越高。

3.3 不同分割模型之間的比較

為了確保不同算法比較的公平性，本實驗基于同一數據集將改進后的算法與U-Net［13］、R2U-Net［27］、CENet［28］、LinkNet［29］四種不同的分割模型做了比較。表1顯示了所提出的方法與四種不同分割模型的比較結果。

表1 所提出的方法與其他算法的比較結果。

如表1所示，使用原有的U-Net結構對腫瘤進行分割，得到的Dice值為0.8842。LinkNet、CE-Net、R2UNet的Dice值分別為0.9004、0.9048、0.9013，相較于U-Net，這三個模型雖然在Dice值上能獲得更好的結

果，但是它們的參數大小也有所增加。特別地，CE-Net的Dice值相較于U-Net雖然增加了2.33%，但是其參數大小大約是U-Net參數大小的四倍。而改進后的方法得到的Dice值和參數大小分別為0.9168和1.91M，與U-Net相比，Dice值提高了3.69%，更重要的是其參數量大小減少了75.39%。由此可見，所提出的方法在保證精度的同時，還能使模型更加輕量化。

3.4 優化算法的比較

NRAdam優化算法是Adam的一種變體，主要是為了解決Adam優化算法在訓練前期自適應學習率有大方差的問題，同時加快訓練過程的收斂，提高模型的魯棒性。為了驗證NRAdam比Adam的效果更優，基于U-Net模型進行了這兩種優化算法的對比實驗。詳細的對比結果如圖3所示。

圖3 U-Net網絡下的Adam和NRAdam的損失函數

如圖3所示，雖然在最開始的幾個epoch中NRAdam的收斂速度要比Adam的收斂速度慢，但在那之后NRAdam明顯要收斂得更快。也就是說，通過減小自適應學習率的方差和加入Nesterov動量能使NRAdam獲得更快的收斂速度。除了在收斂速度方面NRAdam要比Adam有著更好的表現以外，還能提高網絡模型的魯棒性。從圖中可以看到，在訓練早期，NRAdam存在著小幅度范圍內的震蕩，而Adam較于NRAdam來說表現出了相對平穩的狀態。但是在45個epoch之后Adam還存在著輕微的震蕩，且一直到訓練結束，而NRAdam卻能一直保持相對穩定。結果表明，NRAdam有著比Adam更優的實驗效果。

3.5 分割結果可視化

本部分可視化了部分病例分割后的輸出結果，可以更直觀地了解不同分割網絡模型的分割性能，如圖4所示。其中（a）、（b）、（c）、（d）、（e）分別代表U-Net、LinkNet、CE-Net、R2U-Net和我們所提出的方法分割后的結果。為了便于分析，我們將（a）列從上至下的第一幅圖記為a1，以此類推。圖中的藍線代表的是真實的分割輪廓，黃線代表的是不同算法下的預測的分割輪廓。U-Net作為當前醫學圖像分割中最成功的網絡結構之一，表現出了良好的分割性能，但是在圖4所示的這些樣本中，U-Net還存在著一些不足。例如，a1和a5存在著過度被分割的現象，將目標區域周圍的正常組織組織也分割到了前景部分。a2和a6則存在著分割不足的情況，沒有將目標區域完全分割出來，與真實的分割結果存在著一定的差異。與U-Net相比，CE-Net能表現出更好的分割性能，c1、c2、c3中分割后的目標區域基本能與真實結果重合，相較于a1、a2、a3來說，CE-Net分割后的結果會更接近于真實值。但是CE-Net在個別樣本中的表現也有所欠缺，例如c5中就存在著過度分割的現象，在背景區域有小面積的分割，錯誤的將背景作為目標區域的一部分。與四種分割算法相比，混合密集注意力機制網絡普遍能表現出較好的分割性能，雖然在某些情況下也會存在誤分割的現象，但是與其他四種分割算法相比，該方法犯的錯誤明顯較少。結果表明，改進后的算法較于其他四種分割算法會更加接近于真實結果，能為醫生做好術前規劃提供更有效的依據。

圖4 U-Net、LinkNet、CE-Net、R2U-Net和改進后的方法分割的比較結果

其中，（a）U-Net；（b）LinkNet；（c）CE-Net；（d）R2UNet；（e）改進后的方法。

4 結語

U-Net是目前醫學圖像分割方面較為成功的模型之一，但其分割的準確性與精度仍有提升的空間。本文基于U-Net網絡結構，將原有的普通卷積塊改成密集模塊，加入密集塊不僅能實現特征的重復利用，還能緩解梯度消失的問題。同時在跳躍連接部分引入注意力模塊，將注意力集中到目標區域的同時，抑制了不相關區域的輸入，從而獲得更精準的分割結果。除此之外，本文對優化算法也做了相關研究，Adam算法目前被廣泛使用，但是Adam存在著容易陷入局部最優解的問題，所以提出NRAdam優化算法，不僅加快模型收斂速度，提高模型的魯棒性，還能帶來更好的訓練性能。