基于改進U-Net的關節滑膜磁共振圖像的分割

魏小娜 ，邢嘉祺，王振宇，王穎珊，石 潔，趙 地，汪紅志*

（1.上海市磁共振重點實驗室（華東師范大學），上海 200062；2.上海市中醫藥大學針灸推拿學院，上海 200032；3.上海市光華中西醫結合醫院，上海 200052；4.中國科學院計算技術研究所，北京 100190）

（?通信作者電子郵箱hzwang@phy.ecnu.edu.cn）

0 引言

滑膜炎是類風濕關節炎的基本病理改變，是一種無菌型炎癥，是由于關節扭傷和多種關節內損傷而引起的，其對人體造成的危害不容小覷?；すδ墚惓е玛P節液無法正常生成和吸收，關節就會產生積液?；ぱ淄ǔ１憩F為滑膜充血、水腫、滲出，中性粒細胞、淋巴細胞浸潤，進而出現滑膜增厚，毛細血管增多，滑膜內產生血管翳［1-2］。血管翳多見于關節周圍，并逐漸沿關節表面向關節和關節軟骨表面延伸、侵入，使得整個關節軟骨表面被遮蓋了起來，以至于出現營養物質流失，發生變性、壞死現象。隨著病情的發展，關節軟骨及軟骨下骨都會逐漸遭到破壞，造成關節結構受損，情況嚴重者甚至會形成骨性強直［3］，存在較高的致殘危機。在中國類風濕關節炎的發病率為0.4%，在全世界約為0.5%～1.0%［4-5］。目前臨床上尚無有效的治療方案，仍停留在對炎癥及后遺癥的治療，嚴重危害患者健康和生活質量［6］?？紤]到骨質破壞是關節畸形的首發癥狀，因此對類風濕關節炎進行早期診斷并尋找骨質破壞的指標，對于病情評估及制定有效的治療方案具有極為重要的意義［7-8］。

鑒于磁共振圖像（Magnetic Resonance Image，MRI）具有無電離無輻射、軟組織分辨率極高、可任意方向成像等特點，且與傳統X 光片相比，MRI 能直接顯示滑膜增生、關節腔積液、關節軟骨破壞等早期病理改變［9］。MRI 不僅能清楚地顯示關節正常結構，對于小關節病癥的基本病理變化也能及時顯示出來［10］，是其他影像學方法所達不到的［1］。研究［11-14］表明，MRI 檢測到的炎癥，對于病變的早期診斷具有極大的幫助。MRI對于早期滑膜炎性病變的診斷與治療及療效觀察具有以下意義［15］：1）鑒別滑膜炎和非滑膜關節疾病，特別是不典型部位的大關節；2）確定相關關節的數量，以便于進行準確評分；3）提供客觀、全面、可重復顯示的信息以便于評估炎癥活性和功效。

為了準確診斷患者病情并制定有效的治療方案，醫生需要對MRI圖像中的滑膜區域進行手工標注和勾畫。但手工勾畫存在以下問題：1）耗時長、效率低，醫生需要耗費大量的時間和精力來完成滑膜區域的標注工作；2）存在一定的主觀性，不同的醫生由于經驗不同，對同一個病人MRI 圖像的勾畫結果往往存在一定的差異性；3）圖像信息利用率低、可重復性低。針對醫生手工勾畫滑膜區域存在的問題，試圖探究使用人工智能（Artificial Intelligence，AI）訓練模型實現滑膜增生的自動檢測。相較于手工勾畫，由于AI具有較強的自主學習能力、識別能力、計算能力以及極其穩定的持續工作的性能，而得到越來越多的醫生和研究人員的關注。

近年來，隨著深度學習的蓬勃發展，基于深度學習的圖像分割算法被廣泛用于醫學圖像分割任務中。受此啟發，本文在深度學習理論的基礎上，提出了一種基于改進U-Net［16］的關節滑膜分割算法——2D ResU-net。

1 基于2D ResU-net的關節滑膜分割算法

U-Net是一種端到端的網絡結構，由左側用于獲取上下文信息的收縮路徑和右側用于對任務目標精確定位的擴張路徑兩部分組成，兩個路徑相對稱，形成一個“U”型。與其他分割網絡相比，U-Net 的最大特點在于，通過反卷積過程中的跳躍拼接，將特征在channel維度拼接在一起，形成更“厚”的特征，將淺層特征與深層特征進行融合。使網絡同時兼顧了淺層信息和深層信息的貢獻，增強了網絡全局特征的學習能力，使分割效果有了一定的提升。

但U-Net 的深度略有不足，針對該問題，本文提出了一種新的網絡結構，即2D ResU-net結構，該網絡結構將U-Net與殘差網絡（Residual Network，ResNet）相結合，加深了U-Net 的深度，并解決了網絡較深時梯度消失的問題，使分割效果有了顯著提升。

1.1 網絡架構

1.1.1 殘差塊

在卷積神經網絡中，網絡層次越深，訓練時產生的錯誤越多，訓練時間越長［17］。為了解決這一問題，采用He 等［17］于2015 年在ImageNet 圖像識別競賽中提出的殘差網絡。殘差網絡提出了一個“捷徑”的概念，即跳過一個或多個層，將輸入結果直接添加到底層，如式（1）所示：

其中：H(x)為底層映射，x為輸入，F(x)=H(x) -x為殘差映射即網絡中的隱藏層輸出結果。如果將輸入直接添加到底層，那么殘差映射就是該網絡單元需要學習的目標。本文把這種學習殘差映射的網絡單元稱為殘差塊，結構如圖1所示。

圖1 殘差塊Fig.1 Residual block

與其他網絡相比，殘差網絡結構相對簡單，該網絡將多個卷積層級聯的輸出與輸入相加后對圖片進行特征提取，減少了計算量，解決了在極深度條件下深度卷積神經網絡性能退化的問題。

2D ResU-net 將圖1 中的殘差結構融入U-Net 中，加深了U-Net 的深度，避免了過擬合現象的發生，并解決了網絡深度加深時出現的梯度消失問題，有效提升了模型的分割性能。

1.1.2 批標準化

為了解決深層網絡難以訓練的問題，本文在每層卷積后，進行了批標準化（Batch Normalization，BN）處理。對于深層網絡，每層輸入的分布在訓練期間會隨著前一層參數的變化而變化，這就要求必須使用一個很小的學習率以及對參數進行很好的初始化，這樣勢必會使訓練變得很慢。而加入批標準化后，可有效解決這一問題。批標準化具有以下優勢：

1）可以選擇較大的學習率，解決反向傳播過程中的梯度爆炸問題；若不使用批標準化，大的學習率可能會增加層參數的規模，在反向傳播中會放大梯度導致梯度爆炸，由式（2）可知，進行批標準化后，層的反向傳播不受其參數規模的影響，反向傳播的梯度也不會受到影響。

2）可加快模型的收斂速度，不再依賴精細的參數初始化過程；Ioffe等在文獻［18］中給出了BN的具體操作流程：

3）可適量減少dropout 層的使用，并能在一定程度上提升模型的泛化能力。

1.1.3 損失函數

損失函數即用于評估模型的預測值與真實值之間差異的函數，在整個網絡中起到“指揮棒”的作用，通常情況下，損失函數越小，模型的性能越好。針對本文的分割圖像，往往一幅圖像中只有一個或兩個目標，且目標的像素比例較小，網絡訓練較為困難，區別于常規圖像分割任務中選取交叉熵作為損失函數，本文選取V-Net［19］一文中提到的Dice_Loss 作為損失函數，能夠很好解決像素比列不均衡的問題，從而達到對小目標精確分割的目的。對于二分類問題，Dice_Loss的表達式為：

圖2 2D ResU-net模型Fig.2 2D ResU-net model

1.1.4 2D ResU-net 網絡模型

2D ResU-net 網絡模型的結構如圖2 所示，與U-Net 相比，2D ResU-net加入了殘差網絡，并進行了批標準化處理。虛線箭頭表示“捷徑”層，虛線方塊代表通過“捷徑”層后取得的結果。

2D ResU-net算法的模型結構延續了U-Net 算法的U 型結構，也是由收縮網絡和擴張網絡兩部分組成：

1）收縮網絡。

左側收縮網絡交替使用了卷積和最大池化操作，用以減少特征圖的空間維度（特征圖尺寸減半），同時逐層增加特征圖的數量。在原U-Net 結構的基礎上，本文在2 個3×3 的卷積層（Convolutional layer，Conv）和1個2×2的最大池化層之間增加了1個兩層結構的殘差塊。因此，收縮網絡重復采用了2個3×3 的卷積、1 個3×3 的兩層結構的殘差塊和一個2×2 的最大池操作，每次卷積后都先進行批BN 操作，然后通過線性修正單元（Rectified Linear unit，ReLu）激活函數進行激活。每個卷積層均采用零填充（padding=same）的方式進行填充，以確保輸出圖像與輸入圖像尺寸一致。

2）擴張網絡。

擴張網絡是與收縮網絡相對稱的上采樣過程，用以恢復目標細節及空間維度。每次上采樣，特征圖大小增倍，特征數量減半。在上采樣操作中，與原U-Net模型不同，本文采用3×3的卷積核進行Conv2DTranspose反卷積操作。每次上采樣包含2個3×3的卷積、1個3×3的兩層結構的殘差塊，每次上采樣前，需要進行特征融合。由于本文對每個卷積層均采用零填充（padding=same）的方式進行填充，因此，可通過復制（copy）操作，直接將收縮網絡中對應的特征圖與反卷積獲得的特征圖進行融合。與收縮網絡類似，擴張網絡中每層都進行了批標準化處理，而后通過ReLu激活函數進行激活。

最后，通過1×1的卷積操作，將32通道的特征圖轉為類別數為2的特征圖，并經過sigmoid函數輸出一個概率值，該值反映了預測結果為滑膜的可能性，概率值越大，說明可能性也就越大。

相較于原U-Net，2D ResU-net 有如下改進：1）增加了網絡層數，網絡層數的增加提高了網絡的特征提取能力；2）加入了如圖1 所示的殘差塊結構，殘差塊的加入增加了網絡深度，同時解決了網絡較深時出現的梯度消失問題。

1.2 數據來源及圖像預處理

本文實驗所用數據來自上海市光華中西醫結合醫院，實驗所用樣本是由專業醫生利用本組自行開發的標注軟件進行手工標注的，軟件界面如圖3 所示。該軟件與其他公用的標注軟件相比，具有如下優勢：1）利用該軟件的邊界勾畫功能，并輔之以修正功能進行細微調整，即可對目標區域進行勾畫標注，可極大縮短標注時間；2）對于已標注勾畫好的圖像，該軟件還可以將原始數字醫學成像通信標準（Digital Imaging and Communication in Medicine，DICOM）圖像與對應的mask圖像進行二次導入，實現檢驗和修正功能；3）該軟件可以同時導入不同序列掃描的圖像進而實現對比功能。

圖3 軟件界面Fig.3 Interface of software

本文所用圖像為二維斷層圖像，首先將DICOM 格式的圖像統一轉化為普通的圖片格式（本文采用bmp 格式），并將圖片尺寸大小統一為256×256，然后對數據集進行歸一化處理，減均值除方差等。

1.3 數據增廣

考慮到本實驗現有數據集（共27 例）較為有限，有限的樣本量對網絡模型會產生一定的影響（易出現過擬合現象），因此本文采用數據增廣的方法來獲取更多的樣本，同時樣本增廣是解決過擬合現象最直接最有效的方法。

對于不同的醫學圖像所采用的樣本增廣方法往往也是不同的，考慮到關節滑膜MRI圖像的特點，本文采用了隨機角度旋轉、隨機水平翻轉、裁剪、縮放，水平、豎直偏移等幾何變換的方式進行增廣，增廣的效果如圖4所示。

1.4 模型訓練

為了能夠選出效果最好、泛化能力最佳的模型，在訓練模型時，將數據集（共27例）隨機分為訓練樣本集（24例）和測試樣本集（3 例）。原始訓練樣本集共1 691 張斷層圖像，其中1 109張為含有滑膜的圖像。通過增廣操作后，最終訓練集共包含13 687 張圖像。其中訓練集用來擬合模型，驗證集用來調整模型參數，測試集用來衡量模型的性能和分類能力。

圖4 滑膜MRI圖及對應label圖的增廣效果圖Fig.4 Augmentation effect of synovium MRI image and corresponding label image

模型訓練過程中，參數的設置和調整對模型性能起著至關重要的作用，其中學習率和batch size 是影響模型性能非常重要的兩個參數。本文通過采用搜索法，并記錄損失的變化來確定最佳初始學習率（本文初始學習率設為1× 10-4），然后使用自適應學習率優化算法（Adaptive moment estimation，Adam）來動態調整每個參數的學習率。對于batch size 的選擇，在一定范圍內，增加batch size 有助于收斂的穩定性，但隨著batch size 的增加（超過某一臨界點時），模型的泛化能力就會有所下降。由于受實驗平臺硬件設施的限制，本實驗batch size 取值為8。實驗過程中發現，大的學習率有助于提高模型泛化能力，并且當學習率增加時，batch size 也應跟著增加，這樣收斂更穩定。此外，實驗過程中采用K 折交叉驗證法對模型進行調優，并檢驗模型的泛化性能。

2 實驗結果與分析

本文采用Keras 框架，調用TensorFlow 后臺實現基于2D ResU-Net的關節滑膜MRI圖像的分割。實驗運行的硬件環境為AMD 銳 龍7-2700X CPU 和GeForce GTX 1660Ti GPU 計算機。

為了定量評估算法分割性能，本文采用了如下評價指標：

1）Dice 相似系數（Dice Similarity Coefficient，DSC），用于衡量預測的分割結果與“金標準”區域的重合度，公式為：

DSC取值（0，1），當預測結果（A）與“金標準”區域（B）完全相同時，DSC 取值為1；當預測結果與“金標準”不相關時，DSC取值為0。DSC 值越大，表明模型泛化能力越強，分割效果越好。換言之，模型泛化能力與DSC值的大小成正相關關系。

2）交并比（Intersection over Union，IOU）［20］：

其中：area(c)表示自動分割的像素數，area(G)表示醫生手工標注的像素數目。IIOU取值（0，1）表示分割精確性，即醫生手工標注和自動分割的像素數目吻合程度。

3）體積重疊誤差（Volumetric Overlap Error，VOE），用于計算預測分割結果與“金標準”區域間像素體積的重疊誤差，公式為：

VOE取值（0，1），當VOE取值0時表示預測結果（A）與“金標準”區域（B）沒有誤差，是最好的分割結果。因此，VOE 取值越小表示分割誤差越小，精度越高。

為了驗證本文算法的有效性，利用3 例病人的滑膜斷層圖像構建測試樣本，檢測本文算法在滑膜斷層圖像上的分割精度，并與原U-Net模型的分割結果進行對比。圖5展示了測試樣本的部分分割效果，從圖中可以看出，在本文算法分割滑膜得到的預測結果中，滑膜整體形狀及位置與醫生手工標注的結果已經十分接近，且預測圖的邊界相較于手工標注的邊界更為圓滑。手工標注的結果是由專業的醫學影像醫生標注，然后經資歷較深的影像專家確認后所得，并以此作為本文的“金標準”。一般而言，醫生手工勾畫的邊緣有些銳利，而“金標準”（資歷較深的影像專家手工分割的結果）實際上要更圓滑一些。由圖5 可知，通過訓練模型所得到的預測圖的邊界與“金標準”更接近。

圖5 分割結果Fig.5 Segmentation results

表1 給出了利用原始U-Net 模型進行分割與利用本文算法進行分割的結果。

表1 不同算法的分割結果對比Tab.1 Comparison of segmentation results of different algorithms

從圖5及表1所得結果可知，使用本文算法對關節滑膜增生區域進行分割的精度高于原始U-Net。

為了驗證樣本數量對實驗結果的影響，利用本文模型對增廣前后的數據集分別進行實驗。實驗所得訓練集和驗證集上的Loss曲線和DSC曲線變化情況如圖6所示。

使用測試集對模型進行檢測，所得分割結果如表2所示。

表2 不同訓練集下分割結果對比Tab.2 Comparison of segmentation results under different training sets

從圖6及表2中結果可以看出，僅使用原始圖像進行模型訓練易出現過擬合現象，所得結果遠不如采用增廣技術后，將所有圖像用于網絡訓練所取得的分割效果好。因此，在數據量較小的情況下，對圖像進行增廣操作，一定程度上提高了模型的性能，減少了網絡訓練過程中的過擬合現象。

對于不同規模的樣本集，訓練集、驗證集、測試集的劃分也有所不同，表3 展示了三者不同分配比例情況下的分割結果。

圖6 數據增廣前后訓練集與驗證集Loss曲線與DSC曲線變化情況Fig.6 Changes of Loss curve and DSC curve of training set and validation set before and after data augmentation

由于能夠用于實驗的樣本相對較少，因此采用了表3 中的分配方法對訓練集、驗證集和測試集進行劃分。由表3 中數據可知，在樣本數據集相同的情況下，不同的分配比例對分割精度的影響不是特別明顯，但當樣本足夠多時，對于不同的數據集，三者不同的分配比例對分割精度是否會產生明顯的影響，在后續的工作中仍需進一步探究。

表3 不同分配比例下分割結果對比Tab.3 Comparison of segmentation results under different allocation ratios

3 結語

本文提出了一種基于2D ResU-net 的關節滑膜MRI 圖像分割算法。該算法借鑒殘差網絡中殘差學習的思想，將ResNet 與U-Net 相融合，增加了網絡深度，并解決了網絡較深時梯度消失的問題。實驗結果表明，本文提出的分割算法可以取得較好的分割效果，并且該算法所需樣本相對較少，訓練速度快。但實驗中也存在一定的不足之處，針對滑膜斷層圖像中滑膜目標區較多的圖像，本文算法存在漏分、多分或誤分的情況。針對這一問題，在后續的工作中將收集更多的多目標區訓練樣本，并嘗試其他有效的數據增廣方法，進一步優化模型參數，以實現更高精確度的關節滑膜自動分割。