基于多監督殘差網絡的冠狀動脈CT圖像分割

顧峰，曹秒，蔡慶武，董麒，張坤

（長春理工大學 生命科學技術學院，長春 130022）

冠狀動脈疾病的發病率和死亡率均較高，已成為當今世界范圍內死亡率最高的疾病之一［1］。冠狀動脈粥樣硬化性病變可導致血管狹窄或阻塞，冠狀動脈狹窄的檢測與量化是臨床早期診斷冠心病的主要途徑。隨著臨床醫學認識的不斷加深和影像技術的進步，冠狀動脈造影CT圖像在篩選冠狀動脈疾病方面發揮著越來越重要的作用。冠狀動脈造影是一種非侵入性的方法，無需動脈導管介入，只需造影液通過靜脈注入流經心臟，在冠狀動脈舒張期完成一次心臟斷層掃描［2］。冠狀動脈造影CT圖像分割在輔助醫生治療、評價血管狹窄病變范圍、重建血管三維結構等方面具有重要意義［3］。完整的血管分割結果可節省醫生的人工分割時間，有助于醫生更好地診斷疾病。

卷積神經網絡（CNN）主要依靠特征自動提取等技術，在數字圖像處理領域取得了重大進展［4］。醫學領域也注意到深度學習方法的巨大成功，并且希望將深度學習技術應用于醫學圖像處理的各個任務。已發表的有關深度學習的文獻中，提出了許多不同的血管分割方法。當前深度學習主要有兩類：監督算法和非監督算法［5］。非監督算法是指訓練過程中沒有人工標注作為參考依據，而監督式算法可以使用手工分割好的標簽作為參考依據。

隨著越來越多數據集的公開，監督式算法得到了越來越多研究人員的喜愛，而且監督式算法網絡架構更具有競爭性，可以達到最佳性能［6］。李瑞瑞等人［7］引入新的血管連接損失值來保證血管的連通性。JIN等人［8］引入了一種可變形卷積運算來對不同形狀的血管進行建模。一項研究聲稱［9］，考慮到動脈和靜脈之間的特征差異，可以通過多任務訓練來改善分割結果。YAN等人［10］意識到血管寬窄之間的固有數據不平衡，表明訓練損失值將以寬的血管為主，而忽略細的血管。該模型雖然可以有效地重建粗、細血管，但是需要手動定義血管的直徑，而在大多數的血管分割實例中，模糊和嘈雜的血管邊界很難全部通過手動定義。ZHU等人［11］提出基于PSPNet網絡的冠狀動脈造影圖像分割方法。針對冠狀動脈造影圖像結構復雜多變、參數結構過擬合或參數結構破壞等問題，采用小樣本遷移學習限制參數學習方法，實現了并行多尺度卷積神經網絡模型。但隨著網絡深度的增加，訓練過程中對網絡的指導力度不夠。因此在分割醫學圖像時會出現誤分割。

本文的目標是開發一種快速、全面和自動化的全卷積深度網絡，稱為MSRNet，用于解決動脈造影血管中血管的分割問題，能夠輔助醫生早期診斷疾病，并使用自動分割工具減少觀察者的報告差異和醫生的工作負擔。

1 方法

1.1 ResNet-50

卷積神經網絡隨著網絡深度的加深，表達能力增強。然而，隨著網絡深度的加深，一些問題也就隨之而來。當網絡層數太深時，對網絡訓練的時間以及設備的要求也越來越高，而且還會出現梯度消失，訓練錯誤增加等現象，導致網絡性能下降。這些問題的出現說明神經網絡訓練方法還存在很多問題。為了解決這些問題，何愷明等人提出了殘差網絡來解決這些問題。ResNet使用快捷連接和擬合殘差表示法。恒等映射重新構建了學習過程，讓梯度在網絡中順暢地傳遞，加快了網絡收斂的速度，有效地解決了網絡退化、梯度消失等問題。

ResNet-50是何愷明團隊提出的殘差網絡ResNet中的一種，這里的50指帶權重的層為50層，具體由1個卷積核大小為7×7的卷積層（Conv）、1個內核大小為3×3的池化層（最大池化Maxpool）、4組殘差模塊（Residual Module）和 1個全連接層（FC）構成，每組殘差模塊內分別有3、4、6、3個標準殘差塊結構（Residual Block）。

將ResNet-50提取的特征圖進行可視化以了解ResNet-50對冠狀動脈圖像的特征學習過程，如圖 1所示，從圖1（b）～圖1（d）展示了層次由淺至深提取到的部分特征圖樣例。通過觀察分析特征圖可以看到，網絡的低層特征包含更多的線條、紋理、目標形狀等信息，隨著層次深度的增加，圖像信息逐漸減少，一些關鍵目標特征也越來越模糊甚至消失。CNN的低層特征由于來源的層次較淺，因此學習到的特征更多指冠狀動脈圖像的局部和細節信息，而來源于更深層次的高層特征，則更強調圖像全局結構及主要目標的整體輪廓等抽象信息，因此高層特征較適合冠狀動脈分割任務。由于醫學圖像相對于一般的物體圖像分割精度要求更高，冠狀動脈圖像的細節信息在CNN深層逐漸消失，導致高層特征缺少了可區分性的冠狀動脈特征識別依據，從而可能產生分割不精確的問題。

圖1 ResNet-50不同殘差塊輸出的特征圖

1.2 MSRNet網絡結構

為提高冠狀動脈分割精度，在殘差網絡中引入監督模塊。通過訓練好的ResNet-50模型進行特征提取的過程中發現，將ResNet-50網絡中最后的三個殘差單元和整個連接層去掉，網絡收斂速度更快，對冠狀動脈的分割效果更好。所以將網絡中最后的三個殘差單元和整個連接層去掉。這樣，網絡中就只有兩種殘差單元。如圖2所示，在特征提取模塊中，第1、4、8方塊為映射殘差單元（圖2殘差塊1），殘差單元輸入輸出之間的短連接通道不包含任何其他層。其余特征提取部分的方塊表示卷積殘差單元（圖2殘差塊2）。這類殘差單元的輸入與輸出之間的短連接通道包括卷積層、歸一化層和尺度層。圖2中第二部分是多重監督模塊。針對網絡中第3、7、13殘差塊，添加3個監督側輸出模塊。因為網絡由卷積神經層和尺度層兩層組成，在不同深度下的特征圖尺寸要小于輸入圖像特征圖的尺寸。以3、7、13等殘差塊輸出圖像的特征圖尺寸為原輸入圖像尺寸的1/4、1/8、1/16。為了確保監督模塊輸出的圖像和輸入圖像的分辨率相同，在每個監督模塊上都加入了一個上采樣層對輸出特征進行上采樣。此外，每個側面的輸出模塊還能計算出標簽圖像和側面模塊輸出預測圖之間的損失值，再將損失值反向傳播，并用梯度下降法修正了網絡的權值，這有利于網絡多尺度學習，加快網絡收斂速度。將各個側模塊的分割結果融合在融合層，得到最終的分割結果。

圖2 MSRNet的架構

1.2 遷移學習

深度學習在分類、聚類和回歸等領域取得了令人矚目的成就。但是這些方法都是以訓練數據和測試數據具有相同的特征空間時，才能得到讓人滿意的結果［8］。隨著數據樣本的變化，算法需要添加額外的訓練數據，然后從頭開始訓練。應用到現實場景中時，這種方法的弊端就顯示出來了，不僅成本較高，而且很多任務無法再收集更多的培訓數據。因此，這些任務非常需要能夠減少數據和訓練數據的方法，這時應用領域間的知識遷移或遷移學習具有重要的現實意義。

1.3 訓練過程

MSRNet基于牛津大學開發的深度學習卷積神經網絡工具箱［9］，采用梯度下降法訓練網絡，全卷積層采用Xavier方法初始化，學習率設為0.01，偏向學習率設為0.02。融合層采用零初始化法進行初始化，學習率設為0.01。迭代次數設置為50。網絡的損失函數定義如下：

其中，g1，g2…，gk∈{0，1}，像素 1 表示真值標簽；gi=1表示屬于冠狀動脈的像素，反之，gi=0表示屬于其他組織像素；p（gi=n）表示該像素屬于該類型的概率。

1.4 分割結果的評價標準

為了評價該算法的性能，使用一些廣泛使用的指標來進行比較。具體而言，選擇血管分割準確性（Acc）和真陽率（Sen）［10］作為評價分割性能。使用NTP作為表示正確檢測到血管（true positive）像素數，NTN表示為正確檢測到的非血管（true negative）像素值，NFP表示為錯誤檢測到血管（false positive）像素。Sensitivty（Sen）也稱為真陽率（true positive rate），定義為 Sen=NTP/（NTP+NTN）。血管分割準確性（Acc）定義為Acc=（NTN+NTP）/（NTP+NFN+NTN+NFP）。

2 數據與結果

2.1 數據來源

為驗證本文算法的分割性能，建立了一個來自實際案例的數據庫。該數據庫來自50個病人的680幅CT圖像（如圖3（a）），所有圖像均為冠狀動脈斷層截面圖，且所有圖像都有放射科醫生手動標注的真值標簽。上述圖像資料均來自西藏民族大學附屬醫院。

2.2 數據預處理

盡管深度學習體系結構對原始輸入數據有很好的效果，但是適當的預處理操作可以提高網絡分割的精度［11］。由于一些圖像的對比度不明顯，分割邊界模糊，為了使數據更適合于分割，對數據進行預處理。

（1）圖像進行歸一化處理。從醫院采集的數據來自不同的設備，而且病患個體差異導致造影圖像灰度不同。首先將數據集中的所有圖像轉換成灰度圖像，然后對灰度圖像進行歸一化處理，確保每個圖像的平均灰度值為0，標準差為1。

（2）數據增強。為了克服過擬合問題，使用隨機沿軸鏡像翻轉、隨機縮放和強度位移三種技術對數據集圖像進行增強。表1顯示了有關使用數據增強方法的參數細節信息。

表1 數據擴充參數

2.3 性能比較

通過 MSRNet、U-net和 ResNet等技術，對基于深度學習模型的冠狀動脈分割算法的有效性進行了驗證。根據作者提供的源代碼，對U-net和ResNet進行了大量參數實驗，得到了最佳的U-Net和 ResNet參數。學習率（1×10-5），迭代次數（50）。通過計算Acc、Sen兩個指標來評價三種分割算法的性能。分割結果如表2所示。

表2 幾種分割方法的比較

表2為本文為了驗證本文網絡分割性能與其他幾種神經網絡分割方法性能的比較。從表2的結果可以看出，與U-net和ResNet相比，本文結果的Acc分別提高了9.3%和7.4%，Sen提高了9.1%和7.3%，MSRNet具有最高的Acc和最高的Sen。

為了驗證本文提出的對冠狀動脈進行分割的方法的有效性，對680幅圖像進行了分割測試，并用人工分割結果作為參考標準。圖3展示兩組冠狀動脈造影血管應用不同方法的分割結果。圖 3（a)、圖 3（f）是原始圖像，圖 3（b）、圖 3（g）是由放射科醫生手工分割的結果，圖3（c）、圖3（h）是利用U-Net進行分割的結果，圖 3（d）、圖 3（i）是 ResNet網絡分割的結果，圖 3（e）、圖 3（g）是MSRNet網絡的分割結果。從圖3（c）、圖3（h）兩組圖中可以看出，U-Net網絡對冠狀動脈并不能完整的分割。從圖3（d）、圖3（i）可以看出，ResNet網絡對冠狀動脈的分割出現了過分割問題，將一些對比度相似的造影組織分割了出來。圖3表明，基于MSRNet網絡的分割結果相對于U-Net和ResNet網絡，分割結果更完整、更準確，不會出現過度分割的情況，且分割結果更接近人類專家手工分割的結果。

圖3 實驗分割結果

2.5 遷移學習的實驗結果

表2展示了分割的準確性，基于MSRNet網絡是最高的。在MSRNet的基礎上，同時測試使用了遷移學習模型的準確性變化。圖4是使用遷移學習之前和之后的模型性能的比較。可以看出，在使用遷移學習之后，本文提出的模型在冠狀動脈分割中的Acc和Sen都有提高。其中測試集上的平均Acc從0.925提高到了0.938，平均Sen從0.912提高到了0.923。結果表明，本文使用的遷移學習策略能夠提高模型的性能。

圖4 基于遷移學習改善的模型性能

3 結論

冠狀動脈是一種細管狀結構，對比度和偽影相對較低，而且有效的注釋樣本稀缺，給冠狀動脈圖像的分割帶來了困難。基于冠狀動脈CT血管成像，提出了一種基于MSRNet的多尺度CNN模型。本算法首先對預處理后的圖像進行下采樣，得到多尺度的圖像，并將其發送到CNN。在全連接層中選取不同尺度的特征進行融合，最后利用這些特征對冠狀動脈造影CT圖像進行分割。通過實驗證明，基于MSRNet的冠狀動脈CT血管圖像分割技術比ResNet和U-Net具有更高的分割精度。此外，利用遷移學習技術來進一步提高分割的精度，解決了利用深度神經網絡分割冠狀動脈數據量有限的問題，進一步提高了分割的準確性。因此，本文的實驗對冠狀動脈CT血管的準確分割具有重要的意義。