全卷積深度遷移網絡的聯合分割

李 巖，劉 俊

1.智能信息處理與實時工業系統湖北省重點實驗室（武漢科技大學），武漢430065

2.武漢科技大學 計算機科學與技術學院，武漢430065

血凝塊的形成是對損傷的基本反應，它會使血液由溶膠狀態變為凝膠狀態，但是血凝塊也是許多血管疾病的根本原因，包括心肌梗塞、中風、肺栓塞和深靜脈血栓等。但是以往的治療方法大都具有顯著的缺點[1]。例如，藥物是非局部給藥的，可引起過多的出血。導管或血栓溶解劑可以直接破壞凝塊來溶解血栓，但是可能會對脈管系統造成意外的損傷和感染。

超聲以前已經被證明可以誘導溶栓，其本身可以與藥物或超聲造影劑一起誘導溶栓[2-3]，現在高強度超聲已被證明是體外和體內有效的血栓溶解方法[4]，并具有非侵入性和快速治療等顯著的益處。在這些研究中，溶栓作用歸因于空化效應。空化效應能夠在超過超聲壓力閾值的300 s 內完全破壞凝塊。當發生溶栓時，會在凝塊表面產生細小的碎片顆粒。在治療期間，剩余的凝塊將自然地朝向焦點移動，使得整個凝塊可以在不移動換能器的情況下被侵蝕[5]。

超聲治療需要同步獲取血管和血栓位置，以此來決定超聲的聚焦點和聚焦程度，如何從獲取的超聲圖像中分割出血管和血栓的位置成為了一個急需解決的問題。圖像分割在醫學超聲圖像的定量、定性分析中均扮演著重要的角色，它直接影響到后續的分析、處理工作。正確的分割是從超聲圖像中為臨床應用準確提取診斷信息的保證，也是臨床中進行定量分析和計算機輔助操作中重要的一環。超聲成像相較于其他成像方法具有無損性、實時性及廉價性的優點，而且在超聲治療中使用超聲成像的方法，可以保證設施的一致性。

1 相關工作

1.1 傳統分割方法

傳統圖像分割算法指的是通過主動尋找圖像中不同的灰度、顏色、紋理和形狀特征，把圖像劃分成若干互不交迭的區域，并使這些特征在同一區域內呈現出相似性，而在不同區域間呈現出明顯的差異性。

常見的傳統分割方法有諸如基于閾值的分割方法、基于邊緣的分割方法和基于區域的分割方法等，傳統的分割方法大都方法簡單，運行速度快，并且能很好地適應某些數據，但是當邊界灰度及紋理特征不明顯時，傳統方法就很難奏效。

例如，選基于灰度信息與ROI區域的初始輪廓獲取方法[6]。其根據超聲圖像的灰度特征對其進行自適應閾值分割以及面積濾波，然后獲得分割輪廓點集進而得到snake初始輪廓點集，并完成最終的分割。

還有基于稀疏表示框架和動態方向主動輪廓模型的超聲血管分割[7]，該方法先通過稀疏表示框架中的提取初始輪廓，并使用主動輪廓模型將初始輪廓朝著感興趣的邊界傳播。最后，基于圖像邊界的鈣化區域，對提取的輪廓進行細化。

但是這些傳統方法，調整參數及其繁瑣，而且得到的結果很難令人滿意，雖然能在訓練數據上取得較好的結果，但是分割真實圖像時，往往很難得到一個較好的結果。

1.2 神經網絡模型

神經網絡的興起為自動分割提供了一個新的方向。針對超聲血管圖像，有人工神經網絡方法[8]，該方法通過稀疏自動編碼器和softmax 分類器分割血管層，再用另一個人工神經網絡優化第一個網絡的結果。最后，使用主動輪廓模型應用于平滑邊界。該方法通過使用傳統的CNN改進模型，對圖片進行像素級分類，但是該方法在小數據集上無法收斂。

還有結合堆疊沙漏網絡和有條件生成對抗網絡用于分割圖像內膜和中外膜邊界的方法[9]，該方法能通過對抗網絡，能有效地解決過擬合的問題，并利用闊值處理檢測最終邊界，很好地處理內外膜差異性問題，但是其在邊界分割法在面對異常區域時難以適用，使用該方法在識別被阻塞的血管時，難以得到較好的結果。

除了傳統的CNN 模型，使用全卷積神經網絡完成的圖像分割的FCN[10]能更精準地完成圖片的像素級分割。更進一步的，在全卷積神經網絡上加上對稱的擴展路徑使其以實現精確定位的U 形深度卷積網絡Unet[11]，在處理小數據集的醫學圖像上，能獲得比以往更好的分割結果。還有使用分解濾波器極大降低計算量的ENet，ENet獨特的不對稱網絡及空洞卷積，能很好地提高分割精度。

但由于生物結構本身的多樣性，以及醫療影像技術本身缺陷導致的低對比度和噪聲等問題，這些方法在處理小數據集的超聲圖像時依然會存在問題，很難較好的識別邊界信息，而且阻塞血管中的阻塞部分會給分割帶來極大的難度，此研究就是通過基于全卷積神經網絡的深度聚合和優化完成阻塞血管超聲圖像的分割。

FCN[12-14]已經證明了經過端到端、像素到像素訓練的卷積網絡超過以往的語義分割技術。FCN 沒有任何全連接層，輸出是與輸入圖像大小相同的類概率向量的圖像。然而，在這些網絡中，網絡的準確性和上下文利用之間存在折衷。網絡越深，使用更多的卷積層來促進上下文的使用；另一方面，這些卷積層丟失了網絡的部分細節。

為了克服這些缺點，在此之后有很多人在此基礎上進行改進[15-17]。這些方法基本都是通過改進網絡中的聚合方式來獲取更好的分割效果，但是大都是淺層聚合，難以提取更深層的特征與信息。本文通過進行深層次的卷積與聚合提取更多的特征，完成超聲圖像的分割。

對于一個神經網絡，如果把權重或者參數都初始化為0，由于反向推導中的對稱的隱含單元不改變，那么梯度下降將不會起作用。因此需要對參數矩陣進行始化。其中隨機初始化的好處在于實現簡單，但是需要不斷試錯，以此找到合適的數值，工作量較大，本文嘗試使用遷移學習的方法，使用將標記數據作為掩碼與原圖結合，產生新的數據，用于初始化網絡的參數矩陣，達到穩定實驗結果的目的。

2 本文工作

2.1 全卷積聚合神經網絡

2.1.1 深度與聚合

基于深度聚合的全卷積神經網絡框架如圖2所示，網絡中的改進主要包含三個部分：連接局部細節和全局信息的跳躍連接、加深網絡提取更多特征和全新的卷積聚合模式。

圖像信息主要有兩種：全局信息和細節信息。全卷積神經網絡采用的是一個包含下采樣和上采樣的網絡結構。下采樣用來逐漸提取全局信息，而上采樣的過程則是還原細節信息，并且逐步還原圖像精度。

通過使用跳躍連接，連接下采樣各層信息和上采樣的輸入信息，結合局部細節和全局信息，將收縮路徑上提取出來的高像素特征連接到包含全局信息的新的特征圖上，使得網絡能更加高效地運行。

現在的深度學習網絡結構的主要模塊是卷積、池化、激活，這是一個標準的非線性變換模塊。網絡的本質就是通過這個模型來求解一個多維的問題，而更深的模型，意味著更好的非線性表達能力，可以學習更加復雜的變換，從而可以擬合更加復雜的特征輸入。為此加深網絡的廣度或深度能有效地提升函數的深度，而大多數函數如果用一個深層結構剛剛好解決問題，那么就不可能用一個更淺的同樣緊湊的結構來解決。

網絡模型的深度對網絡的效果提升與數據集有直接關系，對于不同的數據集，網絡深度帶來的影響各不相同，圖像復雜的像素輸入和像素輸出需要的表達難度遠超以往，因此需要更深層的網絡來擬合輸入輸出。經過多次實驗，測試出對于超聲血管圖像，單個塊的卷積層應在8層左右，下采樣中的總深度不應超過40。

但是同時深層網絡帶來的梯度不穩定，網絡退化的問題始終都是存在的，可以緩解，沒法消除。除此之外，模型加深還可能出現的一些問題是導致某些淺層的學習能力下降，限制了深層網絡的學習，這就有可能出現網絡加深，性能反而開始下降。因此，傳統網絡大都在30層以下。為了解決這個問題，殘差卷積網絡創新性的提出了殘差結構用于連接上下文，能較為有效地處理網絡深度問題，使得深層網絡可以得到更好的結果與密集神經網絡和殘差網絡的淺層連接不同，為了在更深的網絡中提取到足夠的信息，深度聚合網絡中的聚合方式能更深層次的提取語義和全局的特征。

通過使用全新的聚合方法，不僅能防止梯度爆炸的問題，還可以更好地將信息向下傳遞。通過在下采樣過程中，對卷積層使用的深度聚合，通過加深收縮路徑獲取更多的特征，并通過深度聚合將提取的特征連接起來，同時在深度和廣度上提取有效信息。

單個聚合塊的網絡結構如圖1所示，其中每一個卷積塊都是一個多通道的特征圖矩陣，通道大小為輸入卷積塊的兩倍，特征圖大小與輸入卷積塊大小相同。卷積都由與上一層通道數量相同的3×3卷積核進行卷積，通過卷積產生數量相同的特征矩陣。concatenate 通過將特征矩陣中的通道進行拼接，產生新的特征矩陣，并通過卷積將通道數恢復成原數量。

通過在拼接后對特征矩陣進行卷積，可以有效解決特征比重問題，越往后的卷積塊擁有越多的信息，而且擁有之前部分卷積的所有信息，如果不進行卷積，會導致前面的卷積塊占比過高，影響結果，而且Output 所占的比重過大可能會導致下采樣與上采樣圖像拼接時的信息稀釋。

圖1 深度聚合模型

如圖1所示，深度聚合結構通過組裝樹結構來連接不同的卷積層，這些連接交叉并合并各個階段的信息，以聚合不同級別的表示。通過將中間的聚合部分路由回網絡來加深聚合，并通過合并相同深度的連續聚合來提高效率。

n層卷積塊的輸出OUTn( )

x可以表示為：

其中x是輸入的多維圖片，convc 是指拼接后接卷積操作，并保持大小與原卷積塊大小相同，conv指通道卷積。

2.1.2 全卷積網絡的連接

如圖2給出了基于全卷積聚合網絡的結構圖，下文給出詳細描述：

（1）每一個下采樣部分都由上文中的聚合卷積塊組成，每個塊都由8個3×3卷積接一個最大池化，并通過深度聚合的方式連接起來。上采樣用于還原圖片，每一個上采樣層使用由2個3×3卷積層組成的卷積塊。

（2）每次最大池化后圖片大小變為上一層圖像的四分之一，并通過卷積將通道數翻倍，同樣的每次反卷積后圖片的大小翻倍，并通過卷積將通道減半，提取圖片分割目標。

（3）在下采樣提取完特征后，獲得了32×32 的特征圖，再通過反卷積來還原圖片細節，并將反卷積后的圖像與下采樣中對應路徑的輸出連接，重新獲取下采樣中丟失的部分信息。這些跳過層通過通道連接實現，它們允許對網絡進行深度監督。因此，跳過層能很好地改善網絡性能。

（4）在下采樣的最后兩層加入了dropout層，用于隨機將部分隱含層節點的權重歸零，由于每次迭代受歸零影響的節點不同，因此各節點的“重要性”會被平衡，使得網絡可以隨機失活。

圖2 深度聚合網絡的連接模型

2.2 數據增強

醫學圖像大多并沒有大量的訓練數據，而由于深度神經網絡具有非常強的學習能力，如果沒有大量的訓練數據，會造成過擬合，訓練出的模型難以應用。因此對于一些沒有足夠樣本數量的問題，可以通過已有的樣本，對其進行變化，人工增加訓練樣本。為了應對醫學圖像數據集過小的問題，使用了合適的數據增強方式，并在實驗中尋找合適的規律和方法。

2.2.1 圖像形變

傳統的數據增強方式主要有對圖像進行旋轉、移位等仿射變換，對象映射的鏡像變換，保持原圖特征的彈性變換等等。在經過對比實驗后，本文則使用了一種基于移動最小二乘的圖像剛性變換方法。

該方法通過在圖像中制定控制點，并通過拖拽控制點來驅動圖像變形。假設p為原圖像中控制點的位置，q為拖拽后控制點的位置，利用移動最小二乘法來為原圖像上的每個像素點v構建相應的仿射變換，并通過該變換來計算得到圖像變形后的位置。

由于控制點個數與計算量成正比，因此不應太多，拖拽幅度也應該控制，太大了會導致圖像特征難以獲取，太小了會使網絡很容易的陷入過擬合。

2.2.2 基于虛擬數據的級聯深度遷移

神經網絡類似于人類大腦的處理機制，它是一個迭代且連續的抽象過程。網絡的前面層可被視為特征提取器，提取的特征是通用的。基于這個特點，本文通過將增強后的圖片與對應掩碼結合來構造幾個全新的連續源域，通過這些連續的源域順序學習圖像特征，最終應用于對象圖像。

掩碼比例越高越容易學習，很容易確定圖片的某些明顯特征，并在網絡中為構建適應模型，反之，當掩碼比例降低時，更難找到分割對象，但是對細節的分析更接近真實，通過遷移學習的方式，傳遞訓練好的模型，將高掩碼源域的模型作為初始值傳給低掩碼源域，然后低掩碼源域完善部分高掩碼源域學習不到的細節，并繼續向下傳遞。原圖接收到掩碼源域傳遞的模型后，對模型進行調整，完善所有細節。

如圖3 所示，本文分別用0.2、0.15、0.1、0.05 的掩碼與原圖疊加，然后首先用0.2 掩碼對應的訓練圖對初始模型進行訓練，可以只用1 次全局訓練即可，訓練過深會影響后續的訓練。模型訓練完畢后，使用該模型訓練低掩碼的數據，依此訓練得到最終的模型，將最終的模型作為實驗的初始模型，對原始數據進行訓練，得到訓練結果。

本文的模型如圖3 所示，分別使用與0.2、0.15、0.1、0.05與掩碼相乘，加在原圖上，產生4組對應的圖像，然后產生一個隨機的初始模型，使用從高到底的使用掩碼圖像對模型進行訓練，最終得到模型4，并將模型4作為初始后的模型訓練原始圖片。

圖3 遷移學習模型

2.3 聯合網絡

在分割血管阻塞部位的過程中，發現深度學習的方法很難收斂，由于圖片質量和數量，并由于形態學特征不具有一致性，很難直接精準的識別血管的阻塞區域。

如果使用網絡直接對血管阻塞部分進行分割，會有極大的誤差。血管本身具有較為明顯的形態學特征，只對血管分割，已經能得到較好的分割結果，如果將分割好的血管圖片作為輸入，同時考慮血管位置，能更好地找到阻塞區域，限制阻塞區域的位置。

為了解決這個問題，構建了兩個全卷積聚合神經網絡的模型，并將其聯合起來。如圖2所示，一個模型在另一個之上，訓練端到端分割2D 軸向切片。上方的一個AMFCN將血管的軸向切片作為輸入，通過計算每個像素在血管內的概率，輸出血管的分割圖。下方的AMFCN則同時將切片和血管分割圖作為輸入通過連接聚合，能有效的收斂阻塞區域，最后輸出血管阻塞部分分割圖。

3 實驗

3.1 實驗數據

這里采用其他實驗室數據集，其中有30 個訓練圖像，在實驗中，首先隨機提取25 個圖像，然后基于剛性形變的數據增強將其擴展為750張，將這些圖像作為訓練集添加到網絡中，將剩下的5張作為測試集使用，為了保證實驗的準確性，重復3次實驗取平均值。網絡中的每個卷積后接一個Relu 的激活函數，使用samepadding使得卷積前后的圖像大小不會改變，使用帶有動量項的優化器Adam（Adaptive Moment Estimation），并將其初始的學習率設為1E-5，使用二值交叉熵計算損失函數，并通過保存Loss最小的模型用于計算測試集的Label。

3.2 實驗結果及分析

3.2.1 實驗環境

本文實驗系統環境：硬件環境為1 臺PC 機，GPU 3.2 GHz；RAM 8 GB。軟件環境為操作系統64 位Windows10；編程語言Python；編程工具Spyder3.6，Keras，Tensorflow3.6-GPU。

3.2.2 數據增強及擴展

在設置數據增強的基礎參數的過程中，直接實驗的情況下，部分數據效果過差，為了選取合適的參數，從數據集中選取了較為明顯的血管圖用于測試，在選取增強方法時，分兩組做了測試實驗；一組為普通的基礎變換（旋轉、縮放、翻折等）和基礎形變（扭曲，伸縮，錯位等），該方法在訓練集上有較好的效果，但是在測試集上不收斂；第二組使用剛性形變，效果有較為明顯的提升，可以通過深度學習方法得到訓練結果，測試集與訓練集的Loss較為一致。

對于設置剛性形變的幅度，先分別設置9、16、25、36個控制點均勻分布在圖像上，隨機設置拖拽方向和幅度，范圍在（-30，30）間，經過實驗，驗證當隨機點大于25以后，提升幅度極小，但生成圖像的時間大幅上漲，因此本文增強方式將控制點確認為25。

再確認控制點后，修改拖拽幅度，分別采用（-30，30）和（-20，20），（-10，10）的隨機數對控制點的橫縱坐標進行拉扯。實驗說明20像素的拉扯將改變圖像的形態學特征，更加接近真實形變，如圖4所示。

ROC 小于10 的情況下圖像基本沒有變化，難以發現特征差異，大于20 以后，圖像將失去過多特征，圖片會過去凌亂，因此將數據增強方式定位控制25 個控制點以幅度為20 像素的拉扯進行隨機變換，每個訓練圖像生成30張增強后的圖像。

3.2.3 網絡結構的選取及構建

在確認數據增強參數后，對在全卷積網絡中分別加入聚合連接，深度加深后的網絡進行比較，證明本文方法在處理小數據集上的圖像分割有較大優勢。

經過實驗，得到如圖5 所示的結果，其中原圖及標注如圖5。

圖4 不同數據增強方式的實驗結果

圖5 不同網絡的分割結果

3.2.4 實驗結果分析

實驗的Loss 和Accuracy 隨Epoch 的變化，如圖6 所示，為同時使用了8層卷積塊的FCN與AMFCN的實驗結果。將使用了深度聚合模塊的結果與未使用深度聚合模塊的結果進行對比，使用了深度聚合模塊的模型加上deep。可以很容易看出，使用深度聚合模塊的結果比未使用聚合模塊的效果好很多。同時由于圖像本身是經過增強的，但是基本特征并未增加，每一次Epoch 都使用了增強后的750 張圖片，所以會很快地陷入過擬合。因此，本文最后實際使用50 次Epoch，并通過快速停止模型，當模型的val_loss 在5 次Epoch 后，依然沒有下降時，停止運行，并保存在迭代過程中val_loss最低的參數模型結果。

為了實驗的準確性，先在具有明顯形態學特征的血管上進行分割，基礎FCN由于缺乏對小數據集的識別，得不出結果，深度網絡結構對較淺的網絡的提升不明顯，在有的情況下還有負面影響，如表1 所示，AMFCN及FCN 后面的數字代表每一個卷積塊包含的卷積層數。通過多次實驗求均值獲得網絡的分割結果。

圖6 Unet8與AMFCN8的Loss及Accuracy的對比

表1 分割參數比較

其中分割精度為是分割準確的面積占實際分割圖像中真實面積的百分比。過分割率為分割在圖像真實分割面積之外的像素點占分割出圖像的比率，欠分割率是指分割結果在標注圖像參考面積之中欠缺的像素點占分割出圖像的比率。

通過表1可以看出對血管分割而言，網絡深度的增加的確可以加強分割效果，深度聚合網絡在淺層網絡中的應用效果一般，甚至有負面效果，但是當網絡加深后，能很好地分割圖像。

如圖7所示，選取效果最好的Unet8和AMFCN8，對比其ROC曲線分布，證明本文方法不僅效果好，而且更為穩定。

圖7 AMFCN8與Unet8的ROC曲線

同時，比較使用了遷移模型和未使用遷移模型的結果，雖然平均分割精度并沒有太大改變，但單個圖像分割精度的波動有所下降，多次實驗的誤差有所減小。

但是直接使用隨機初始模型，每次實驗的結果都會變化，部分情況會取得較差的結果，通過使用遷移學習，生成合適的初始模型，減少學習中的隨機性。雖然大部分情況下兩者差異不大，但是使用遷移學習網絡模型的分割結果，其分割精度的均方差要小于未使用遷移學習的網絡模型，比較結果如圖8所示。

圖8 使用遷移學習模型前后對比

而對血管阻塞部分的分割則需要通過聯合網絡來處理，將血管分割圖像與超聲圖像共同作為輸入，對血管阻塞部分進行分割，能有效地約束阻塞部分的分割區域，結果如圖9所示。

圖9 加入聯合網絡后對血管阻塞部位的分割結果

4 總結

本文提出了一種基于全卷積深度聚合遷移網絡的模型，為了解決小型數據集的超聲圖像難以適應深度網絡的問題，通過數據增強，變換并拖拽圖片集，使其能很好地應用于深度網絡，經過實驗，找到合適的方法與參數，使得損失函數能獲得很好的收斂。為了避免深度網絡的問題，運用深度聚合方法，將全卷積聚合神經網絡中的所有卷積塊進行深度聚合處理，通過聯合網絡來進一步進行分割。為了解決隨機初始化模型帶來的不穩定性，使用遷移學習，通過掩碼圖像數據訓練，產生合適的初始模型。通過實驗對比，本文提出的方法在小數據集的超聲圖像上有較好的效果，能滿足超聲治療的要求。