深度學習在醫學圖像分割中的應用

王如磊 李翔宇 王 強 朱廣正 彭 磊

山東第一醫科大學(山東省醫學科學院)醫學信息工程學院 山東 泰安 271016

1 引言

醫學圖像分割是計算機視覺的一個重要應用領域,其目的是從醫學圖像中將目標區域劃分出來,為后續的疾病診斷提供服務。基于深度學習的醫學圖像分割方法能夠具有自動提取特征能力,能夠充分利用圖像豐富的語義信息,克服了傳統分割算法過多依賴醫學領域專家先驗認知的弊端。本文主要介紹FCN、U-Net、U-Net++、Seg Net等基于深度學習圖像分割方法,以及在醫學圖像分割中的應用[1]。

2 深度學習的圖像分割方法

2.1 FCN 針對卷積神經網絡(Convolutional Neural Networks,CNN)在圖像分割精細度上存在的局限性,2015年Long等人在其論文中提出了全卷積網絡(Fully Convolutional Networks,FCN)的概念,用于圖像的分割。其解決的核心問題就是要達到像素級別的圖像分類。FCN整體結構包括兩部分：全卷積部分和反卷積部分。其中全卷積部分用于提取特征,類似傳統的CNN網絡,與傳統CNN的主要區別在于FCN將最后的全連接層替換為卷積層。由于不再受全連接層輸入神經元個數的限制,FCN的輸入就能夠接受任意大小尺寸的圖像。反卷積部分在最后一個卷積層之后進行上采樣,即進行反卷積操作,使得輸出圖像與輸入圖像具有相同的分辨率。但是FCN仍存在一些缺點,其對圖像的細節不夠敏感,分類結果不夠精細,另外沒有考慮到像素與像素之間的關聯關系,丟失了部分空間信息,缺乏空間一致性。

2.2 U-Net U-Net和FCN非常相似,即網絡中沒有全連接操作[2]。U-Net網絡同樣是編碼器-解碼器(encoder-decoder)結構,整個網絡通過四次下采樣和四次上采樣形成一個“U”型結構。編碼器部分對圖像進行下采樣,其主要作用是經過卷積層和池化層對圖像進行空間維度降低,提取圖像特征。解碼器部分是對輸出圖像進行上采樣,將編碼階段的抽象特征圖像恢復到與輸入圖像相同的尺寸,同時將提取的高維特征映射到特征圖的每個像素,從而實現像素級別的圖像分割。而解碼過程在下采樣恢復圖像時,特征尺寸會發生變化,丟失信息,因此采用跳躍連接(skip connention)將下采樣結構中的底層信息與上采樣結構中的高層信息融合起來,相互補償,以此來提高分割精度。U-Net與FCN的區別在于,一是U-Net是左右完全對稱的,而FCN的解碼過程只用了一個反卷積操作；二是跳躍連接部分FCN用的是求和操作,U-Net用的是疊加操作。U-Net結合了下采樣時的低分辨率信息和上采樣時的高分辨率信息,以及通過跳躍連接補充底層信息提高了分割精度,同時U-Net模型規模較小、參數較少,因此比較適合用于醫學圖像處理。

2.3 U-Net++ U-Net++是在U-Net基礎上進行的改進。原始U-Net的結構經過四次下采樣和四次上采樣,得到圖像的分割結果。但是不同深度的U-Net的表現也不相同,并非越深越好。不同層次特征的重要性對于不同的數據集是不一樣的。因此,U-Net++將原始U-Net結構中的跳躍連接用的長連接變更為一系列的短連接。讓網絡自己去學習不同深度特征的有效性。通過抓取不同層次的特征,以疊加的方式進行特征整合,從而提升了精度。這種結構共享了一個特征提取器,只訓練一個編碼器,而不同層次的特征由不同的解碼器路徑來還原。另外U-Net++還在訓練過程的各個子網絡中加入了深監督,在測試時進行剪枝。即在深監督的過程中,如果每個子網絡的輸出結果已經足夠好了,就可以剪掉那些對輸出完全沒有影響的多余部分,從而讓深度網絡在可接受的精度范圍內大幅度的減少參數量。

2.4 Seg Net Seg Net和FCN思路基本相同,也是編碼器-解碼器結構。Seg Net的設計目標是實現一種存儲空間小、速度快、適合于實時應用的深度網絡模型。編碼器部分使用VGG16的前13層卷積網絡,同樣不含全連接層,主要作用是進行特征提取。在進行2×2最大池化時,存儲相應的最大池化索引位置。解碼器部分與FCN有所不同,其使用從編碼器傳遞過來的較大池化索引位置,對輸入進行非線性上采樣,從而使上采樣生成稀疏特征映射,之后通過卷積操作生成密集的特征圖。上采樣過程不需要再進行學習,避免了FCN中學習上采樣帶來的額外空間消耗。最后的解碼器輸出特征映射被送入soft-max分類器,獨立的為每個像素進行分類。上采樣使用池化層索引的好處是提升了圖像邊緣刻畫度,減少了訓練參數,從而使Seg Net更加高效。

3 在醫學領域中的應用

醫學圖像分割是醫學影像處理過程中的一個重要環節[3]。有效分割出醫學圖像中的組織、結構或異常區域,是對病人進行合理評估,以及給予適當治療方案的基本條件。醫學圖像分割可以應用于多種醫療場合,包括腦組織分割、心臟結構分割、肺結構分割、肝結構分割、血管分割、以及腫瘤檢測、病變組織定位、手術導航等方面。基于深度學習的醫學圖像分割方法大大提高了分割的準確率,在醫學領域擁有巨大的發展潛力,必將會在醫學界產生更為深遠的影響。

4 結束語

醫學圖像分割技術已經是醫學圖像處理以及臨床醫療輔助診斷方面不可或缺的一部分。深度學習技術在醫學圖像分割方面已經取得了巨大的進展。隨著新理論和新技術的不斷發展,深度學習技術將會在醫學圖像分割方面取得更大的突破,對醫療信息領域的發展做出更大的貢獻。