基于全卷積網絡的胎兒腦部超聲圖像分割算法

葉海，馮開平，謝紅寧

（1.廣東工業大學計算機學院，廣州510006；2.廣東工業大學藝術與設計學院，廣州510090；3.中山大學附屬第一醫院婦產超聲科，廣州510080）

0 引言

胎兒中樞神經系統（Fetal central Nervous System，CNS）是世界上最為常見的胎兒先天性疾病之一，相關研究[1]表明出生兒中中樞神經系統的畸形發生率高達3-4%，僅次于先天性心臟病。隨著超聲技術的不斷發展，胎兒超聲技術由于其獨特的優勢被廣泛運用于產前診斷，有效地減少和預防缺陷兒的出生，提高了人口質量。但胎兒中樞神經系統的發育是一個十分復雜的過程，尤其是胎兒腦部的病變特征十分細微難以分辨，而有豐富臨床經驗的產科醫生和超聲設備在基層地區十分稀缺。所以，利用深度學習方法為醫生提供一個可靠的輔助診斷工具是十分有意義的。

近年幾年來，胎兒超聲圖像處理有一些已發表的工作。Yu Z 等人[2]提出一種基于深度學習的胎兒超聲標準切面的識別方法，Baumgartner 等人[3]利用深度學習方法實現了標準切面的實時檢測，用以輔助醫生作為臨床診斷的工具。醫學作為臨床診斷的一個重要步驟在深度學習領域已經有越來越多的研究和成果，目前如何利用深度學習方法實現胎兒疾病診斷將成為下一個研究的重點和難點。

胎兒超聲圖像中存在大量的噪聲，不利于異常疾病的分類和診斷。有別于通用其他醫療影像分類，胎兒超聲圖像識別的實質是細粒度圖像識別，需要對相似度極高的病變區域進行分割。目前已有許多針對不同部位和種類醫療影像分割方法，周成禮等人[4]提出基于最大熵的股骨分割方法，王恒立等人[5]提出和本文類似的全卷積網絡對乳腺癌進行分割，而對于胎兒腦部區域細粒度圖像的分割方法少有相關的研究。本文提出基于全卷積的圖像分割方法對顱骨光環進行分割，并加入空洞卷積進行改進。此分割方法也可輕易地擴展到其他醫療圖像分割領域，作為消除噪聲和目標區域提取的一種手段。

1 方法

1.1 數據組成及預處理

本實驗數據集由16209 張18 至32 周正常胎兒腦部超聲圖像組成，為了提升模型的魯棒性和可靠性，使用3 種不同格式的圖片作為本次實驗的數據集。分別是由影像歸檔和通信系統（Picture Archiving and Communication Systems，PACS）導出的單幅圖超聲圖像、雙幅圖超聲圖像以及由視頻切割出的幀，同一格式的所有超聲圖像都是來自各種各樣的生產環境和機器型號，以保證本次實驗的結果對真實生產環境有一個相對準確的評估。不同格式數據組成見表1。

表1 不同格式數據訓練集和測試集劃分

在進入模型之前，將所有原始圖像從三通道的彩色圖像轉化為單通道的灰度圖像，并對每張圖像做一次z-score 標準化操作，即每張圖片減去所有圖片的均值并除以他們的標準差，將有數據分布差異的圖像轉化為統一的量級，以保證數據集的可比性，增強網絡的穩定性。z-score 標準化可表示為：

其中x 為原圖像素值，μ 為數據集像素均值，σ 為數據集像素標準差，經z-score 標準化的數據集將被resize 成256×256 大小作為模型的輸入。最終將所有數據劃分為訓練集和測試集。訓練集和測試集的劃分結果見表1。

1.2 U-Net網絡模型

U-Net[6]是全卷積網絡（Fully Convolutional Network，FCN）[7]的一種改進模型，它由一個256×256 尺寸的灰度圖像作為輸入，同樣256×256 尺寸的特征圖作為輸出。整個U-Net 架構可分為兩個部分，伴隨下采樣的特征提取過程和伴隨上采樣的特征擴張過程。下采樣過程中，原始輸入圖像將通過兩個3×3 大小，步長（stride）為1，填充（padding）為1 的卷積核，每個卷積核后都跟隨著一個線性整流函數（Rectified Linear Unit，ReLU）作為激活函數，隨后經過2×2 的池化層下采樣。在下采樣過程中，采用上述操作后的每組特征圖數量變為原來的兩倍，尺寸變為原來的一半。上采樣過程中，被壓縮成8×8 大小的1024 張特征圖通過2×2大小的轉置卷積[8]進行上采樣，此外每次上采樣后的特征圖將與下采樣過程中相應大小的特征圖做級聯（Concatenate）操作用以融合未采樣之前的特征信息，再通過與下采樣過程中同樣的卷積，重復五次后最終得到一個原始圖像尺寸的單通道圖像作為模型的輸出。本實驗U-Net 模型結構如圖1 所示。

圖1 空洞卷積在不同擴張率下的感受野

1.3 空洞卷積

大多數DCNN 中都有一個明顯的缺陷，即采樣是一個不可學習的過程。采樣（向上或向下）特征圖后，會丟失特征圖原有的內部數據結構和空間層級信息，這意味著一組小區域的像素無法通過相反的采樣操作進行重構。直觀地講，U-Net 模型在下采樣過程中圖像經過數次池化（pooling）操作所丟失的信息在上采樣過程中無法被彌補，而分割顱骨光環區域不僅需要紋理、邊緣、顏色等局部圖像特征，還需要獲取腦部整體結構和不同器官之間位置排列關系。為了更好地提取這種全局信息，對原始的U-Net 中添加了空洞卷積（Dilated Convolution）[18]，空洞卷積可以有效地提升感受野的同時不需要減小圖像大小，避免池化操作帶來的信息損失，是獲取廣泛信息的一種有效方法。

圖2 空洞卷積在不同擴張率下的感受野

空洞卷積的實現形式如圖2 所示，空洞卷積將卷積中連續的像素間隔開，從而擴大感受野。圖2（a）中卷積核大小為3×3，擴張率為1 的空洞卷積（Conv 3×3，dilation=1）和普通卷積操作一樣感受野為3×3。而圖2（b）中擴張率為2 的空洞卷積只對紅色像素點做卷積操作，實際卷積核大小還是3×3，但感受野已經增大為藍色區域的7×7。換句話說，經過空洞卷積的特征圖可以比非空洞的那一層“看到”更多，對于需要處理大尺寸特征圖的初始卷積層來說，空洞卷積可以有效地忽略一些細節而更專注于整體結構信息的獲取。

本次實驗經過對比和分析，將原始U-Net 中下采樣過程的第二層和第三層卷積層替換為擴張率為2 的空洞卷積。

2 實驗與討論

2.1 實驗結果分析及對比

本文采用相似度系數（Dice coefficient）、精確率（precision）、召回率（recall）和兩者的調和平均數F1-score 評價原始模型和加入空洞卷積后模型的性能，即對給定的測試數據集，對兩種模型的分割結果分別做定量分析。精確率和召回率是一組相互影響的評價指標，精確率用來衡量正確分割的像素中屬于分割結果像素的比例，召回率用來衡量正確分割的像素中屬于人工標注像素的比例。在理想狀態下實驗追求兩者都高，但實際情況是精確率和召回率兩者相互制約，往往兩種標準難以對比。F1-score 是一種精確率和召回率的調和平均數，用來衡量精確率和召回率之間的總體平均分布程度，能夠利用兩者更好地評估模型的性能，F1-score 越高說明模型的總體性能越好。

原始模型和改進模型各個評價指標如表2 所示。由表2 可以看出，經過空洞卷積改進過的分割方法在精確率上比原始方法更高9.6%，這表明改進后的方法會分割地更精細，會盡可能將冗余信息都排除在分割區域外，剔除更多的噪聲。但召回率的下降7.6%同時也意味著模型可能會過分割一些有效區域，例如本文中顱骨光環的顱骨區域。在標注時本實驗將橢圓區域盡可能擴大到顱骨光環外圍區域，以方便例如頭型異常等疾病的后續識別工作，低召回率對于腦部疾病診斷的負面影響并不大。但從整體上看，F1-score 和Dice 系數分別提升了1.2%和1.1%，實驗證明加入空洞卷積對于U-Net 分割結果取得了良好的效果。

表2 各結構U-Net 模型分割評價結果比較

2.2 實驗結果分析及對比

圖3 不同切面和數據格式分割效果

圖3 隨機選取了不同切面和數據格式的超聲圖像，經過分割模型后的結果。其中左圖為原圖，右圖中藍色橢圓區域為分割結果所擬合的橢圓，對擬合的橢圓區域做外接矩形框，將分割圖像提取，即可得到需要的目標分割圖片。

圖中（a）、（b）兩幅圖比較了小腦切面和雙頂徑切面在同一分割模型下的分割結果，（c）圖和（a）、（b）兩圖比較了視頻幀和單幅圖在同一分割模型下的分割結果。對比后發現，模型對于不同格式和切面的數據集有良好的分割結果，具有一定的魯棒性和穩定性。同時分割結果中保留了胎兒腦部各個組織結構和器官，剔除了無關的噪聲和聲影區域，達成了去除噪聲的目的。

3 結語

提出了一種帶有空洞卷積的U-Net 分割模型對胎兒腦部超聲圖像有效區域進行自動提取，訓練后的模型使用測試數據集對不同結構的模型進行測試并進行定量分析。對實驗結果分析發現，使用空洞卷積的U-Net模型會提高精確率提升并且降低召回率，擴張率的選擇對模型有很大的影響，若擴張率使用不當會導致改進模型比原模型分割效果差。實驗中所有模型的預測耗時并無顯著差異，表明加入空洞卷積的U-Net 能夠有效提升分割準確率和分割效率，同時實驗分割效果分析表明模型對不同切面和生成環境下的數據都具有良好的分割效果，具有良好的穩定性和魯棒性。此方法能夠有效和可靠地去除醫療圖像噪聲，為提高后續胎兒腦部超聲圖像檢測和分類準確率打下良好的基礎。