基于多網絡集成的腦白質高信號分割方法

李鑫鑫，汪緒先，程健，徐紅，李子孝，劉濤（*第一作者）

腦白質高信號（white matter hyperintensities，WMHs）是腦白質中的異常高亮區域，表現為在磁共振T2WI或FLAIR上呈現高亮信號[1]。WMHs目前被普遍認為是腦小血管病（cerebral small vessel disease， CSVD）的影像學標志物[2-4]，且與卒中[5]、認知功能下降[6]、抑郁癥[7]、阿爾茨海默病[8]等密切相關。神經影像學研究表明，腦白質高信號的空間分布模式反映了不同的腦小血管病潛在病理，高血壓性腦小血管病與深部WMHs存在獨立聯系，而腦淀粉樣血管病中的WMHs更多的分布在外部和后部腦區域[9-10]。此外，不同的認知功能和運動功能損壞與WMHs的體積、部位密切相關。腦室周WMHs可影響認知功能[11]，而皮層下WMHs根據位置不同可影響特定的運動功能[12]。因此，WMHs分割對于探索和理解腦小血管病、認知功能和運動功能損壞等疾病的病理機制有著至關重要的作用。

目前WMHs分割的金標準是手工分割。但是手工分割需要熟練的具有專業知識背景的操作者，并且這一過程非常耗時和具有主觀性。在這種背景下，迫切需要一種有效的、自動化的、結果可靠的WMHs分割算法。在面向MRI分割WMHs時，如何充分地利用圖像上下文信息，有效地解決類別不平衡問題，成為研究的熱點問題。為了解決以上問題，本研究擬主要在以下3個方面做出改進工作：①加入密集連接，充分利用影像的原始信息；②增加卷積次數，提高模型的特征提取能力；③多網絡集成，提高模型的通用性和魯棒性。

此外，以往一些研究中提出了WMHs分割工具包。但是，大多數方法是為特定研究而設計的，不能作為對用戶友好的軟件包公開提供。本研究基于新方法開發了一款分割精度高且對用戶友好的軟件，可提取WMHs在不同子區域的體積信息。

1 研究對象與方法

1.1 研究對象 本研究采用2017年醫學影像處理和計算機輔助介入會議(International Conference on Medical Image Computing and Computer Assisted Intervention，MICCAI）上腦白質高信號分割比賽提供的公開數據集來驗證本研究的算法[13]。該數據集來源于3個中心的不同掃描儀，包含60例患者的頭顱MRI影像。每例患者采集1例影像樣本，共計60例影像樣本。樣本包含腦白質病變，其中每例樣本包括FLAIR和T1WI兩種模態的數據以及對應的金標準分割圖（表1）。

1.2 基于多網絡集成的腦白質高信號分割方法

1.2.1 數據增強 深層神經網絡一般都需要大量的訓練數據才能獲得比較理想的結果。在計算機視覺領域，為了提高模型的泛化能力和魯棒性，經常會在訓練集上做一些數據增強工作[14]。為了得到更好的模型，本研究采用了4種常用的數據增強方式：翻轉，旋轉，放縮和剪切映射（圖1）。

1.2.2 模型構建 本文提出的模型在基于U-Net的基礎上進行了改進[15]。模型的主體架構為編碼器-解碼器結構，輸入為FLAIR和T1WI雙模態影像。該模型的深度為5層，每層的輸入會通過兩個級聯的卷積層，在經過上采樣或下采樣之后作為下一層的輸入。其中卷積層包含一個3×3的卷積核和激活函數ReLU。

編碼器通過卷積和池化在提取影像上下文信息的同時，不斷地擴大卷積核的感受野，獲取更加抽象的高維特征。解碼器將最大池化替換為上采樣，使得輸出的尺寸不斷翻倍，將最終分割結果的分辨率恢復至原始輸入影像的大小。模型在解碼的同時，使用跳躍連接把編碼器提取到的特征和解碼器的輸入進行融合，充分利用淺層信息，優化分割結果（圖2）。

表1 數據集詳細特征

圖3 模型二：網絡結構圖

由于小病灶區的空間信息容易在池化操作后丟失，因此根據以往研究提出的建議[16]，在網絡的第一層將3×3的卷積核替換為5×5的卷積核。同時受DenseNet的啟發[17]，本研究在編碼過程中引入了密集連接（圖3）。該模型將輸入影像經過池化之后與編碼器各層輸入進行合并，充分利用原始信息，保留網絡間層與層之間的信息傳輸，減輕網絡過深導致的梯度消失問題。

本研究在模型二的基礎上構建了模型三網絡。模型三在編碼器的第一層增加了卷積次數，以提高特征提取能力（圖4）。

1.2.3 Dice損失函數 腦白質高信號的分割面臨著前后景不均衡的問題。有文獻提出使用Dice損失函數（Dice Loss）可以有效解決這一問題[18]。因此，本研究在訓練過程中也采用Dice損失函數，公式如下：

其中，N 表示樣本的二維切片總數，{g1，g2，…，gn}表示在切片上的金標準分割圖，{p1，p2，…，pn}表示模型的白質高信號分割概率圖，s表示平滑系數，避免出現分母為零的情況，這里將s設為1。

1.2.4 網絡集成 研究表明，神經網絡具有很高的方差，模型的結果對初始化參數異常敏感[19]。集成學習是機器學習中的一類學習算法，通過訓練多個學習器并將它們組合起來進行使用[20]，這類算法通常在實踐中會取得比單個學習器更好的效果。也有研究指出在深度學習中，訓練多個模型，并將預測結果進行組合，能夠有效降低方差[21]。有研究通過集成多個不同的深度學習網絡[22]，在2017年MICCAI會議上舉辦的腦腫瘤分割比賽中獲得了第一名。集成學習中最常用的方法是將模型結果進行平均化處理[23]，使得最終結果對單個模型的不一致表現不會過于敏感。如圖5所示，本研究單獨訓練了模型一，模型二和模型三。每個模型會分別產生一張WMHs分割概率圖（取值范圍0到1），在對三張概率圖取平均值之后，通過閾值化處理（閾值取0.5）將分割概率圖進行二值化處理，計算最終的WMHs分割結果。

1.3 模型訓練和評價指標

1.3.1 模型訓練 本研究采用Keras開源深度學習庫[24]，在4塊NVIDIA Titan-Xp GPU上訓練模型，使用留一法驗證本研究提出的算法。

訓練時，單獨訓練上面提到的三個網絡。每一張切片以及相應的標簽都會通過裁剪或者填充轉化成200×200（像素個數）的尺寸，保證輸入模型的圖片尺寸保持一致。每一份樣本也會做高斯標準化。模型使用Dice損失函數，采用Adam優化器，學習率為0.0003，批尺寸為32個。模型一訓練50輪，模型二訓練160輪，模型三訓練180輪之后分別達到收斂。

1.3.2 評價指標 采用5個不同的指標來定量評價方法的分割效果。假設G是金標準分割圖，P是預測分割圖。

（1）Dice相似系數：

Dice相似性描述了集合G和集合P之間的重合度（百分比）。

（2）豪斯多夫距離：

圖4 模型三：網絡結構圖

圖5 腦白質高信號分割流程

公式③中d（x，y）表示x和y之間的距離，sup表示最小上界（supremum），inf表示最大下界（infimum）。豪斯多夫距離衡量了兩個點集在標準空間的距離。

（3）平均體積差異（百分比）：

公式中VG表示金標準分割圖G中病灶的體積，VP表示預測分割圖P中病灶的體積。

（4）召回率（百分比）：

公式中NP表示預測正確的病灶數目，NG表示金標準中的病灶數目。召回率用來衡量算法的查全率。

（5）F1值：

公式⑥中NTP表示預測正確的病灶數目，NFP表示預測錯誤的病灶數目。F1是綜合考慮精確率和召回率的評價指標。

2 結果

2.1 基于多網絡集成的腦白質高信號分割方法與其他方法的比較 將本研究的結果與目前發表的其他5種方法的結果做了定量比較。其中U-Net Ensembles[25]是2017年MICCAI會議上白質高信號分割比賽的第一名，即目前在這批數據上表現最好的算法。可以直觀看出，本研究提出的集成模型的算法在5個評價指標上基本均優于其他5種算法，與當前最好的U-Net Ensembles算法比較之后：Dice相似系數相對高出2%，豪斯多夫距離減小5%，平均體積差異減小4%，F1值高出1.2%，召回率略低于U-Net Ensembles（表2）。

圖6展示了W M H s 金標準圖、U-N e t Ensembles分割結果和本研究提出的集成模型分割結果的比較?？梢钥闯?，本研究提出的算法能準確地分割出白質高信號，僅僅只有一處小體積區域沒有分割出來（藍色箭頭）。而U-Net Ensembles相對于金標準而言，有兩處小體積區域沒有分割出來（藍色箭頭），另外有兩處大體積區域將非白質高信號錯分為白質高信號區域，造成假陽性（紅色方框）。由此可見，無論定性還是定量的比較，本研究提出的算法均優于當前最好的已發表算法。

2.2 軟件 本研究基于以上算法，設計了一種分割精確的WMHs分割軟件。該軟件可以對白質高信號進行自動分割，并且可以根據提供的大腦不同子區域模板，計算局部區域的WMHs體積。該軟件操作簡便，界面對用戶友好，并具有質量控制，表格生成等實用功能。圖7為該軟件的界面。本軟件代碼程序將上傳到公開程序共享平臺，以供感興趣的科研人員使用與參考。圖8為WMHs分割結果圖。圖9為軟件生成的大腦子區域的WMHs體積報表。

表2 不同方法分割結果的比較

圖6 腦白質高信號金標準圖（左），U-Net Ensembles分割結果圖（中）和本研究提出的模型分割結果圖（右）

3 討論

本研究構建了三種網絡模型，在基于U-Net經典的編碼器-解碼器結構，借鑒了密集連接和多次卷積思想，構建了新的集成模型，該模型進一步提高了算法的魯棒性，提升了算法的分割效果。根據2017年MICCAI會議提供的公開數據集的實驗結果，通過比較發現本文提出的算法優于當前最好的已發表算法。但是在Recall這一評價指標上，該算法略低于U-Net Ensembles算法。如何提高本研究提出的算法在召回率上的表現，將是本課題組下一步工作的重心。

圖7 軟件界面

圖8 腦白質高信號分割結果展示

圖9 軟件生成的腦白質高信號體積報表

邏輯回歸、K-近鄰算法（K-neares tneigh bor，KNN）、學習型遺傳算法（learnable genetic algorithm，LGA）和標簽傳播算法（label propagation algorithm，LPA）均是傳統的機器學習方法，需要復雜的特征工程，模型的有效性極度依賴于特征選擇和特征提取，對于不同掃描儀和不同參數的樣本分割效果相差很大。其中特征選擇具有主觀性，不同的圖像特征可能帶來完全不同的模型分割結果，其次特征提取依賴于復雜的圖像預處理過程。由于白質高信號分布復雜、內部灰度不均勻以及邊緣位置模糊，這使得傳統的機器學習方法很難進一步提升白質高信號的分割精度。

本研究所提出的算法通過模擬大腦神經網絡的連接模式進行建模，能夠自動地學習得到層次化的特征標識，學習得到的特征對數據有更本質的刻畫和更強的標識能力。本研究提出的算法和U-Net Ensembles算法相對于傳統的機器學習方法在分割精度上均有了較大幅度的提升，說明了深度學習方法在白質高信號分割領域優于傳統的機器學習方法，證實了深度學習方法的有效性。

本研究提出的算法相比于U-N e t Ensembles算法而言，引入了密集連接，將低層特征與高層特征相結合，并優化了卷積次數，更加充分地利用了網絡中間層提取的特征。該算法在白質高信號分割結果的表現優于U-Net Ensembles算法。

該算法證實了密集連接的有效性，不同于DenseNet的每個卷積塊之間均進行了密集連接，本算法僅將原始輸入和其他的卷積塊進行了密集連接。通過不同卷積塊之間的密集連接，將模型的淺層信息和深層信息進行結合，研究不同的結合方式對分割結果產生的影響，以及探索背后隱藏的原理，是未來模型優化的一個難點。

研究結果顯示病灶面積對于模型的分割效果有著極大的影響。尤其是在小病灶區，模型的分割效果遠遜于模型在大病灶區的表現。這是深度學習模型在分割領域一直存在的一個問題。本算法通過將第一層的3×3卷積核替換為5×5的卷積核，在一定程度上優化了模型在小病灶區的分割效果。但是該算法仍存在這一問題。未來通過探索卷積核尺寸、最大池化和模型特征圖之間的聯系可能對該問題產生一定的幫助。

本研究提出的算法仍存在著一些不足。對于訓練數據中，白質高信號出現頻率較少的位置，即訓練數據過少，模型一般會忽視出現在該位置的白質高信號，由此將導致未能正確分割此種情況的出病灶區域。另外模型在病灶的模糊邊緣位置存在分割不準確的情況，這也是導致該算法的Recall指標略低的原因之一。未來將針對上述情況對分割算法進行進一步的優化。

【點睛】本文提出了一種新的基于全卷積神經網絡的腦白質高信號分割方法，該方法在公開數據集上進行了測試，與金標準的相似性系數達到82.94，優于之前該領域已發表的最優方法。