基于Hessian矩陣與多視圖卷積神經網絡的縱隔淋巴結自動檢測方法*

曹帥，嚴加勇，崔崤峣，于振坤

(1.上海理工大學醫療器械與食品學院，上海 200093；2.上海健康醫學院醫療器械學院，上海 201318；3.上海健康醫學院附屬周浦醫院，上海201318；4.中科院蘇州生物醫學工程技術研究所，蘇州 215163；5.南京同仁醫院，南京211102)

1 引 言

目前淋巴結的自動檢測方法大多分為兩個步驟：(1)提取候選淋巴結；(2)降低假陽性淋巴結數量。步驟(1)包括人為設定特征和采用卷積神經網絡(convolution neural networks, CNN)訓練兩種方式提取候選淋巴結。人為設定特征的方式主要基于淋巴結的形態特征，設計合適的濾波器，用濾波器對CT圖像進行濾波，找出具有高響應值的點作為候選淋巴結。Barbu等[1]主要使用Haar濾波器和自適應濾波器級聯的方式提取頸部和腹部候選淋巴結。Liu等[2]用閾值法對肺、氣管和脊柱等解剖標志點分割，找到縱隔區域，利用空間先驗知識和隨機森林提取候選淋巴結。與上述方法相類似，Nakamura等[3]使用基于Hessian矩陣的增強濾波器和級聯的Haar濾波器提取候選淋巴結。采用卷積神經網絡是使用大量的數據訓練CNN自動提取特征。Oda等[4]用3D-Unet網絡檢測和分割縱隔淋巴結，把淋巴結和縱隔區域的一些器官一起訓練，來解決淋巴結樣本的不平衡和單一目標檢測精度較低等問題。秦品樂等[5]使用級聯的全卷積網絡(fully convolution network, FCN)識別頸部淋巴結，該方法首先提取淋巴結醫學分區，之后從分區內提取候選淋巴結，但級聯的FCN識別精度有限，可能無法識別和軟組織粘連的淋巴結。針對步驟(2)的去除假陽性工作，以往大多采用傳統的機器學習的方法進行分類，分類器主要為支持向量機(support vector machine, SVM)[3,6-7]。由于CNN在圖像分類領域取得了多項突破[8-9]，被越來越多的研究人員采用。Roth等[10]把淋巴結候選點的冠狀面、水平面和矢狀面疊成一個2.5D彩色圖像作為樣本，訓練卷積網絡用于分類，但該算法對樣本空間信息利用不足，難以分辨較為復雜的樣本。秦品樂等[5]使用3D的VGG網絡，并引入特征塊平均池化層提高分類精度。

本研究針對CT圖像縱隔部位的淋巴結，提出了一種基于傳統方法和深度學習相結合的自動檢測方法，首先使用基于Hessian矩陣的多尺度增強濾波器獲取候選淋巴結，然后設計多視圖卷積網絡對候選淋巴結分類，減少假陽性淋巴結數量，提升淋巴結檢測性能。

2 方法

本研究提出的基于Hessian矩陣與多視圖卷積網絡的方法主要包含三個步驟：(1)定位CT圖像中縱隔區域并分割縱隔部位內與淋巴結無關的組織和器官；(2)基于Hessian矩陣的多尺度增強濾波器對縱隔內圓形物體進行增強，提取候選淋巴結；(3)結合CT圖像三個視圖信息，利用多視圖網絡對輸入樣本進行二分類，減少假陽性淋巴結數量。縱隔淋巴結自動檢測方法整體流程圖，見圖1。

圖1 淋巴結自動檢測方法的流程圖

2.1 提取目標區域

本研究是檢測縱隔區域的淋巴結，縱隔區域可以確定為兩肺之間，即為目標區域。肺部可以用閾值法[11]分割得到二值化圖像，之后處理肺部區域圖像得到目標區域。通過先驗知識了解到，淋巴結不存在任何器官中，因此，可以分割目標區域內存在的器官來定位淋巴結存在區域。目標區域內的干擾器官主要有脊柱、動脈、心臟、氣管和食道；脊柱可以用閾值法分割；動脈、心臟、氣管和食道，本研究采用改進的Unet網絡進行分割[12]。最后定義式(1)對目標區域上的像素點p0進行處理，得到二值化圖像M。目標區域提取結果見圖2，部分器官的分割結果見圖3。

圖2 目標區域提取結果

圖3 不同器官分割的結果圖

(1)

2.2 候選淋巴結檢測

2.2.1圓形結構增強濾波器的構造 基于Hessian矩陣的方法常被用于增強圖像上具有某些結構的特征，如管狀、團狀等[13-14]。Hessian矩陣是一個由二階偏導數組成的方陣。若要分析圖像L上某點p0所具有的結構特征，一般是考慮點p0周圍領域的泰勒展開,其數學表達式為：

(2)

五歲以下的兒童受影響嚴重。報道稱，目前看起來，大多數國家都不太可能完成世界衛生組織定下的營養目標，特別是兒童群體。五歲以下的兒童中，仍然有很多患有各種形式的營養失調癥：1.5億兒童發育不良（在非洲之外的地區，這個數字有所下降）、5000萬兒童處于消瘦狀況、3800萬兒童深受超重困擾，而且地區分布不平衡的特點依然存在。根據地區不同，即使是在同一個國家內，比例也差距很大。此外，一方面，每年有2000萬的嬰兒在出生時體重不足。另一方面，超重和肥胖的人數創下了紀錄，有四成兒童都深受其害。

二維CT圖像上像素點p0在L(x,y)處的Hessian矩陣是一個2×2的實對稱矩陣，具體數學表達式為:

(3)

式中,Lxx,Lxy,Lyx,Lyy表示圖像L點(x,y)處的二階偏導數。圖像由一系列的離散數據組成，因此二階偏導數可以用差分的形式表示。

x方向上的二階偏導數：

y方向上的二階偏導數：

x，y方向上的混合偏導數：

L(x+1,y)-L(x,y+1)

二階偏導數構成的Hessian矩陣的特征值表示圖像本質的特征，由于二階Hessian矩陣是實對稱方陣，因而可以得到其兩個特征值λ1和λ2。假設某像素點處的Hessian矩陣特征值為λ1和λ2，且假定|λ1|≤|λ2|，則圖像中不同區域的結構特性與特征值的關系如表1所示。淋巴結在2D平面上具有圓形結構，據此可以構造圓形增強濾波器。由于我們增強的是暗色背景下的亮點，需要考慮符號問題，因而構造圓形結構增強濾波器[15]如下：

表1 Hessian矩陣特征值與圖像中結構特性關系

(4)

(5)

其中，二元高斯函數為:

(6)

Dσi(x,y)=Zσi(x,y)M(x,y),i=1,…,4

(7)

CT圖像上具有高響應值的點更有可能是淋巴結候選點，對增強后的圖像使用閾值操作，保留圖像上響應值大于0.2的像素點，之后提取圖像中每個連通域的最小外接矩形框作為候選淋巴結樣本。

圖4 提取候選淋巴結

2.3 去除假陽性淋巴結

通過Hessian濾波器提取的候選淋巴結中含有大量假陽性淋巴結，主要由血管和其他的軟組織組成，兩者在CT圖像水平面上形狀相似，較難區分，但是淋巴結在空間上呈現團狀，而血管在空間呈現柱狀，可以從CT圖像的冠狀面和矢狀面區分出來，因此，本研究設計基于CT圖像三個視圖的分類網絡來進行分類，降低假陽性淋巴結數量。

2.3.1多視圖網絡結構 多視圖卷積網絡的結構示意圖，見圖5。特征提取CNN提取每個視圖的特征，視圖合并層整合每個通道提取的特征后，輸送到CNN分類層，對整合特征分類。特征提取層的結構(見圖6)由7個卷積層和3個最大池化層組成；第一、二層是連續的兩個卷積層，由16個3*3的卷積核組成；第三、四層是連續的兩個卷積層，由32個3*3的卷積核組成；第五、六層是連續的兩個卷積層，由64個3*3的卷積核組成；第七層是單個卷積層，由128個3*3的卷積核組成；其中每個卷積層的步長為1，填充為1。卷積層后加入批量歸一化(batch normalization，BN)、修正線性單元(rectified linear unit，ReLU)，以避免過擬合，提高模型的穩定性。最大池化層的池化單元尺寸均為2×2，步長為2。視圖合并層參考DenseNet[16]的思想對子網絡的輸出特征拼接合并成一個新的特征標量。之后將合并的特征放入分類器中，分類CNN是一個全連接層，經過全連接層后使用Sigmoid激活層輸出預測概率，為了減輕過擬合，在全連接層前加入參數為0.5的Dropout層對全連接層進行失活處理。對于候選樣本正負比例不平衡的問題，本研究選擇Focal loss[17]作為損失函數。見式(8)：

圖5 多視圖卷積網絡結構

圖6 特征提取網絡結構

Loss=αy(1-yt)γlog(yt)+(1-α)(1-yt)(yt)γlog(1-yt)

(8)

其中y∈{0,1}是樣本中真實標簽，yt是網絡預測概率結果。α和γ是可以調節的超參數，分別取0.5和2。

3 實驗結果與分析

本研究所使用的實驗數據集是公共數據集[18]，數據集的信息見表2，淋巴結大小見表3。由于數據集中圖像分辨率不同，因此把所有CT圖像采樣到相同的分辨率(1 mm×1 mm×1 mm)并把圖像CT值固定到[-100,200]HU，該范圍內淋巴結顯示效果最明顯且干擾因素較少；然后用Hessian濾波器提取候選淋巴結樣本，對于由Hessian濾波器提取的候選淋巴結，本研究以候選樣本矩形框的中心點，裁剪32×32大小的區域進行后續的分類。

表2 數據集具體信息

表3 按短軸分類的淋巴結數目Table 3 Number of lymph nodes categorized by short axes

數據集中訓練集和測試集比例為8:1。為了應對數據量不足問題，本研究對數據集進行擴充，使用隨機翻轉，隨機正負15o旋轉,像素值偏移等增強策略。優化算法采取隨機梯度下降(stochastic gradient descent, SGD)算法，動量設置為0.9，學習率初始設置為0.01，批處理大小為32，為了防止網絡中負樣本比例過多，使得網絡學習的結果更傾向于負樣本，本研究對正樣本重復使用，當批處理中正樣本數據不足時，隨機從原始樣本中選取正樣本加入，使得批處理中正負樣本比例為1:1，訓練輪次為200輪，并且每輪學習率衰減為原來的0.95，當學習率為0.0001時，停止衰減。實驗環境為：Ubuntu 18.04,GPU為GTX 2080ti，所使用的框架是Pytorch。

測試結果的評估使用接受者操作特性自由響應(free response operating characteristic, FROC)曲線，見圖7。通過計算不同假陽性下的淋巴結召回率，以評估不同條件的誤檢和漏檢情況。FROC曲線的橫軸代表每個患者的假陽性淋巴結數量，單位FPs/patient,曲線縱軸代表靈敏度，即召回的正樣本占比。從FROC曲線可以看出，在9FPs/patient的條件下，該網絡最終可以達到90.32%的淋巴結召回率。對于二分類結果受試者工作特征(receiver operating characteristic，ROC)曲線下的面積(area under curve,，AUC)可以達到0.94。由表4可知，本研究檢測算法在測試集上的效果與其他文獻中所列出的檢測方法的效果對比。從表中可以看出，本研究檢測算法比所列出的檢測算法有一定的提升。真陽性(TP)，假陽性(FP)，假陰性(FN)的淋巴結檢測結果示例，見圖8。

表4 各檢測方法性能的比較

圖7 測試結果曲線

圖8 候選淋巴結檢測樣例

本研究算法在自動檢測縱隔區域淋巴結時，仍然存在一些局限性。在提取疑似淋巴結時，某些淋巴結與周圍軟組織粘連，并且形態不規整，造成某些淋巴結無法提取，后續會探索更適合的識別算法，如Mask R-CNN；此外，使用多視圖網絡進行分類時，某些軟組織在三視圖上具有與淋巴結相似的結構，導致部分假陽性淋巴結識別錯誤，后續可以考慮利用淋巴結的3D空間結構，使用3D網絡來進行分類。

4 結語

本研究提出一種基于Hessian矩陣的多尺度增強濾波器和多視圖卷積分類網絡淋巴結自動檢測方法。構造了基于Hessian矩陣的多尺度圓形結構增強濾波器對CT圖像中的縱隔區域進行增強，獲取候選淋巴結，設計基于冠狀面、矢狀面和水平面的多視圖分類網絡對候選淋巴結分類，降低假陽性淋巴結數量，提升整體檢測性能。通過對90組CT患者的測試，表明本研究方法能夠在產生較低的假陽性淋巴結的情況下，有效地檢測出不同大小的淋巴結，對后續腫瘤療效的評估和分期具有重要的意義。