基于控制點(diǎn)特征學(xué)習(xí)的前列腺組織輪廓線提取方法

金海燕,張 錦,王海鵬,肖照林*,王 剛,陳 晶,張 雨,白志明

(1.西安理工大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,陜西 西安 710048;2.陜西省網(wǎng)絡(luò)計算與安全技術(shù)重點(diǎn)實(shí)驗室,陜西 西安 710048;3.海口市人民醫(yī)院,海南 海口 570208;4.海南大學(xué),海南 海口 570228)

0 引 言

前列腺增生、前列腺炎、前列腺癌[1]等一直是全世界男性所面臨的常見疾病。前列腺癌臨床檢測方法包括特異性抗原檢測(Prostate-Specific Antigen,PSA)、穿刺活檢、前列腺B超和核磁共振成像(Magnetic Resonance Imaging,MRI)[2]檢查等。前列腺疾病的影像分析主要采用核磁共振加權(quán)(T2 Weighted,T2W)成像和彌散加權(quán)成像(Diffusion Weighted Imaging,DWI)兩種, 其中T2W(T2 Weighted)圖像細(xì)節(jié)較為清晰,適合觀察病變組織;而DWI(Diffusion Weighted Imaging)成像邊緣細(xì)節(jié)雖比T2W成像模糊,但更適合觀察正常細(xì)胞和癌細(xì)胞的放射吸收率差別。

針對核磁共振影像前列腺組織的輪廓線分割問題,學(xué)者們提出了多種典型的分割方法。文獻(xiàn)[3]提出將多圖譜分割與橢球形狀先驗相結(jié)合,以橢球先驗作為前列腺輪廓線的形態(tài)約束條件,從而實(shí)現(xiàn)多圖譜的前列腺輪廓準(zhǔn)確分割。依據(jù)前列腺輪廓包膜組織與周圍其它組織的差異,可采用曲線擬合法[4]、微分法[5]等進(jìn)行輪廓線圖像分割。此外,隨著監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)理論的發(fā)展,提出將前列腺圖像逐像素的鄰域提取特征向量,并將特征向量作為神經(jīng)網(wǎng)絡(luò)輸入,從而將前列腺組織分割轉(zhuǎn)化為二分類問題。針對T2W成像結(jié)果,提出將目標(biāo)圖像與帶狀掃描數(shù)據(jù)進(jìn)行注冊,并提取注冊結(jié)果的雙圖譜特征,最終采用模糊C均值聚類方法實(shí)現(xiàn)對前列腺組織過渡區(qū)與外圍區(qū)的有效分割。上述方法需要對前列腺組織的特征進(jìn)行向量化描述或顯示建模,其前列腺輪廓線分割結(jié)果的優(yōu)劣依賴于特征提取的質(zhì)量。

近年來,深度學(xué)習(xí)理論在醫(yī)學(xué)圖像處理領(lǐng)域取得了許多顯著成果。其中,在卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[6]的基礎(chǔ)上,已發(fā)展出了如反卷積網(wǎng)絡(luò)[7]、對抗生成網(wǎng)絡(luò)[8]、DeepLab網(wǎng)絡(luò)[9]等多種不同的網(wǎng)絡(luò)結(jié)構(gòu)。針對1.5T和3.0T通量的T2W圖像,文獻(xiàn)[10]提出采用全卷積的U-Net網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行前列腺組織分割,并在由40位患者的數(shù)據(jù)集上取得了準(zhǔn)確的輪廓分割結(jié)果。同樣是采用具有編碼器-解碼器結(jié)構(gòu)的U-Net[11]網(wǎng)絡(luò),文獻(xiàn)[12]在U-Net[13]網(wǎng)絡(luò)中加入壓縮-激勵模塊(Squeeze-and-Excitation blocks),提出了更具泛化性的T2W前列腺組織分割新網(wǎng)絡(luò)。文獻(xiàn)[14]提出采用具有雙向遞歸卷積層的網(wǎng)絡(luò),將MRI(Magnetic Resonance Imaging)圖像中不同切片層間信息作為序列輸入,以補(bǔ)充單個切片層輪廓線信息的不足,從而提高了對T2W圖像上前列腺組織的分割精度。文獻(xiàn)[15]提出了一種在DWI中通過一組全卷積神經(jīng)網(wǎng)絡(luò)全自動描繪前列腺和前列腺過渡區(qū)的算法,在三維DWI體積內(nèi)檢測包含部分前列腺的切片,并自動分割前列腺及其過渡區(qū),并取得了較高的分割精度。文獻(xiàn)[16]對MRI切片進(jìn)行激活映射,生成對應(yīng)的粗概率圖,引入相似度模型對其細(xì)化,并輸入殘差U-Net網(wǎng)絡(luò)得到更加精準(zhǔn)的前列腺分割結(jié)果。文獻(xiàn)[17]使用非負(fù)矩陣分解精確DWI分割區(qū)域,從分割區(qū)域估計以表觀擴(kuò)散系數(shù)(ADC)體積形式存在的鑒別特征,并采用遷移學(xué)習(xí)檢測和識別前列腺癌。文獻(xiàn)[18]采用Dense UNet網(wǎng)絡(luò)對MRI序列進(jìn)行訓(xùn)練分割,可以將無需手動分析且獨(dú)立于其他MRI序列的定量成像標(biāo)記,有助于前列腺癌的檢測和分類。文獻(xiàn)[19]提出的MRI兼容性生成對抗網(wǎng)絡(luò),其多尺度判別器由兩個結(jié)構(gòu)相同但輸入大小不同的判別器組成,目標(biāo)函數(shù)包含對抗損失與特征匹配損失,可以使網(wǎng)絡(luò)穩(wěn)定訓(xùn)練并獲得更好的收斂性。

綜上所述,目前針對前列腺組織T2W圖像的輪廓線分割已有一些相關(guān)研究工作,然而直接在DWI圖像的前列腺輪廓線分割結(jié)果仍研究較少。因此,該文提出采用U-Net網(wǎng)絡(luò)直接對DWI圖像進(jìn)行前列腺組織輪廓線分割。與現(xiàn)有邊緣分割算法不同,該方法通過對輪廓線控制點(diǎn)的特征學(xué)習(xí),實(shí)現(xiàn)對前列腺組織輪廓線控制點(diǎn)的準(zhǔn)確檢測,進(jìn)而采用曲線保凸擬合方法生成輪廓線分割結(jié)果。由于采用控制點(diǎn)學(xué)習(xí)的策略,該方法在已標(biāo)注的小樣本數(shù)據(jù)集上就可以對U-Net網(wǎng)絡(luò)進(jìn)行充分訓(xùn)練,且能夠有效應(yīng)對DWI影像的模糊邊緣問題。主要貢獻(xiàn)包括以下兩點(diǎn):

(1)基于醫(yī)生對前列腺DWI圖像邊緣的標(biāo)注結(jié)果,提出一種輪廓線控制點(diǎn)學(xué)習(xí)樣本的自動生成方法。

(2)提出一種對前列腺組織輪廓控制點(diǎn)的特征學(xué)習(xí)方法。該方法避免從較模糊DWI圖像直接提取邊緣,優(yōu)勢在于僅需少量前列腺輪廓的已標(biāo)注樣本就可對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,且具有較高的輪廓線提取精度。

1 前列腺輪廓線控制點(diǎn)的特征學(xué)習(xí)

針對DWI圖像的弱梯度變化問題,提出一種基于控制點(diǎn)學(xué)習(xí)的前列腺輪廓線檢測方法,其核心思想是避免直接檢測邊緣,而將可決定前列腺核體外包絡(luò)形狀的特征點(diǎn)(為了與其他圖像特征點(diǎn)進(jìn)行區(qū)分,下文稱之為控制點(diǎn))作為檢測重點(diǎn)。由此,將模糊邊緣檢測問題轉(zhuǎn)化為對少量的關(guān)鍵特征點(diǎn)的檢測問題。

1.1 輪廓線標(biāo)注及控制點(diǎn)生成

與經(jīng)典特征點(diǎn)檢測算法不同,該文采用神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)方式對輪廓線控制點(diǎn)進(jìn)行檢測。臨床醫(yī)生手工標(biāo)注的DWI圖像數(shù)據(jù)采用三通道的RGB文件格式保存。其中,前列腺輪廓線標(biāo)注為紅色,該文以醫(yī)生標(biāo)注結(jié)果為前列腺輪廓的真值圖,即Ground Truth (GT)圖。在真值圖中依據(jù)紅通道標(biāo)注結(jié)果確定前列腺組織輪廓線,其像素集合Q為:

Q={(x,y)|R(x,y)=255}

(1)

其中,R(x,y)代表像素坐標(biāo)(x,y)處紅色通道的值。該文選取Q集合像素點(diǎn)固定比例作為控制點(diǎn)樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練,其數(shù)量用Nr表示。為了控制樣本點(diǎn)間距,采用X方向的均勻采樣方式,間距D計算如公式(2)。

(2)

式中,xmax和xmin分別是Q集合中像素X坐標(biāo)的最大值和最小值。因此,所選的控制點(diǎn)集合C為:

(3)

控制點(diǎn)生成算法如下所示:

輸入:經(jīng)醫(yī)生手工標(biāo)注的DWI圖像I

輸出:前列腺輪廓控制點(diǎn)集合C

Step1:讀入圖像I,利用式(1)提取醫(yī)生標(biāo)注的前列腺輪廓像素集合Q

Step2:通過輪廓像素集合Q的數(shù)量,確定控制點(diǎn)樣本數(shù)量Nr

Step3:從Q集合選取像素點(diǎn),得到控制點(diǎn)集合C

Step3.1:通過集合Q確定其X方向像素的極值xmax與xmin

Step3.2:利用式(2)計算X方向均勻采樣距離D

Step3.3:在X方向上每次移動D提取Y方向前列腺輪廓的上下邊界ytop與ybottom

每張DWI圖像可生成Nr個控制點(diǎn),當(dāng)已標(biāo)注的DWI圖像為K張時,可學(xué)習(xí)樣本共Nr×k個控制點(diǎn)。相較于直接學(xué)習(xí)輪廓線的方法,控制點(diǎn)學(xué)習(xí)樣本數(shù)量為其Nr倍,且控制點(diǎn)特征相比于輪廓線更為簡單,故該文的控制點(diǎn)學(xué)習(xí)策略較適合小樣本數(shù)據(jù)集,對已標(biāo)注的前列腺輪廓線數(shù)據(jù)量要求較低。

1.2 控制點(diǎn)學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建

(4)

假設(shè)θ存在先驗分布g(控制點(diǎn)的特征),則控制點(diǎn)學(xué)習(xí)可認(rèn)為是以下最大后驗概率估計問題。

(5)

為了對C集合的概率分布進(jìn)行量化,以標(biāo)注控制點(diǎn)特征概率擴(kuò)散方式形成量化的可學(xué)習(xí)樣本。因此,任意像素點(diǎn)是輪廓線控制點(diǎn)的概率p(x,y),可看作是控制點(diǎn)集合C中各點(diǎn)的擴(kuò)散結(jié)果。

(6)

其中,γ(p(x,y),pci)為依據(jù)兩點(diǎn)距離的擴(kuò)散衰減函數(shù)。

γ(p(x,y),pci)=(1/a)‖p(x,y)-pci‖2

(7)

其中,a為擴(kuò)散衰減系數(shù)。依據(jù)控制點(diǎn)集合C,采用公式(6)和(7)可計算已標(biāo)注圖像中所有像素點(diǎn)可作為控制點(diǎn)的概率。由于概率值很小的樣本點(diǎn)沒有學(xué)習(xí)和參考的意義,因此當(dāng)p(x,y)<0.5時,將p(x,y)概率置為0,由此得到真值圖中控制點(diǎn)的概率圖P。P中概率即為控制點(diǎn)學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)輸入及預(yù)期輸出。

對控制點(diǎn)訓(xùn)練及檢測方法的總體流程如圖1所示。如表1所示,所用U-Net型卷積神經(jīng)網(wǎng)絡(luò)的卷積層與反卷積層各4層,‘Conv2d’表示二維卷積操作,‘Concat’表示concatenate操作,‘BN’表示batch normalization操作,‘Pool’表示pooling操作。

圖1 文中方法的總體流程示意

表1 前列腺控制點(diǎn)學(xué)習(xí)的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

1.3 網(wǎng)絡(luò)訓(xùn)練及輪廓線預(yù)測

一組訓(xùn)練數(shù)據(jù)中,包括用于輸入網(wǎng)絡(luò)的原始DWI圖像I,以及被當(dāng)作預(yù)期輸出的控制點(diǎn)概率圖P。考慮到預(yù)測控制點(diǎn)概率圖P'控制點(diǎn)的概率和分布對擬合輪廓線較為重要,故設(shè)計了如下的損失函數(shù)。

L=λ1L1+λ2L2

(8)

L1=(P'(x,y)-P(x,y))m

(9)

式中,損失值L分別由控制點(diǎn)的概率差異損失L1和分布損失L2以及權(quán)重λ1和λ2加權(quán)構(gòu)成,如圖2所示,λ1和λ2由設(shè)置多組參數(shù)系數(shù)進(jìn)行實(shí)驗對比獲得。概率損失L1計算預(yù)測控制點(diǎn)與預(yù)期控制點(diǎn)的概率差異,m為概率圖差異的冪次方。 由于公式(7)導(dǎo)致控制點(diǎn)的擴(kuò)散效應(yīng),目標(biāo)點(diǎn)周圍像素點(diǎn)作為控制點(diǎn)的概率也較高,故將控制點(diǎn)的空間分布也作為損失函數(shù)的計算項。

圖2 概率差異損失與分布損失的示意

(10)

實(shí)驗所使用的數(shù)據(jù)集為海口市人民醫(yī)院泌尿外科醫(yī)生所標(biāo)注的10組臨床前列腺DWI造影數(shù)據(jù)(具體見2.1節(jié))。為了更好地利用已標(biāo)注數(shù)據(jù)集,在訓(xùn)練階段還對訓(xùn)練數(shù)據(jù)集進(jìn)行增強(qiáng)(Data Augmentation),包括垂直翻轉(zhuǎn)、45°旋轉(zhuǎn)和-45°旋轉(zhuǎn)。由此,可將原始數(shù)據(jù)集由400張擴(kuò)充至1 600張,并將該1 600張作為訓(xùn)練數(shù)據(jù)集,額外100張作為測試數(shù)據(jù)集。網(wǎng)絡(luò)訓(xùn)練階段,該文采用多輪次迭代的隨機(jī)輸入模式訓(xùn)練樣本。每次迭代(Epoch)過程前,對樣本再次進(jìn)行隨機(jī)排序。

在輪廓線預(yù)測階段,對于任意輸入的DWI圖像,采用上文所述的U-Net卷積網(wǎng)絡(luò)計算,將會得到一張預(yù)測的概率圖P',P'中的每個像素點(diǎn)值代表該點(diǎn)可作為輪廓線控制點(diǎn)的概率。但是,上述神經(jīng)網(wǎng)絡(luò)模型仍將預(yù)測出大量候選的控制點(diǎn)。該文采用腐蝕和二值化操作再次縮減候選點(diǎn)數(shù)量,最終使得保留的候選點(diǎn)數(shù)量接近Nr,進(jìn)而利用保凸擬合方法生成最終的輪廓線。

2 前列腺輪廓線的檢測實(shí)驗

2.1 實(shí)驗數(shù)據(jù)集與測試平臺

實(shí)驗采用海口市人民醫(yī)院泌尿外科醫(yī)生所標(biāo)注的10組臨床前列腺DWI造影數(shù)據(jù),每組樣本包含8-14位患者的DWI分層核磁共振掃描影像,每位患者DWI數(shù)據(jù)包含40張左右的軸向切片,其中的前列腺輪廓已由醫(yī)生采用圖1的方式手動標(biāo)注。數(shù)據(jù)集中DWI圖像分辨率為256×256像素。使用垂直翻轉(zhuǎn)、45°旋轉(zhuǎn)和-45°旋轉(zhuǎn)的方式,將原始數(shù)據(jù)集由400張擴(kuò)充至1 600張,并將該1 600張作為訓(xùn)練數(shù)據(jù)集,額外100張作為測試數(shù)據(jù)集。

該文采用Python3.7及PyTorch 1.2版本構(gòu)建U-Net深度神經(jīng)網(wǎng)絡(luò)。訓(xùn)練過程中,為了確保良好的收斂性并降低收斂速度,將初始學(xué)習(xí)率設(shè)置為0.000 5,并逐Epoch遞減為前一次的0.2倍。訓(xùn)練中Batch size設(shè)置為1,采用Adam優(yōu)化器進(jìn)行網(wǎng)絡(luò)優(yōu)化迭代。

2.2 輪廓線檢測結(jié)果分析

為了測試算法提取前列腺輪廓線結(jié)果的質(zhì)量,實(shí)驗分別采用相似性系數(shù)(Dice Similarity Coefficient,DSC)、豪斯多夫距離(Hausdorff Distance,HD)、平均對稱表面距離(Average Symmetric Surface Distance,ASD)三種評價指標(biāo)對結(jié)果進(jìn)行定量評價。

在測試數(shù)據(jù)集上,首先比較采用相同網(wǎng)絡(luò)結(jié)構(gòu)直接提取輪廓線的方法[20]與文中方法,結(jié)果如表2所示。

表2 不同輪廓線檢測方法的結(jié)果對比

相較于輪廓線的提取方法,文中方法檢測輪廓線更為準(zhǔn)確。在訓(xùn)練數(shù)據(jù)集越來越少的情況下,文中方法的結(jié)果明顯優(yōu)于直接提取輪廓線方法的結(jié)果。這樣證明了所提的檢測輪廓線控制點(diǎn)策略在小樣本數(shù)據(jù)上優(yōu)于直接檢測輪廓線的特征。

圖3顯示了多組不同病患DWI原始圖像、醫(yī)生手工標(biāo)注結(jié)果、文中網(wǎng)絡(luò)的輸出結(jié)果及擬合的前列腺輪廓線。從圖3中可以看出,文中方法預(yù)測的控制點(diǎn)擬合的閉合輪廓線基本覆蓋了前列腺組織,且在不同病患數(shù)據(jù)上的輪廓線擬合效果與醫(yī)生標(biāo)注形狀非常接近。當(dāng)前列腺組織較大且邊緣圓滑時,文中方法檢測效果較好;當(dāng)前列腺組織較小且邊緣扁平時,檢測結(jié)果與標(biāo)注結(jié)果存在明顯差異。表3統(tǒng)計了對應(yīng)圖3的3種量化評價指標(biāo),其中DSC重合率結(jié)果均高于80%.

(a)原始DWI圖像 (b)手工標(biāo)注前列腺輪廓線 (c)網(wǎng)絡(luò)輸出的概率圖 (d)輪廓線擬合結(jié)果圖3 多組不同患者數(shù)據(jù)上的前列腺輪廓線提取結(jié)果

表3 不同病例的前列腺輪廓線檢測結(jié)果

表4給出了不同分割方法在本數(shù)據(jù)集上的數(shù)值評價結(jié)果,對比方法包括:U-Ne[20]、FCNt[21]、SegNet[22]、ResUNet[23]、ResUNet++[24]、RAUNet[25]、CaraNet[26]、PraNet[27]。由表4的數(shù)值結(jié)果可以看出,其余醫(yī)學(xué)圖像網(wǎng)絡(luò)分割方法雖然也可以分割出DWI前列腺輪廓,但其分割精度仍存在提升空間。文中方法分割的DWI前列腺輪廓在DSC、HD兩個重要指標(biāo)上均優(yōu)于其它方法,DSC值為85.3%,已達(dá)到MRI分割結(jié)果的較高水平,驗證了該方法對DWI前列腺分割的準(zhǔn)確性.

表4 不同深度學(xué)習(xí)網(wǎng)絡(luò)的前列腺輪廓線檢測結(jié)果

圖4中6組數(shù)據(jù),分別在同一幅圖像上可視化了文中方法預(yù)測得到的前列腺組織輪廓線與醫(yī)生手工標(biāo)注輪廓線的差異。

圖4 6張測試數(shù)據(jù)集的輪廓區(qū)域可視化對比(淺灰色部分為醫(yī)生標(biāo)注,深灰色部分為文中預(yù)測,白色部分為兩者重疊)

由圖4可見,文中方法預(yù)測的輪廓線與醫(yī)生標(biāo)注的輪廓線具有很高的相似度。為了體現(xiàn)不同輪廓線檢測方法提取前列腺區(qū)域的差異,在圖5中可視化對比幾種方法分割出的前列腺形狀。從圖中可以看出,文中方法由DWI圖像提取出的前列腺形狀最接近醫(yī)生手工標(biāo)注的結(jié)果,進(jìn)一步證明了所提方法對輪廓線控制點(diǎn)檢測的準(zhǔn)確性。

(a)醫(yī)生標(biāo)注 (b)FCN (c)U-Net (d)SegNet (e)ResUNet (f)ResUNet++ (g)RAUNet (h)CaraNet (i)ParNet (j)文中方法圖5 不同方法檢測前列腺區(qū)域形狀的對比結(jié)果

3 結(jié)束語

提出了一種基于控制點(diǎn)特征深度學(xué)習(xí)的前列腺組織輪廓線檢測方法。與現(xiàn)有依據(jù)邊緣直接檢測輪廓線的方法不同,該文采用U-Net神經(jīng)網(wǎng)絡(luò)檢測控制點(diǎn),進(jìn)而使用曲線保凸擬合生成最終輪廓線。提出了適合控制點(diǎn)特征學(xué)習(xí)的概率損失與分布損失,將控制點(diǎn)檢測建模為一個最大后驗概率估計問題,故神經(jīng)網(wǎng)絡(luò)輸出為一張各個像素點(diǎn)作為輪廓線控制點(diǎn)的概率圖。相較于直接學(xué)習(xí)輪廓線特征,控制點(diǎn)特征學(xué)習(xí)較為簡單且所需的醫(yī)生標(biāo)注數(shù)據(jù)量較低,故該方法較適合僅具有小樣本標(biāo)注數(shù)據(jù)的任務(wù)。在真實(shí)的臨床病患數(shù)據(jù)集上,采用DSC、HD、AS三種指標(biāo)對比了多種現(xiàn)有的輪廓線提取方法,結(jié)果表明該方法擬合的前列腺輪廓線更接近與醫(yī)生標(biāo)注的結(jié)果,從而證明了該方法的有效性。 進(jìn)一步而言,在病患前列腺形狀發(fā)生較大變化時,該方法的分割效果有待提升,這反映出該方法較依賴于醫(yī)生標(biāo)注數(shù)據(jù)集,若考慮更加精準(zhǔn)的控制點(diǎn)擬合曲線方案則可提升分割結(jié)果。此外,目前該方法僅考慮DWI掃描單層圖像上的控制點(diǎn)特征及其二維分布特性,后續(xù)將進(jìn)一步考慮多層DWI圖像中控制點(diǎn)的三維分布,或可進(jìn)一步提高控制點(diǎn)檢測的精度。