有條件生成對(duì)抗網(wǎng)絡(luò)的IVUS圖像內(nèi)膜與中-外膜邊界檢測(cè)

袁紹鋒 楊 豐* 徐 琳 吳洋洋 黃 靖 劉婭琴

1(南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣州 510515)2(南方醫(yī)科大學(xué)廣東省醫(yī)學(xué)圖像處理重點(diǎn)實(shí)驗(yàn)室，廣州 510515)3(中國(guó)人民解放軍南部戰(zhàn)區(qū)總醫(yī)院(原廣州軍區(qū)廣州總醫(yī)院)心血管內(nèi)科，廣州 510010)

引言

在冠心病的病變?cè)u(píng)估和介入治療中，血管內(nèi)超聲(intravascular ultrasound, IVUS)技術(shù)已成為必不可少的影像學(xué)方法[1]。在IVUS圖像中，內(nèi)膜(lumen, LU)和中-外膜(media-adventitia, MA)邊界檢測(cè)以及動(dòng)脈粥樣硬化斑塊分割與識(shí)別，對(duì)于準(zhǔn)確評(píng)估冠脈造影難以判斷的病變和冠心病介入治療至關(guān)重要[1-2]。臨床上，IVUS圖像內(nèi)膜和中-外膜邊界檢測(cè)需要操作者具有完備的知識(shí)儲(chǔ)備和大量的臨床實(shí)踐。肉眼識(shí)別IVUS圖像關(guān)鍵邊界具有個(gè)人主觀性、易受圖像偽影和干擾因素影響，分析幾幀至百幀圖像費(fèi)力耗時(shí)，并難以呈現(xiàn)重復(fù)結(jié)果。在這種情況下，自動(dòng)識(shí)別和檢測(cè)IVUS圖像內(nèi)膜和中-外膜邊界可以有效地克服臨床醫(yī)生之間或之內(nèi)的主觀性誤差，抑制圖像偽影和干擾影響，同時(shí)減少醫(yī)生診療時(shí)間[2]。因此，研究自動(dòng)內(nèi)膜與中-外膜邊界檢測(cè)技術(shù)對(duì)臨床診斷和治療冠心病有著重大意義。

大多數(shù)現(xiàn)有算法可分成3類(lèi)。第1種是基于直接檢測(cè)的方法，其主要利用底層特征，如Haar、DoG等，包括啟發(fā)式圖搜索[3]、活動(dòng)輪廓[4]和圖割模型[5]。在IVUS圖像中，斑塊鈣化灶的存在大大影響這類(lèi)算法的檢測(cè)精度[3]。第2種是基于統(tǒng)計(jì)和概率的方法[6-7]。這些方法首先對(duì)內(nèi)膜或中-外膜的形狀、感興趣區(qū)域進(jìn)行建模，然后利用最小化能量函數(shù)(統(tǒng)計(jì)法)或者最大化像素隸屬區(qū)域概率(概率法)獲得最佳邊界的輪廓形變曲線(xiàn)。然而IVUS圖像中的超聲陰影、血管分叉、纖維斑塊等因素往往破壞這類(lèi)算法的假設(shè)，使得演變輪廓陷入局部最小值，造成內(nèi)膜或中-外膜的邊界存在較大的突起或凹陷。第3種是基于機(jī)器學(xué)習(xí)的方法，其主要包括人工設(shè)計(jì)特征提取和分類(lèi)器優(yōu)化2個(gè)步驟。這類(lèi)方法包括支持向量機(jī)(SVM)[7]，AdaBoost[8]，糾錯(cuò)輸出編碼(ECOC)[9]和使用手工特征的淺層人工神經(jīng)網(wǎng)絡(luò)(ANN)[10]。雖然這些方法取得了較大成功，但是僅僅使用較底層的手工設(shè)計(jì)特征，算法的檢測(cè)精度往往受干擾因素的影響。另外，特征提取過(guò)程復(fù)雜繁瑣，導(dǎo)致其在臨床實(shí)踐中泛化能力較差、適用性較低。

與上述依賴(lài)人工設(shè)計(jì)特征的方法不同，深度卷積網(wǎng)絡(luò)(deep convolutional networks, DCN)[11-14]，特別是全卷積網(wǎng)絡(luò)(fully convolutional networks, FCN)[15]及其一系列改進(jìn)框架[16-17]，已廣泛用于各類(lèi)醫(yī)學(xué)圖像的組織分割、病灶檢測(cè)、圖像增強(qiáng)與生成等研究和應(yīng)用中[18]。DCN的主要優(yōu)點(diǎn)是從給定訓(xùn)練數(shù)據(jù)集中，端到端地自動(dòng)學(xué)習(xí)相應(yīng)任務(wù)所需的分層性和區(qū)別性特征表達(dá)。堆疊沙漏網(wǎng)絡(luò)(stacked hourglass networks, SHGN)[19]通過(guò)堆疊多個(gè)FCN學(xué)習(xí)圖像特征，其中上一級(jí)網(wǎng)絡(luò)的輸入圖像或中間特征將結(jié)合其輸出結(jié)果，作為下一級(jí)網(wǎng)絡(luò)的輸入，繼續(xù)進(jìn)一步學(xué)習(xí)，逐漸優(yōu)化區(qū)域分割。本研究構(gòu)造適用于IVUS圖像邊界檢測(cè)的SHGN分割器，堆疊兩個(gè)FCN，分別模擬檢測(cè)任務(wù)中“區(qū)域分割”和“邊界優(yōu)化”兩個(gè)過(guò)程[2]。雖然DCN在許多應(yīng)用中往往能達(dá)到較好的性能，但是其訓(xùn)練過(guò)程需要大量的標(biāo)注樣本數(shù)據(jù)。在醫(yī)學(xué)圖像處理中，通常缺乏具有標(biāo)注信息的數(shù)據(jù)資源。除了利用遷移學(xué)習(xí)方法緩解數(shù)據(jù)匱乏問(wèn)題[20]，還可通過(guò)有條件生成對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial networks, C-GAN)[21-22]的對(duì)抗學(xué)習(xí)，為網(wǎng)絡(luò)優(yōu)化過(guò)程提供具有正則化作用的對(duì)抗損失，減少所需標(biāo)注樣本數(shù)據(jù)的數(shù)量，使得圖像分割網(wǎng)絡(luò)有著較好的泛化能力[23]。

本研究提出一種結(jié)合堆疊沙漏網(wǎng)絡(luò)SHGN和有條件生成對(duì)抗網(wǎng)絡(luò)C-GAN的IVUS圖像內(nèi)膜和中-外膜邊界檢測(cè)方法C-ivusGAN-SHGN。首先采用有效的數(shù)據(jù)擴(kuò)充方法，增加訓(xùn)練數(shù)據(jù)集中IVUS圖像的樣本量；然后訓(xùn)練C-ivusGAN-SHGN, 將IVUS圖像分割為3種不同區(qū)域：血管外周組織、斑塊區(qū)域和內(nèi)腔區(qū)域；最后利用閾值處理方法，檢測(cè)IVUS圖像內(nèi)膜和中-外膜邊界。本文研究采用現(xiàn)有的國(guó)際標(biāo)準(zhǔn)IVUS圖像數(shù)據(jù)集(10位病人435幅)，計(jì)算面積交并比(Jaccard measure, JM)、面積差異百分比(percentage of area difference, PAD)、Hausdorff 距離(Hausdorff distance, HD)和平均距離(average distance, AD)指標(biāo)分?jǐn)?shù)，對(duì)所提出方法進(jìn)行定量分析，證明其性能優(yōu)于現(xiàn)有、近年較好的8種算法[24]和基于堆疊稀疏自編碼器的深度學(xué)習(xí)算法[10]，以及Pix2Pix模型[25]。

1 方法

本研究算法流程如圖1所示，其主要過(guò)程包括：

1) 圖像數(shù)據(jù)擴(kuò)充。將用于網(wǎng)絡(luò)訓(xùn)練的IVUS圖像數(shù)據(jù)及其對(duì)應(yīng)的臨床醫(yī)生手動(dòng)標(biāo)注信息進(jìn)行數(shù)據(jù)擴(kuò)充，目的緩解C-ivusGAN-SHGN訓(xùn)練階段時(shí)生成器和判別器的學(xué)習(xí)過(guò)擬合問(wèn)題。

2) 組織區(qū)域分割。利用經(jīng)過(guò)對(duì)抗學(xué)習(xí)的C-ivusGAN-SHGN模型，將測(cè)試待分割I(lǐng)VUS圖像劃分為3種不同組織區(qū)域：血管外周組織、斑塊區(qū)域和內(nèi)腔區(qū)域。

3) 中-外膜MA和內(nèi)膜LU邊界檢測(cè)。在C-ivusGAN-SHGN分割結(jié)果上，采用閾值處理，獲取內(nèi)膜與中-外膜邊界。在圖1中，實(shí)線(xiàn)箭頭表示訓(xùn)練階段，虛線(xiàn)箭頭表示測(cè)試階段。

圖1 本算法框圖Fig.1 The flowchart of the algorithm in this paper

1.1 IVUS圖像數(shù)據(jù)擴(kuò)充

為了降低過(guò)擬合的影響，首先對(duì)IVUS圖像進(jìn)行數(shù)據(jù)擴(kuò)充。采用的數(shù)據(jù)擴(kuò)充方法[26]如下：

1) 旋轉(zhuǎn)變換。將IVUS圖像及其對(duì)應(yīng)標(biāo)注信息朝逆時(shí)針?lè)较蛎扛?0°旋轉(zhuǎn)一次，旋轉(zhuǎn)35次后獲得35倍增量數(shù)據(jù)。

2) Gamma變換。將IVUS圖像進(jìn)行灰度拉伸，Gamma因子取值范圍是{0.5, 0.6, 0.7, 0.8, 0.9, 1.1, 1.2, 1.3, 1.4, 1.5}，可獲得10倍數(shù)據(jù)。

3) 翻轉(zhuǎn)處理。將IVUS圖像和標(biāo)注信息進(jìn)行上下和左右鏡像翻轉(zhuǎn)操作，可獲得2倍數(shù)據(jù)。

4) 尺度變換。將IVUS圖像首先進(jìn)行縮放處理，然后進(jìn)行零值填充以恢復(fù)到原始空間大小，縮放因子取值范圍是{0.50, 0.55, 0.60, 0.65, 0.70, 0.75, 0.80, 0.85, 0.90, 0.95}，可獲得10倍數(shù)據(jù)。因此，進(jìn)行IVUS圖像數(shù)據(jù)擴(kuò)充，可增加57倍數(shù)據(jù)量。

上述4種擴(kuò)充方法由Matlab的相關(guān)內(nèi)置函數(shù)實(shí)現(xiàn)。

1.2 IVUS圖像區(qū)域定義

為了準(zhǔn)確地描述IVUS圖像內(nèi)容，根據(jù)血管組織解剖結(jié)構(gòu)以及成像特點(diǎn)，將IVUS圖像分為3個(gè)主要區(qū)域，如圖2所示。圖2(a)為IVUS圖像，圖2(b)中黑色區(qū)域定義為血管外周組織；灰色區(qū)域定義為斑塊區(qū)域，即各種易損斑塊存在的區(qū)域，其邊界為中-外膜MA；白色區(qū)域定義為內(nèi)腔區(qū)域，即血液流動(dòng)的區(qū)域，其邊界為內(nèi)膜LU。

圖2 IVUS區(qū)域定義。(a) IVUS圖像；(b) 區(qū)域定義Fig.2 The region definition of IVUS image. (a) IVUS image; (b) Region definition

1.3 C-ivusGAN-SHGN網(wǎng)絡(luò)框架

目前，基于學(xué)習(xí)的兩種生成模型分別是變分自編碼器(variational autoencoder, VAE)[27]和生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks, GAN)[21]，其廣泛用于圖像生成。前者由用戶(hù)指定圖像的概率密度函數(shù)，具有顯式的分布；后者適用于不具備顯式函數(shù)分布的圖像數(shù)據(jù)。GAN由生成器和判別器兩個(gè)網(wǎng)絡(luò)構(gòu)成。生成器用于生成逼真的自然或醫(yī)學(xué)圖像數(shù)據(jù)，包括組織分割的圖像；而判別器通過(guò)目標(biāo)函數(shù)鑒別所生成圖像是否逼近真實(shí)數(shù)據(jù)，改善生成圖像的質(zhì)量。早期GAN模型為無(wú)條件型，即將從某概率分布中采樣獲得的隨機(jī)噪聲(用于生成圖像)和從給定真實(shí)圖像數(shù)據(jù)集中抽取的某一樣本作為網(wǎng)絡(luò)輸入。通過(guò)對(duì)抗訓(xùn)練，網(wǎng)絡(luò)可擬合給定真實(shí)圖像數(shù)據(jù)集的分布，訓(xùn)練好的生成器從而生成逼真的圖像樣本。為了穩(wěn)定GAN的訓(xùn)練和生成圖像的效果，人們提出可用深度卷積網(wǎng)絡(luò)DCN[11-14]替代多層感知器，設(shè)計(jì)深度卷積生成對(duì)抗網(wǎng)絡(luò)(deep convolutional generative adversarial networks, DCGAN)[28]。但是文獻(xiàn)[22]指出，無(wú)條件型GAN難以控制生成數(shù)據(jù)風(fēng)格，需要引入額外信息即條件信息，由用戶(hù)去控制數(shù)據(jù)生成過(guò)程。這些條件信息可以是類(lèi)別標(biāo)簽、文本或者部分圖像內(nèi)容，甚至是其他模態(tài)數(shù)據(jù)。

圖3 C-ivusGAN-SHGN的結(jié)構(gòu)Fig.3 The architecture of C-ivusGAN-SHGN

總之，無(wú)條件GAN學(xué)習(xí)過(guò)程尋找隨機(jī)噪聲向量n與輸出圖像y之間的映射關(guān)系，即f∶n→y；而有條件GAN學(xué)習(xí)過(guò)程則是隨機(jī)向量n、觀測(cè)輸入圖像x(或者附加條件)與輸出圖像y之間的關(guān)系，即f∶(x,n)→y。針對(duì)IVUS圖像邊界檢測(cè)任務(wù)，本研究提出一種適用于IVUS邊界分割的有條件GAN模型，簡(jiǎn)稱(chēng)C-ivusGAN-SHGN，如圖3所示。

首先，從訓(xùn)練數(shù)據(jù)集{xi,yi}，i=1, 2,…,N中隨機(jī)抽取圖像對(duì)，經(jīng)裁剪采樣得到IVUS圖像xi以及其分割圖yi，再輸入到C-ivusGAN-SHGN的生成器中；接著，生成器以IVUS圖像xi為條件信息，生成分割圖zi；然后，圖像對(duì)(xi,yi)和(xi,zi)被送入C-ivusGAN-SHGN的判別器中，由判別器鑒別生成器的分割效果是否接近醫(yī)生手動(dòng)分割。上述有條件GAN的目標(biāo)函數(shù)定義為

LC～GANG,D=Ex,y～pdatax,ylogDx,y+

Ex～pdataxlog1-Dx,Gx

(1)

式中，分割生成器會(huì)最小化目標(biāo)函數(shù)，而對(duì)抗判別器將最大化目標(biāo)函數(shù)。

有條件GAN的目標(biāo)函數(shù)可引入重建損失函數(shù)，L1距離[25]或L2距離[29]，其將約束生成器產(chǎn)生準(zhǔn)確的分割結(jié)果zi。重建損失函數(shù)定義為

LLp(G)=Ex,y～pdatax,y‖y-Gx‖p

(2)

式中，p=1表示L1距離，而p=2表示L2距離。

結(jié)合式(1)和(2)，在C-ivusGAN-SHGN模型的學(xué)習(xí)過(guò)程中，總的損失函數(shù)改寫(xiě)為

Ltotal=αLcGAN+βLLp

(3)

式中，a、b為超參數(shù)。在實(shí)際應(yīng)用中，a超參數(shù)一般設(shè)置為1，b超參數(shù)由網(wǎng)格搜索法來(lái)確定。

1.4 C-ivusGAN-SHGN的生成器

生成器/分割器是上述C-ivusGAN-SHGN網(wǎng)絡(luò)框架的重要組成部分。在IVUS圖像邊界檢測(cè)中，生成器扮演著分割目標(biāo)區(qū)域的角色。受經(jīng)典深度卷積網(wǎng)絡(luò)SHGN[19]、DCGAN[28]、視覺(jué)幾何小組網(wǎng)絡(luò)(visual geometry group networks, VGG-Net)[12]啟發(fā)，本研究構(gòu)造一種適用于IVUS圖像邊界檢測(cè)的分割圖生成器，如圖4所示。在SHGN的設(shè)計(jì)思想上，該生成器考慮了DCGAN在生成對(duì)抗網(wǎng)絡(luò)中的設(shè)計(jì)技巧，以及VGG-Net在深度分類(lèi)網(wǎng)絡(luò)中的設(shè)計(jì)特點(diǎn)。下面分別簡(jiǎn)述SHGN、DCGAN、VGG-Net的特點(diǎn)。

圖4 生成器的結(jié)構(gòu)Fig.4 The architecture of generator

首先，本研究所提出的網(wǎng)絡(luò)基于SHGN的級(jí)聯(lián)思想，即采用兩級(jí)堆疊全卷積編碼-解碼網(wǎng)絡(luò)[30]，分別模擬IVUS圖像邊界檢測(cè)中“區(qū)域分割”和“邊界優(yōu)化”兩個(gè)過(guò)程。與本研究基于SHGN的級(jí)聯(lián)思想類(lèi)似，文獻(xiàn)[31]通過(guò)堆疊反卷積網(wǎng)絡(luò)DeconvNet，進(jìn)行街景圖像分割，文獻(xiàn)[32]直接將基于ResNet[14]的SHGN應(yīng)用于高分辨率航空?qǐng)D像分割，文獻(xiàn)[33-34]分別通過(guò)堆疊U-Net[35]和FCN[15]，對(duì)磁共振和超聲圖像進(jìn)行分割。本研究的SHGN通過(guò)堆疊沙漏網(wǎng)絡(luò)學(xué)習(xí)IVUS圖像特征，并將輸入IVUS圖像或特征引入到下一級(jí)網(wǎng)絡(luò)的學(xué)習(xí)，優(yōu)化區(qū)域分割。在圖4中，沙漏網(wǎng)絡(luò)指全卷積編碼-解碼網(wǎng)絡(luò)[30]，由1個(gè)編碼器和1個(gè)解碼器構(gòu)成。編碼器主要完成深度特征學(xué)習(xí)過(guò)程，其中第1個(gè)模塊采用Conv-leakyReLU組合，剩余14個(gè)模塊采用Conv-BN-leakyReLU組合。Conv-leakyReLU模塊適用于與輸入圖像直接連接的情況，而Conv-BN-leakyReLU模塊適用于不與輸入圖像直接連接的情況。卷積層(convolution, Conv)用于提取特征；批規(guī)范化層(batch normalization, BN)使得每一模塊中的卷積特征盡可能保持在同一分布(均值為0，方差為1)中；泄露矯正線(xiàn)性單元(leaky rectified linear unit, leakyReLU)則為網(wǎng)絡(luò)提供非線(xiàn)性，使得網(wǎng)絡(luò)可模擬任意復(fù)雜的函數(shù)。每3個(gè)模塊組成一個(gè)濾波器組，采用了VGG-Net的設(shè)計(jì)特點(diǎn)。每1個(gè)濾波器組具有相同數(shù)量的卷積核，如第1個(gè)濾波器組的卷積核數(shù)量為64，第2個(gè)濾波器組的卷積核數(shù)量為128，以此類(lèi)推。解碼器主要完成區(qū)域形狀恢復(fù)過(guò)程，其中除了最后一層僅采用1層卷積Conv輸出分割圖之外，由Conv-BN-leakyReLU和Deconv-BN兩種模塊組成。Deconv-BN模塊對(duì)特征圖進(jìn)行2倍上采樣學(xué)習(xí)，反卷積層(deconvolution, Deconv)將壓縮的深度特征放大2倍。其后緊跟著Conv-BN-leakyReLU模塊，該模塊對(duì)放大后的深度特征進(jìn)行適應(yīng)性調(diào)整學(xué)習(xí)。在圖4中，k(kernel)表示卷積核大小，f(feature map)表示輸出特征圖數(shù)量，s(stride)表示卷積核之間步長(zhǎng)，若s=1，則輸入輸出特征大小相等；若s=2，則經(jīng)卷積后輸出特征大小減半，而經(jīng)反卷積后輸出特征大小則加倍。

其次，本研究所構(gòu)造的SHGN還考慮了DCGAN在生成對(duì)抗網(wǎng)絡(luò)中的設(shè)計(jì)技巧。DCGAN在有效地訓(xùn)練深度GAN模型上提出了很多行之有效地建議。比如，在生成器中，應(yīng)使用批規(guī)范化層BN和leakyReLU激活函數(shù)，應(yīng)采用大步長(zhǎng)(s=2)的卷積層Conv替換分類(lèi)模型中的池化層，等等。在圖4中，Conv-BN-leakyReLU模塊在Conv-ReLU的基礎(chǔ)上進(jìn)行修改，其目的在于穩(wěn)定深度GAN模型的訓(xùn)練。采用步長(zhǎng)s=2的卷積計(jì)算，在模擬池化層降低特征圖分辨率的同時(shí)，減少了下采樣過(guò)程時(shí)造成的信息損失，對(duì)穩(wěn)定深度GAN模型的訓(xùn)練起著一定作用。

最后，本研究所構(gòu)造SHGN的組成模塊考慮了VGG-Net在深度分類(lèi)網(wǎng)絡(luò)中的設(shè)計(jì)特點(diǎn)。VGG-Net使用3 × 3小卷積核，一方面為了節(jié)省顯存的開(kāi)銷(xiāo)，另一方面為了抑制網(wǎng)絡(luò)的過(guò)擬合問(wèn)題。此外，VGG-Net利用濾波器組(2～3卷積層組成)替代卷積層，一方面濾波器組可實(shí)現(xiàn)較大的感受野，避免使用占用內(nèi)存較多的單層大卷積核卷積計(jì)算；另一方面濾波器組中可使用更多的非線(xiàn)性激活函數(shù)，為網(wǎng)絡(luò)提供更強(qiáng)的函數(shù)擬合能力。根據(jù)上述深度卷積網(wǎng)絡(luò)的優(yōu)點(diǎn)，本研究借鑒VGG-Net的設(shè)計(jì)，構(gòu)造一種多濾波器組(5組，每組3層卷積)編碼器。

1.5 C-ivusGAN-SHGN的判別器

在C-ivusGAN-SHGN網(wǎng)絡(luò)模型中，判別器是另一個(gè)重要組成部分，其作用是為網(wǎng)絡(luò)優(yōu)化提供對(duì)抗訓(xùn)練，鑒別生成器產(chǎn)生的分割圖zi和醫(yī)生手工分割圖yi，促使生成器生成準(zhǔn)確的分割圖。采用與AlexNet[11]和DCGAN[28]類(lèi)似的網(wǎng)絡(luò)構(gòu)架，判別器結(jié)構(gòu)由8個(gè)卷積層Conv、7個(gè)leakyReLU層、6個(gè)批規(guī)范化層BN和1個(gè)Sigmoid層組成，如圖5所示。以原始圖像、真實(shí)分割圖或生成分割圖為級(jí)聯(lián)體作為判別器輸入數(shù)據(jù)，判別器將數(shù)據(jù)維數(shù)[256, 256, 2]壓縮編碼成[4, 4, 1]，再經(jīng)過(guò)Sigmoid映射為概率向量。在Pix2Pix[25]模型的判別器基礎(chǔ)之上，本研究加深判別器的網(wǎng)絡(luò)深度。將判別器由PatchGAN修改為ImageGAN的原因：一是在C-ivusGAN-SHGN中使用了更復(fù)雜更深層的生成器；二是不同于自然圖像生成中要求圖像含有豐富的色彩、紋理等方面的逼真性和多樣性，IVUS圖像的語(yǔ)義標(biāo)簽圖像生成要求圖像在全局上應(yīng)與臨床醫(yī)生手動(dòng)勾畫(huà)的分割圖像盡可能相似。

1.6 C-ivusGAN-SHGN的訓(xùn)練

本研究的相關(guān)實(shí)驗(yàn)在TensorFlow機(jī)器智能開(kāi)源軟件框架[36]上實(shí)現(xiàn)。網(wǎng)絡(luò)優(yōu)化算法采用Adam優(yōu)化器[37]。網(wǎng)絡(luò)超參數(shù)設(shè)為：總訓(xùn)練輪數(shù)epoch為200，其中本文第2.3節(jié)的epoch設(shè)置為20，批量大小batchsize為1，原始圖像大小為384像素×384像素，裁剪圖像大小cropsize為256像素×256像素。在Adam優(yōu)化器中，學(xué)習(xí)率設(shè)定為0.000 2，b1動(dòng)量超參數(shù)設(shè)定為0.5。在式(3)中，a超參數(shù)設(shè)置為1，b超參數(shù)設(shè)置為100。在編碼器、解碼器和判別器中，所有l(wèi)eakyReLU激活函數(shù)的負(fù)斜率設(shè)為0.2。

圖5 判別器的結(jié)構(gòu)Fig.5 The architecture of discriminator

1.7 實(shí)驗(yàn)材料

以Simone Balocco等所建立的國(guó)際標(biāo)準(zhǔn)IVUS數(shù)據(jù)集為主要實(shí)驗(yàn)對(duì)象[24]。該IVUS數(shù)據(jù)集來(lái)自10位病人冠狀動(dòng)脈序列的435幅圖像數(shù)據(jù)，成像系統(tǒng)為Si5(Volcano公司)，探頭為20 MHz電子相控陣式。數(shù)據(jù)涵蓋大多數(shù)可能出現(xiàn)的血管形態(tài)，比如分叉、斑塊、聲影、探頭貼近導(dǎo)管等。在本文第2.1和2.2節(jié)中，訓(xùn)練集從數(shù)據(jù)集中隨機(jī)抽取80%，剩余20%數(shù)據(jù)作為測(cè)試集，獲得5組不同數(shù)據(jù)組合，用于交叉驗(yàn)證評(píng)估。在本文第2.3和2.4節(jié)中，為了更公平地與已有算法比較，訓(xùn)練集從標(biāo)準(zhǔn)數(shù)據(jù)集中隨機(jī)抽取217幅IVUS圖像，剩余218幅圖像作為測(cè)試集。另外，從廣州軍區(qū)廣州總醫(yī)院收集100幅臨床實(shí)踐的IVUS圖像數(shù)據(jù)，由已訓(xùn)練網(wǎng)絡(luò)(生成器)完成相應(yīng)的自動(dòng)標(biāo)注信息，其目的是驗(yàn)證本研究所提出網(wǎng)絡(luò)模型的跨數(shù)據(jù)集泛化能力。實(shí)驗(yàn)在Ubuntu 14.04、TensorFlow 1.0.0、MATLAB R2016a上實(shí)現(xiàn)，采用NVIDIA GTX 1080 (8G VRAM) 顯卡進(jìn)行加速。

1.8 評(píng)價(jià)指標(biāo)

采用面積交并比指數(shù)JM、面積差異百分比PAD、Hausdorff距離HD和平均距離AD 4個(gè)評(píng)價(jià)指標(biāo)，評(píng)估中-外膜和內(nèi)膜邊界檢測(cè)性能[2,24]。這些評(píng)價(jià)指標(biāo)定義為

(4)

(5)

(6)

(7)

式中，下標(biāo)auto和manual分別代表算法檢測(cè)和臨床醫(yī)生手動(dòng)勾畫(huà)的邊界結(jié)果，R代表區(qū)域，A代表面積，C代表曲線(xiàn)，d(a,b)表示計(jì)算歐式距離。

2 結(jié)果

2.1 聯(lián)合損失函數(shù)影響

C-ivusGAN-SHGN的聯(lián)合損失函數(shù)定義為式(3)，由兩部分組成：一部分為重建損失，另一部分為對(duì)抗損失。文獻(xiàn)[25]和[29]分別使用了L1和L2距離作為GAN的重建損失，讓生成器的輸出結(jié)果與臨床醫(yī)生的單次勾畫(huà)結(jié)果盡可能一致。本節(jié)主要分析對(duì)抗損失式(1)和不同重建損失函數(shù)式(2)對(duì)IVUS圖像區(qū)域分割的影響。

表1 生成對(duì)抗網(wǎng)絡(luò)聯(lián)合損失函數(shù)的分析Tab.1 Analysis of joint loss function in C-ivusGAN-SHGN

注：LU表示內(nèi)膜邊界，MA表示中-外膜邊界。

Note: LU denotes Lumen and MA for Media-Adventitia.

由表1第3～6列數(shù)據(jù)比較可得，僅僅使用L1或L2重建損失，C-ivusGAN-SHGN所檢測(cè)的內(nèi)膜和中-外膜，計(jì)算8個(gè)評(píng)價(jià)指標(biāo)均不能取得最高的分?jǐn)?shù)。換言之，采用了對(duì)抗學(xué)習(xí)思想，生成器的輸出分割結(jié)果會(huì)更好。這是因?yàn)椋瑢?duì)抗損失驅(qū)使生成器的分割結(jié)果與臨床醫(yī)生在某一數(shù)據(jù)集上的不同勾畫(huà)輪廓在分布上盡可能相似。

圖6 內(nèi)膜與中-外膜的剖面線(xiàn)分析Fig.6 Analysis of LU and MA border profiles in IVUS

由表1第5、6列數(shù)據(jù)比較可得，重建損失采用L1距離適合于中-外膜MA分割與檢測(cè)，而采用L2距離則適合于內(nèi)膜LU的分割。由L1和L2損失的性質(zhì)可知，L1對(duì)異常值比較穩(wěn)健，而L2則非常敏感。如圖6所示，導(dǎo)管區(qū)域和內(nèi)腔區(qū)域可視為灰度很一致的區(qū)域，因此兩區(qū)域可合并成同一個(gè)區(qū)域A。采用L2損失對(duì)區(qū)域A進(jìn)行分割而檢測(cè)內(nèi)膜，評(píng)價(jià)指標(biāo)的分?jǐn)?shù)取得一致較高。斑塊區(qū)域與區(qū)域A在灰度上是很不一致的，如圖6所示，兩區(qū)域之間存在突變。如果斑塊區(qū)域存在鈣化斑塊，則灰度值會(huì)突變得更為劇烈。將斑塊區(qū)域和區(qū)域A合并為區(qū)域B，也就是把某一些異常值加入到區(qū)域B中，那么采用L1損失對(duì)區(qū)域B進(jìn)行分割進(jìn)而獲得中-外膜，則更為適合，各個(gè)評(píng)價(jià)指標(biāo)的分?jǐn)?shù)會(huì)較高。

如表2所示，當(dāng)超參數(shù)a=1時(shí)，超參數(shù)b由1變化到128并采用L1作為重建損失，根據(jù)統(tǒng)計(jì)評(píng)價(jià)指標(biāo)JM，可確定超參數(shù)b的最佳值。當(dāng)b=64時(shí)，C-ivusGAN-SHGN對(duì)IVUS圖像中的中-外膜檢測(cè)效果最好。當(dāng)b=32時(shí)，C-ivusGAN-SHGN對(duì)IVUS圖像中的內(nèi)膜邊界檢測(cè)效果最好。如表3所示，當(dāng)超參數(shù)a=1時(shí)，采用L2作為重建損失。當(dāng)b=64時(shí)，C-ivusGAN-SHGN對(duì)IVUS圖像中的內(nèi)膜邊界檢測(cè)效果最佳。當(dāng)b=128時(shí)，C-ivusGAN-SHGN對(duì)IVUS圖像中的中-外膜邊緣檢測(cè)效果最好。綜合表2、3可知，超參數(shù)b對(duì)分割結(jié)果影響不大；設(shè)置32～128之間可獲得比較好的邊界檢測(cè)效果。本研究后面的實(shí)驗(yàn)統(tǒng)一設(shè)置b=100。

2.2 生成器網(wǎng)絡(luò)結(jié)構(gòu)影響

C-ivusGAN-SHGN對(duì)IVUS圖像進(jìn)行分割的結(jié)果不僅取決于所采用的損失函數(shù)，而且取決于所使用生成器的網(wǎng)絡(luò)結(jié)構(gòu)。FCN、U-Net、SegNet、DeconvNet等網(wǎng)絡(luò)是經(jīng)典的語(yǔ)義圖像分割網(wǎng)絡(luò)，均可作為C-ivusGAN-SHGN中的生成器。本小節(jié)研究3種不同生成器結(jié)構(gòu)的分割效果，這些生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，其中Pix2Pix-1的生成器采用U-Net結(jié)構(gòu)[35]，而Pix2Pix-2則采用Encoder-Decoder結(jié)構(gòu)[30]。U-Net結(jié)構(gòu)的特點(diǎn)主要是解碼器重用編碼器中的底層特征，用于準(zhǔn)確恢復(fù)原始圖像的分辨率或者生成準(zhǔn)確的分割圖像。Encoder-Decoder結(jié)構(gòu)的特點(diǎn)是由編碼器和解碼器兩部分組成。本研究所采用SHGN結(jié)構(gòu)的主要特點(diǎn)：一是將Encoder-Decoder結(jié)構(gòu)視為一種沙漏單元，然后堆疊這些單元構(gòu)建生成器，設(shè)計(jì)思路基于“由粗到精”思想[10]；二是堆疊沙漏網(wǎng)絡(luò)可引入原始輸入圖像，該中間信息作為網(wǎng)絡(luò)中沙漏單元的輸入，設(shè)計(jì)思路受文獻(xiàn)[34]啟發(fā)。

表2 采用重建損失L1的影響Tab.2 Effect of L1 reconstruction loss

表3 采用重建損失L2的影響Tab.3 Effect of L2 reconstruction loss

圖7 C-ivusGAN-SHGN中3種不同的生成器網(wǎng)絡(luò)結(jié)構(gòu)。(a) U-Net; (b) Encoder-Decoder; (c) SHGNFig.7 Three architectures of generator in C-ivusGAN-SHGN.(a) U-Net; (b) Encoder-Decoder; (c) SHGN

表4的對(duì)比結(jié)果表明，采用Encoder-Decoder結(jié)構(gòu)和沒(méi)有中間信息的堆疊沙漏網(wǎng)絡(luò)(方法1)作為C-ivusGAN-SHGN中的生成器，其分割性能均稍差于基于U-Net結(jié)構(gòu)的Pix2Pix-1模型。然而，利用中間信息的堆疊沙漏網(wǎng)絡(luò)SHGN(方法2)則優(yōu)于Pix2Pix-1模型，這說(shuō)明中間信息利于沙漏單元對(duì)分割圖像和原始圖像進(jìn)行編碼和解碼，優(yōu)化中間的分割結(jié)果，獲得較好的最終分割結(jié)果。另外，所提出的堆疊沙漏網(wǎng)絡(luò)結(jié)構(gòu)更為緊湊，模型大小小于Pix2Pix-1模型。

2.3 與已有算法比較

在IVUS圖像邊界檢測(cè)任務(wù)中，文獻(xiàn)[24]綜述了8種相關(guān)算法，并且在國(guó)際標(biāo)準(zhǔn)數(shù)據(jù)集上使用統(tǒng)一評(píng)價(jià)方法，對(duì)這些算法進(jìn)行詳細(xì)比較。在這些算法中，有一些僅能檢測(cè)IVUS圖像中的某一條邊界，比如圖8(a)中的方法6只檢測(cè)中-外膜，圖8(b)中的方法2、5、7無(wú)法檢測(cè)中-外膜。另外，方法3的性能是最好的，是近年來(lái)較好的IVUS圖像分割算法之一。在國(guó)際標(biāo)準(zhǔn)數(shù)據(jù)集435幀代表性IVUS圖像上，比較所提出算法與文獻(xiàn)[24]所述算法以及基于神經(jīng)網(wǎng)絡(luò)方法[10]的性能。圖8的定量對(duì)比結(jié)果表明，本研究算法在JM、PAD、HD等3種評(píng)價(jià)指標(biāo)上均優(yōu)于文獻(xiàn)[24]所述算法和基于雙稀疏自編碼器方法[10](內(nèi)膜JM為0.919 7，中-外膜JM為0.917 1)，其所檢測(cè)的IVUS圖像內(nèi)膜和中-外膜邊界更貼近臨床醫(yī)生勾畫(huà)的標(biāo)注輪廓。本算法的分割性能主要取決于兩個(gè)因素，其一為先進(jìn)的生成器網(wǎng)絡(luò)結(jié)構(gòu)；其二為基于IVUS圖像特點(diǎn)的竭力數(shù)據(jù)擴(kuò)充方法(訓(xùn)練樣本量為217×58=12 586)。表4的對(duì)比結(jié)果表明，本研究所提出的C-ivusGAN-SHGN生成器網(wǎng)絡(luò)結(jié)構(gòu)好于文獻(xiàn)[25]采用的U-Net，將輸入圖像作為中間信息可以提升整個(gè)網(wǎng)絡(luò)的分割效果。圖8(a)中的內(nèi)膜平均JM為0.928 9，而圖8(b)中的中-外膜平均JM為0.951 4，這兩個(gè)指標(biāo)均好于表4中的相關(guān)數(shù)據(jù)。該結(jié)果表明，采用旋轉(zhuǎn)(35倍)、灰度拉伸(10倍)、翻轉(zhuǎn)(2倍)、尺度變換(10倍)共57倍數(shù)據(jù)擴(kuò)充方法，可有效地提升分割性能，降低過(guò)擬合的影響。

表4 不同生成器網(wǎng)絡(luò)結(jié)構(gòu)的影響Tab.4 Effect of different generator in C-ivusGAN-SHGN

注：E-D表示編碼器-解碼器。

Note: E-D denotes Encoder-Decoder.

圖8 本研究算法與文獻(xiàn)[24]所評(píng)價(jià)8種算法、文獻(xiàn)[10]所提出方法的分割性能比較(1～10分別為形狀驅(qū)動(dòng)、測(cè)地線(xiàn)活動(dòng)輪廓、快速步進(jìn)、三維圖搜索、三維堆疊序貫學(xué)習(xí)、HoliMAb、Bayesian、ANGIOCARE、雙稀疏自編碼器、本研究方法)。(a) 內(nèi)膜分割性能比較；(b) 中-外膜分割性能比較Fig.8 The comparison of segmentation performance between algorithms evaluated on references [10, 24] and our method(From 1 to 10, methods are shape-driven, geodesic active contours, fast-marching, 3D optimal graph search, 3D stacked sequential learning, HoliMAb, Bayesian, ANGIOCARE, double sparse auto-encoders, the proposed method). (a) Comparison of LU border segmentatinon performance; (b) Comparison of MA border segmentation performance

2.4 檢測(cè)結(jié)果的定性分析

如圖9所示，展示了正常、含鈣化斑塊、含纖維斑塊、含超聲陰影、血管分叉、血管側(cè)支6種情況的IVUS圖像內(nèi)膜和中-外膜邊界檢測(cè)實(shí)例。圖9(a)為IVUS圖像，圖9(b)為本算法的邊界檢測(cè)結(jié)果，圖9(c)為臨床醫(yī)生手動(dòng)勾畫(huà)的邊界，圖9(d)為自動(dòng)勾畫(huà)與手動(dòng)勾畫(huà)的比較。從圖9可以看到，本算法提取的兩條關(guān)鍵邊界能不受斑塊和超聲陰影影響，如圖9第2、4、8～10列。這歸因于結(jié)合重建損失和對(duì)抗損失的聯(lián)合損失函數(shù)對(duì)鈣化斑塊進(jìn)行有效的識(shí)別，尤其是L1重建損失對(duì)異常值非常魯棒。另外，本算法的檢測(cè)還不受血管分叉和側(cè)支影響，如圖9第5～7列。圖10展示了10個(gè)在廣州軍區(qū)廣州總醫(yī)院跨數(shù)據(jù)集上的檢測(cè)實(shí)例。檢測(cè)結(jié)果說(shuō)明了本方法具有較好的泛化能力。但是由于ECG門(mén)控?cái)?shù)據(jù)(見(jiàn)圖9)與非ECG門(mén)控?cái)?shù)據(jù)(見(jiàn)圖10)之間存在非常大的差異，所以本研究模型在其他數(shù)據(jù)上所能成功檢測(cè)的實(shí)例顯得較為單一，如圖10所示。更好地提升本模型的泛化能力，依賴(lài)于訓(xùn)練集和測(cè)試集是否服從較為同一的分布。這將是未來(lái)可深入研究的問(wèn)題，使得跨數(shù)據(jù)集的IVUS圖像(非ECG門(mén)控)轉(zhuǎn)換成ECG門(mén)控?cái)?shù)據(jù)，再利用C-ivusGAN-SHGN模型檢測(cè)圖像中的內(nèi)膜和中-外膜邊界。

圖9 本算法的內(nèi)膜與中-外膜邊界檢測(cè)結(jié)果。(a) IVUS圖像；(b) 算法自動(dòng)勾畫(huà)結(jié)果；(c) 臨床醫(yī)生手動(dòng)勾畫(huà)結(jié)果；(d) 自動(dòng)方法和手動(dòng)方法的比較Fig.9 Lumen and media-adventitia border detection results of the algorithm in this paper. (a) IVUS images; (b) Results from our method; (c) Results from manual method; (d) Comparisons between automatic and manual methods

圖10 跨數(shù)據(jù)集檢測(cè)實(shí)例Fig.10 Border detection examples from cross-dataset

3 討論

有條件生成對(duì)抗網(wǎng)絡(luò)，不但具有表征學(xué)習(xí)能力，而且可通過(guò)對(duì)抗學(xué)習(xí)緩解過(guò)擬合問(wèn)題。通過(guò)編碼網(wǎng)絡(luò)組合不同層次的特征，然后形成高層抽象特征，最后利用解碼網(wǎng)絡(luò)生成所需要的自然圖像RGB圖、醫(yī)學(xué)圖像分割圖等。這種自動(dòng)學(xué)習(xí)的深度特征相對(duì)于傳統(tǒng)的手工設(shè)計(jì)特征而言，在概念表達(dá)方面具有較強(qiáng)的魯棒性和較復(fù)雜的抽象性。然而，深度學(xué)習(xí)算法普遍需要規(guī)模較大的訓(xùn)練數(shù)據(jù)集，否則神經(jīng)網(wǎng)絡(luò)訓(xùn)練會(huì)受到過(guò)擬合問(wèn)題影響。在不同的圖像領(lǐng)域中，數(shù)據(jù)采集與標(biāo)注的難度顯然不盡相同，采集醫(yī)學(xué)超聲圖像和手工勾畫(huà)圖像中的感興趣組織要求經(jīng)驗(yàn)豐富的醫(yī)生。因此，在醫(yī)學(xué)圖像分析中，訓(xùn)練數(shù)據(jù)集規(guī)模會(huì)限制深度網(wǎng)絡(luò)性能。

利用對(duì)抗學(xué)習(xí)的正則化特性，緩解深度網(wǎng)絡(luò)在小數(shù)據(jù)集上的過(guò)擬合問(wèn)題，是應(yīng)用深度網(wǎng)絡(luò)在數(shù)據(jù)量不足的醫(yī)學(xué)圖像訓(xùn)練集上進(jìn)行訓(xùn)練優(yōu)化的有效方式。因此，本研究結(jié)合對(duì)抗學(xué)習(xí)和數(shù)據(jù)擴(kuò)充的方式來(lái)綜合改善深度全卷積網(wǎng)絡(luò)分割性能。另外，針對(duì)IVUS圖像邊界檢測(cè)的特點(diǎn)，本研究進(jìn)一步設(shè)計(jì)基于VGG-Net和DCGAN的堆疊沙漏網(wǎng)絡(luò)SHGN。實(shí)驗(yàn)量化的結(jié)果表明，本研究提出的C-ivusGAN-SHGN模型有效、魯棒和精確地檢測(cè)出IVUS圖像中的中-外膜和內(nèi)膜，其分割精度優(yōu)于8種在國(guó)際標(biāo)準(zhǔn)數(shù)據(jù)集上評(píng)估的傳統(tǒng)方法和1種基于雙稀疏自編碼器的深度學(xué)習(xí)方法。另外，本研究驗(yàn)證了所提出生成器的有效性。在重建損失上，本研究通過(guò)實(shí)驗(yàn)說(shuō)明，L1距離適合于檢測(cè)中-外膜邊界，L2距離適合于內(nèi)膜邊界的檢測(cè)。然而，本研究仍然存在一些不足之處。首先，所采用的國(guó)際標(biāo)準(zhǔn)IVUS圖像數(shù)據(jù)集規(guī)模較小(435幅)，雖然在一定程度上可以反映本研究所提出C-ivusGAN-SHGN模型的分割性能，但使用規(guī)模更大的數(shù)據(jù)集將更具說(shuō)明性，這是以后所需改進(jìn)的地方之一。其次，該數(shù)據(jù)集的采集環(huán)境存在ECG心電門(mén)控。因此，其數(shù)據(jù)分布與廣州軍區(qū)廣州總醫(yī)院所采集到的臨床實(shí)踐中非ECG心電門(mén)控IVUS圖像數(shù)據(jù)分布存在較大的不一致性。在2.3.4節(jié)，雖然通過(guò)跨數(shù)據(jù)集驗(yàn)證說(shuō)明本研究所提出模型具有較好的泛化性能，但是應(yīng)用已訓(xùn)練模型對(duì)測(cè)試圖像進(jìn)行分割，其成功檢測(cè)率僅為60%，依然存在提升的空間。在未來(lái)的研究中，可以通過(guò)給訓(xùn)練集加入非ECG心電門(mén)控IVUS圖像或通過(guò)領(lǐng)域適配/遷移學(xué)習(xí)算法來(lái)提升深度網(wǎng)絡(luò)識(shí)別的跨數(shù)據(jù)集泛化性能。另外，本研究所提出網(wǎng)絡(luò)C-ivusGAN-SHGN在IVUS上的潛在應(yīng)用包括斑塊鈣化灶的分割[38]和易損斑塊的識(shí)別[39-40]。

4 結(jié)論

本研究提出一種結(jié)合堆疊沙漏網(wǎng)絡(luò)SHGN和有條件生成對(duì)抗網(wǎng)絡(luò)C-GAN的IVUS圖像內(nèi)膜和中-外膜邊界檢測(cè)改進(jìn)方法。首先利用對(duì)抗訓(xùn)練和C-GAN，學(xué)習(xí)以超聲圖像為約束條件，輸出其分割圖像的映射關(guān)系，將IVUS圖像分割為三大不同區(qū)域：血管外周組織、斑塊區(qū)域和內(nèi)腔區(qū)域；然后在分割結(jié)果基礎(chǔ)上，利用閾值處理檢測(cè)最終的內(nèi)膜與中-外膜邊界。相比文獻(xiàn)[24]所述8種算法和基于雙稀疏自編碼器方法[10]，本算法性能更具有優(yōu)勢(shì)。相比文獻(xiàn)[25]的Pix2Pix模型，本算法C-ivusGAN-SHGN采用堆疊沙漏網(wǎng)絡(luò)作為生成器，具有結(jié)構(gòu)緊湊、參數(shù)較少的特點(diǎn)，其性能好于基于U-Net的Pix2Pix模型。由于本研究采用的訓(xùn)練數(shù)據(jù)為ECG門(mén)控IVUS圖像，所以算法在非ECG門(mén)控IVUS圖像上的檢測(cè)結(jié)果較為單一，這將是未來(lái)需要克服的問(wèn)題。