基于對(duì)抗學(xué)習(xí)的醫(yī)學(xué)圖像分割領(lǐng)域自適應(yīng)研究

摘要：為了解決跨領(lǐng)域醫(yī)學(xué)圖像分析中不匹配的問(wèn)題，提出了一種基于對(duì)抗學(xué)習(xí)的無(wú)監(jiān)督領(lǐng)域自適應(yīng)框架（UAL-DAF）。具體而言，該框架通過(guò)外觀轉(zhuǎn)移模塊（ATM）和結(jié)合條件生成對(duì)抗網(wǎng)絡(luò)的語(yǔ)義轉(zhuǎn)移模塊（STM）分別縮小了跨領(lǐng)域醫(yī)學(xué)圖像外觀和語(yǔ)義層次的差異。最后，在具有挑戰(zhàn)性的醫(yī)學(xué)圖像分割實(shí)驗(yàn)中，結(jié)果顯著優(yōu)于已有方法。因此，該框架能夠提取領(lǐng)域自適應(yīng)知識(shí)的外觀和語(yǔ)義層次信息，實(shí)現(xiàn)領(lǐng)域知識(shí)的協(xié)同融合。

關(guān)鍵詞：醫(yī)學(xué)圖像分割；無(wú)監(jiān)督領(lǐng)域自適應(yīng)；條件生成對(duì)抗網(wǎng)絡(luò)；深度學(xué)習(xí)；領(lǐng)域知識(shí)的協(xié)同融合

中圖分類號(hào)：TP391.41文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2022）04-053-1270-04

doi：10.19734/j.issn.1001-3695.2021.07.0334

Research on domain adaptation medical image segmentation based on adversarial learning

Wang Shaofan1，2，Ma Chi1，2，Hu Hui2，Lu Shengliang1，2

（1.School of Computer amp; Software Engineering，University of Science amp; Technology Liaoning，Anshan Liaoning 114051，China；2.School of Computer Science amp; Engineering，Huizhou University，Huizhou Guangdong 516007，China）

Abstract：In order to solve the problem of mismatch in cross-domain medical image analysis，this paper proposed an UAL-DAF.Specifically，the framework used the ATM and the STM that combined conditional generative adversarial networks to reduce the differences in the appearance and semantic levels of cross-domain medical images，respectively.Finally，in the challenging medical image segmentation，the results are significantly better than existing methods.Therefore，the framework can extract the appearance and semantic level information of domain adaptation knowledge，and realize the collaborative integration of domain knowledge.

Key words：medical image segmentation；unsupervised domain adaptation；conditional generation adversarial networks；deep learning；collaborative integration of domain knowledge

深度神經(jīng)網(wǎng)絡(luò)在許多計(jì)算機(jī)視覺(jué)任務(wù)中都取得了巨大的進(jìn)步［1］。目前，絕大多數(shù)技術(shù)應(yīng)用的假設(shè)前提為訓(xùn)練和測(cè)試數(shù)據(jù)集來(lái)自同一概率分布，而在實(shí)際應(yīng)用場(chǎng)景（如醫(yī)學(xué)圖像分析）中很難建立具有這種假設(shè)的數(shù)據(jù)集并且需要高昂的成本，這使得訓(xùn)練良好的識(shí)別和檢測(cè)模型在應(yīng)用中表現(xiàn)不理想。例如，對(duì)醫(yī)學(xué)分析圖像進(jìn)行像素級(jí)標(biāo)注以建立語(yǔ)義分割數(shù)據(jù)集，這種方式需要人力物力以及醫(yī)學(xué)領(lǐng)域的專業(yè)知識(shí)［2］。由于存在不同的外觀和模態(tài)，無(wú)法將磁共振（magnetic resonance，MR）圖像中學(xué)習(xí)到的知識(shí)應(yīng)用到計(jì)算機(jī)斷層掃描（computed tomography，CT）圖像。為了解決標(biāo)記良好的源領(lǐng)域和未標(biāo)記的目標(biāo)領(lǐng)域數(shù)據(jù)分布不同的問(wèn)題，Dong等人［3］和Luo等人［4］采用在跨領(lǐng)域醫(yī)學(xué)圖像分析中最近熱門的領(lǐng)域自適應(yīng)模型，該模型可以實(shí)現(xiàn)不同領(lǐng)域知識(shí)的自適應(yīng)，從而在目標(biāo)領(lǐng)域中取得更好的預(yù)測(cè)效果?，F(xiàn)有的無(wú)監(jiān)督領(lǐng)域自適應(yīng)模型大多數(shù)通過(guò)最大平均差異［5，6］或相關(guān)距離［7］來(lái)學(xué)習(xí)領(lǐng)域不變性。Liu等人［8］提出一個(gè)共享潛在空間的假設(shè)，并提出了一個(gè)基于耦合生成對(duì)抗網(wǎng)絡(luò)的無(wú)監(jiān)督圖像到圖像轉(zhuǎn)換框架來(lái)學(xué)習(xí)不同領(lǐng)域圖像的聯(lián)合分布。Xia等人［9］提出了一種不確定性感知的多視圖協(xié)同訓(xùn)練的統(tǒng)一框架，用于解決醫(yī)學(xué)圖像的分割任務(wù)，該框架能夠有效利用未標(biāo)記的數(shù)據(jù)。然而，這項(xiàng)工作是在半監(jiān)督的情況下對(duì)醫(yī)學(xué)圖像進(jìn)行分割。Dou等人［10］從特征級(jí)自適應(yīng)和像素級(jí)自適應(yīng)兩方面進(jìn)行考慮，通過(guò)對(duì)抗學(xué)習(xí)來(lái)實(shí)現(xiàn)醫(yī)學(xué)圖像分割任務(wù)的無(wú)監(jiān)督領(lǐng)域自適應(yīng)。然而，通過(guò)該方法領(lǐng)域不變的外觀和語(yǔ)義知識(shí)并不能被充分提取。

與上述模型不同，本文從外觀和語(yǔ)義的角度來(lái)對(duì)醫(yī)學(xué)圖像領(lǐng)域的適應(yīng)性進(jìn)行考慮。首先，通過(guò)學(xué)習(xí)跨領(lǐng)域不變知識(shí)的外觀表示縮小源領(lǐng)域和目標(biāo)領(lǐng)域的外觀差異，其中使用目標(biāo)領(lǐng)域的風(fēng)格表示保留和重組源領(lǐng)域中的圖像；之后，為了縮小源領(lǐng)域和目標(biāo)領(lǐng)域的語(yǔ)義差異，通過(guò)條件生成對(duì)抗網(wǎng)絡(luò)［11］學(xué)習(xí)跨領(lǐng)域不變知識(shí)的語(yǔ)義表示；最后，協(xié)同融合外觀和語(yǔ)義層次的知識(shí)，從而獲得源領(lǐng)域和目標(biāo)領(lǐng)域之間的領(lǐng)域不變知識(shí)。

1基于對(duì)抗學(xué)習(xí)的無(wú)監(jiān)督領(lǐng)域自適應(yīng)框架設(shè)計(jì)

通過(guò)縮小跨領(lǐng)域的分布差異，以提高未標(biāo)記目標(biāo)領(lǐng)域的泛化性能。為實(shí)現(xiàn)這一目標(biāo)，本文提出了一種基于對(duì)抗學(xué)習(xí)的無(wú)監(jiān)督領(lǐng)域自適應(yīng)框架（UAL-DAF），本章詳細(xì)介紹了該框架和網(wǎng)絡(luò)體系結(jié)構(gòu)，如圖1所示，該框架主要由外觀轉(zhuǎn)移模塊（ATM）和語(yǔ)義轉(zhuǎn)移模塊（STM）兩部分組成。其中，第一部分為能夠減小跨領(lǐng)域醫(yī)學(xué)圖像外觀差異的外觀轉(zhuǎn)移模塊，用于實(shí)現(xiàn)從源領(lǐng)域到目標(biāo)領(lǐng)域的外觀轉(zhuǎn)換；第二部分為能夠縮小跨領(lǐng)域醫(yī)學(xué)圖像語(yǔ)義差異的語(yǔ)義轉(zhuǎn)移模塊，用于學(xué)習(xí)不同領(lǐng)域的語(yǔ)義表示并且協(xié)同融合外觀和語(yǔ)義層次的知識(shí)，從而實(shí)現(xiàn)源領(lǐng)域和目標(biāo)領(lǐng)域的領(lǐng)域自適應(yīng)。

1.1外觀轉(zhuǎn)移模塊

該模塊通過(guò)損失網(wǎng)絡(luò)對(duì)源領(lǐng)域和目標(biāo)領(lǐng)域進(jìn)行征提取，在高級(jí)特征層獲取源領(lǐng)域的語(yǔ)義特征，作為源領(lǐng)域的內(nèi)容表達(dá)；在低級(jí)特征層（邊緣、紋理、色度等信息）中定義了不同特征通道之間的全局相關(guān)性矩陣（gram matrix）［12］，作為目標(biāo)領(lǐng)域的風(fēng)格表達(dá)；之后通過(guò)梯度優(yōu)化圖像轉(zhuǎn)換網(wǎng)絡(luò)生成源領(lǐng)域自適應(yīng)樣本。

如圖2所示，圖像轉(zhuǎn)換網(wǎng)絡(luò)使用深度卷積神經(jīng)網(wǎng)絡(luò)（deep onvolutional neural networks，CNN），損失網(wǎng)絡(luò)部分使用預(yù)訓(xùn)練的ResNet-50［13］作為基本的深度卷積神經(jīng)網(wǎng)絡(luò)，源領(lǐng)域和目標(biāo)領(lǐng)域分別表示為{xsi，ysi}Nsi=1和{xtj}Ntj=1，其中xsi和xtj分別表示源領(lǐng)域和目標(biāo)領(lǐng)域圖像，ysi表示源領(lǐng)域圖像xsi的標(biāo)注，Ns和Nt表示源領(lǐng)域和目標(biāo)領(lǐng)域圖像數(shù)量。由于不同深度的卷積層獲取圖像信息的程度不同，即高級(jí)別的語(yǔ)義知識(shí)需要通過(guò)更深層的卷積層獲得［12］。所以，給不同深度的卷積層設(shè)置相應(yīng)的權(quán)重，從而更好地獲取源領(lǐng)域圖像xsi中的語(yǔ)義信息，如式（1）所示。

minsi∑l∈L1φl(shuí)s‖F(xiàn)^sil-Fsil‖2（1）

其中：預(yù)訓(xùn)練的CNN最后三個(gè)卷積層表示為L(zhǎng)1；{φl(shuí)s}l∈L1為相應(yīng)的權(quán)重，分別設(shè)置為1.0×10-3、1.0×10-2、1.0×10-1；F^sil和Fsil分別表示源領(lǐng)域自適應(yīng)樣本si和源領(lǐng)域圖像xsi的第l層卷積層對(duì)應(yīng)的特征圖。

源領(lǐng)域外觀自適應(yīng)樣本si通過(guò)最小化式（1）獲取xsi中的高級(jí)語(yǔ)義。此外，將特征圖不同通道之間的全局相關(guān)性矩陣作為目標(biāo)領(lǐng)域的風(fēng)格表達(dá)，如式（2）所示。

Qtjl=Rtjl（Rtjl）TRtjl∈

Cl×（Hl×Wl）（2）

其中：Qtjl為目標(biāo)領(lǐng)域圖像xtj的第l層卷積層上的樣式；Cl、Hl、Wl分別為特征圖通道的數(shù)量以及高度和寬度。

同理，通過(guò)式（2）和獲得的源領(lǐng)域外觀自適應(yīng)樣本si的特征圖，可以計(jì)算第l層卷積層中的樣式Q^sil。為了獲取整個(gè)目標(biāo)領(lǐng)域樣式的描述，平均所有目標(biāo)樣本的{Qtjl}Ntj=1表示為tl，使源領(lǐng)域外觀自適應(yīng)樣本si具有目標(biāo)領(lǐng)域的風(fēng)格，如式（3）所示。

minsi∑l∈L2φl(shuí)t‖Q^sil-tl‖2（3）

其中：預(yù)訓(xùn)練的CNN前兩個(gè)卷積層表示為L(zhǎng)2；{φl(shuí)t}l∈L2是相應(yīng)的權(quán)重，分別設(shè)置為1.0×10-7、1.0×10-6。

綜上所述，用于外觀轉(zhuǎn)移模塊（ATM）的優(yōu)化函數(shù)LATM，如式（4）所示。

minsi LATM=∑l∈L1φl(shuí)s‖F(xiàn)^sil-Fsil‖2+λ∑l∈L2φl(shuí)t‖Q^sil-tl‖2（4）

其中：λ為平衡系數(shù)。為了加快優(yōu)化速度，受文獻(xiàn)［14］啟發(fā)引入圖像轉(zhuǎn)換網(wǎng)絡(luò)，通過(guò)式（4）梯度優(yōu)化圖像轉(zhuǎn)換網(wǎng)絡(luò)，獲得能夠生成源領(lǐng)域外觀自適應(yīng)圖像si的網(wǎng)絡(luò)。

1.2語(yǔ)義轉(zhuǎn)移模塊

為了進(jìn)一步在語(yǔ)義層次縮小領(lǐng)域差異，本文以條件生成對(duì)抗網(wǎng)絡(luò)為框架，設(shè)計(jì)了一個(gè)語(yǔ)義轉(zhuǎn)移模塊來(lái)實(shí)現(xiàn)跨領(lǐng)域的語(yǔ)義知識(shí)自適應(yīng)。該模塊不同于通常的生成對(duì)抗網(wǎng)絡(luò)［15］，將噪聲矢量作為輸入，同時(shí)把源領(lǐng)域自適應(yīng)樣本si作為額外的輔助信息用于構(gòu)建生成器G（·）。如圖1所示，生成器G（·）由特征提取器E（·）和條件生成器G^（·）組成，將源領(lǐng)域自適應(yīng)樣本si的特征映射M^si和噪聲映射G^（si，z）轉(zhuǎn)換為源領(lǐng)域自適應(yīng)語(yǔ)義表示Hsi，如式（5）所示。

G（si，z）=M^si+G^（si，z）（5）

其中：z為噪聲矢量；M^si=E（si）。具體而言，M^si=E（si）表示將源領(lǐng)域自適應(yīng)樣本si傳入特征提取器E（·），生成源領(lǐng)域自適應(yīng)樣本si的特征映射M^si。其中，特征提取器E（·）類似于外觀轉(zhuǎn)移模塊的損失網(wǎng)絡(luò)。為了提高條件生成器G^（·）的魯棒性，對(duì)底部卷積層的特征進(jìn)行噪聲圖增強(qiáng)，以輸出噪聲映射G^（si，z）。其中，G^（·）包含一個(gè)卷積核大小為3×3的卷積層以擴(kuò)大特征維度，L個(gè)殘差塊以獲取領(lǐng)域的不變表示。所有殘差塊共享相同的網(wǎng)絡(luò)架構(gòu)，包含兩個(gè)卷積核大小為3×3的卷積層，一個(gè)批量標(biāo)準(zhǔn)化（batch normalization）操作和一個(gè)ReLU激活函數(shù)。

語(yǔ)義轉(zhuǎn)移模塊將源領(lǐng)域自適應(yīng)樣本si的語(yǔ)義信息保留到Hsi中，同時(shí)使其具有目標(biāo)領(lǐng)域的外觀特征；之后，將Hsi和目標(biāo)領(lǐng)域的特征圖傳入到鑒別器D（·）。生成器G（·）生成能夠欺騙鑒別器D（·）的生成圖片，鑒別器D（·）則能夠鑒別出生成圖片的真假。這部分的優(yōu)化函數(shù)LGAN可以看做一個(gè)極小極大的動(dòng)態(tài)優(yōu)化問(wèn)題，如式（6）所示。

minθGmaxθDLGAN=Extj［logaD（E（xtj））］+Esi，z［loga（1-D（G（si，z）））］（6）

其中：θG和θD分別為生成器G（·）和鑒別器D（·）的網(wǎng)絡(luò)參數(shù)。D（·）由五個(gè)卷積塊組成，其通道數(shù)為{512、256、256、128、1}，除最后一個(gè)卷積塊由sigmoid函數(shù)激活外，其他卷積塊均由ReLU函數(shù)激活。此外，為了在完全監(jiān)督的方式下對(duì)醫(yī)學(xué)病變圖像進(jìn)行語(yǔ)義分割，將Hsi傳入像素分類器C（·）。這部分的優(yōu)化函數(shù)LSEG如式（7）所示。

minθCLSEG=Exsi，ysi［I（C（Hsi），ysi）+Z（C（Hsi），ysi）］（7）

其中：θC為像素分類器C（·）的網(wǎng)絡(luò)參數(shù)；I（·）表示交叉熵?fù)p失；Z（·）表示用于解決醫(yī)學(xué)圖像分割中類不平衡問(wèn)題的Dice損失函數(shù)［16］。其中，像素分類器C（·）包含三個(gè)卷積核大小為1×1的卷積層，一個(gè)上采樣操作。

綜上所述，語(yǔ)義轉(zhuǎn)移模塊的優(yōu)化函數(shù)LSTM如式（8）所示。

minθG，θCmaxθDLSTM=LSEG+μLGAN（8）

其中：μ為平衡系數(shù)。

1.3優(yōu)化流程

算法1基于對(duì)抗學(xué)習(xí)無(wú)監(jiān)督領(lǐng)域自適應(yīng)框架優(yōu)化過(guò)程

輸入：源領(lǐng)域圖像及標(biāo)簽{xsi，ysi}Nsi=1和目標(biāo)領(lǐng)域圖像{xtj}Ntj=1。

輸出：優(yōu)化后的圖像轉(zhuǎn)換網(wǎng)絡(luò)、生成器G（·）、像素分類器C（·）、鑒別器D（·）。

a）初始化該框架的網(wǎng)絡(luò)參數(shù)；

b）通過(guò)式（4）優(yōu)化外觀轉(zhuǎn)移模塊來(lái)更新圖像轉(zhuǎn)換網(wǎng)絡(luò)獲得源領(lǐng)域自適應(yīng)樣本si；

c）獲得源領(lǐng)域自適應(yīng)樣本集{si}Nsi=1；

d）將源領(lǐng)域自適應(yīng)樣本集{si}Nsi=1和目標(biāo)領(lǐng)域{xtj}Ntj=1輸入到語(yǔ)義轉(zhuǎn)移模塊；

e）通過(guò)式（7）來(lái)更新生成器G（·）和像素分類器C（·）的網(wǎng)絡(luò)參數(shù)；

f）通過(guò)式（6）來(lái)更新生成器G（·）和鑒別器D（·）的網(wǎng)絡(luò)參數(shù)。

2實(shí)驗(yàn)內(nèi)容

為了驗(yàn)證本文框架的有效性，本章將該框架與幾種最先進(jìn)的方法（UDA-ELS［3］、SIFA［17］、CyCADA［18］）進(jìn)行廣泛的比較實(shí)驗(yàn)。此外，本文框架通過(guò)版本為1.10.0的TensorFlow實(shí)現(xiàn)，在一個(gè)內(nèi)存為12 GB的NVIDIA TITAN V GPU上進(jìn)行訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練的批量大小為8。

2.1實(shí)施細(xì)節(jié)

本文使用隨機(jī)梯度下降算法（stochastic gradient descent，SGD）對(duì)外觀轉(zhuǎn)移模塊和語(yǔ)義轉(zhuǎn)移模塊進(jìn)行優(yōu)化。其中，更新圖像轉(zhuǎn)換網(wǎng)絡(luò)、生成器G（·）和像素分類器C（·）的網(wǎng)絡(luò)參數(shù)時(shí)，其初始學(xué)習(xí)率設(shè)置為2.5×10-4；而更新鑒別器D（·）的網(wǎng)絡(luò)參數(shù)時(shí)，則使用初始學(xué)習(xí)率為1.0×10-4的Adam算法，并將該算法矩估計(jì)的指數(shù)衰減速率分別設(shè)置為0.9和0.99。

2.2數(shù)據(jù)集

本文將多模式全心臟分割數(shù)據(jù)集［19］用于心臟結(jié)構(gòu)分割實(shí)驗(yàn)，該數(shù)據(jù)集由未配對(duì)的20個(gè)CT和MR數(shù)據(jù)集以及相應(yīng)標(biāo)注組成，包含左心室腔（left ventricle blood cavity，LVC）、左心房腔（left atrium blood cavity，LAC）、升主動(dòng)脈（ascending aorta，AA）、左心室心?。╩yocardium of the left ventricle，MYO）四種心臟結(jié)構(gòu)圖像。如圖3所示，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段執(zhí)行從MR到CT的領(lǐng)域自適應(yīng)時(shí)，利用所有MR圖像和80％隨機(jī)選擇的CT圖像輸入到本文框架中進(jìn)行訓(xùn)練。首先，通過(guò)優(yōu)化外觀轉(zhuǎn)移模塊中的圖像轉(zhuǎn)換網(wǎng)絡(luò)生成具有CT圖像樣式的MR領(lǐng)域自適應(yīng)樣本；之后，通過(guò)語(yǔ)義轉(zhuǎn)移模塊中的特征提取器E（·）以及生成器G（·）和鑒別器D（·）構(gòu)成動(dòng)態(tài)博弈的優(yōu)化過(guò)程使生成的圖像具有MR領(lǐng)域自適應(yīng)語(yǔ)義特征，同時(shí)將其傳入像素分類器C（·）以訓(xùn)練分割CT圖像的能力；在測(cè)試階段，利用其他20％CT圖像傳入訓(xùn)練完成的像素分類器C（·）進(jìn)行測(cè)試。在訓(xùn)練過(guò)程中，本文框架并沒(méi)有CT圖像的分割真實(shí)值的輸入，CT圖像的分割真實(shí)值僅用來(lái)測(cè)試。

此外，為了進(jìn)行公平的性能比較，根據(jù)文獻(xiàn)［17］將相同的圖像預(yù)處理技術(shù)應(yīng)用于上述實(shí)驗(yàn)數(shù)據(jù)集中，將所有數(shù)據(jù)的均值和方差歸一化為0和1。為了減少本文框架訓(xùn)練過(guò)程中的過(guò)擬合現(xiàn)象，將這兩個(gè)模態(tài)的圖像大小切成256×256，通過(guò)旋轉(zhuǎn)、縮放等方式對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)。

2.3評(píng)估指標(biāo)

在對(duì)比實(shí)驗(yàn)中，使用平均對(duì)稱表面距離（average symmetric surface distance，ASD）在三維中評(píng)估預(yù)測(cè)圖與真實(shí)分割圖之間的平均距離，ASD值與真實(shí)性成反比，如式（9）所示。

ASD（ysi，si）=1S（ysi）+S（si）×

（∑sysi∈S（ysi）d（sysi，S（si））+∑ssi∈S（si）d（ssi，S（ysi）））（9）

其中：si為像素分類器C（·）預(yù)測(cè)的結(jié)果；S（ysi）、S（si）分別為ysi、si中的表面體素；d（sysi，S（si））表示sysi到S（si）的最短距離；d（ssi，S（ysi））同理。對(duì)于預(yù)測(cè)圖和真實(shí)分割圖逐段分割的準(zhǔn)確性，則是通過(guò)Dice相似系數(shù)［17］進(jìn)行評(píng)估，其值與分割效果成正比，如式（10）所示。

Dice（ysi，si）=2×（ysi∩si）ysi∪si（10）

其中：Dice相似系數(shù)的數(shù)值為［0，1］。

2.4心臟結(jié)構(gòu)分割實(shí)驗(yàn)

圖4為不同方法進(jìn)行心臟結(jié)構(gòu)分割實(shí)驗(yàn)的結(jié)果，不同的顏色表示不同的結(jié)構(gòu)（如LVC、LAC等，見(jiàn)電子版）。與其他領(lǐng)域自適應(yīng)方法的分割結(jié)果相比，無(wú)自適應(yīng)機(jī)制方法不能很好地分割心臟結(jié)構(gòu)，說(shuō)明在訓(xùn)練和測(cè)試數(shù)據(jù)集之間存在明顯的領(lǐng)域差距以及使用領(lǐng)域自適應(yīng)方法的必要性。同時(shí)，從圖4中可以看出，本文框架與真實(shí)分割圖的分割效果十分接近，體現(xiàn)了本文框架的優(yōu)越性。圖中第1列為目標(biāo)領(lǐng)域中的原始CT圖像，第2列為無(wú)自適應(yīng)機(jī)制的分割結(jié)果，第3～5列為其他領(lǐng)域自適應(yīng)方法的分割結(jié)果，第6列為本文UAL-DAF的外割結(jié)果第7列為真實(shí)分割圖，每一行代表一個(gè)示例。

表1顯示了在執(zhí)行MR圖像到CT圖像知識(shí)傳輸任務(wù)時(shí)，心臟結(jié)構(gòu)分割數(shù)據(jù)集的性能比較。如表1所示，在不考慮領(lǐng)域自適應(yīng)的情況下，在CT樣本上評(píng)估基于MR數(shù)據(jù)訓(xùn)練的模型時(shí)，平均Dice指標(biāo)降低了73.2并且平均ASD指標(biāo)升高了24.8，進(jìn)一步說(shuō)明了使用領(lǐng)域自適應(yīng)方法的必要性。與其他領(lǐng)域自適應(yīng)方法相比，根據(jù)平均Dice和ASD指標(biāo)，本文框架在領(lǐng)域自適應(yīng)分割性能方面分別實(shí)現(xiàn)了2.7～12.6和0.6～3.1的改進(jìn)。說(shuō)明本文框架生成的分割圖片在真實(shí)性和分割效果方面具有良好的表現(xiàn)。

3驗(yàn)證框架中各個(gè)模塊的有效性

為了證明本文框架中每個(gè)組成部分的有效性，在本章中針對(duì)心臟結(jié)構(gòu)分割數(shù)據(jù)集進(jìn)行了廣泛的變體實(shí)驗(yàn)。

3.1不同關(guān)鍵組成部分的消融研究

UAL-DAF-w/oATM、UAL-DAF-w/oSTM和UAL-DAF-w/oNOI分別對(duì)應(yīng)本文框架沒(méi)有外觀轉(zhuǎn)移模塊、語(yǔ)義轉(zhuǎn)移模塊、噪聲圖（noise image，NoI）的情況。從表1的結(jié)果中可以看出，在心臟結(jié)構(gòu)分割數(shù)據(jù)集上執(zhí)行MR圖像到CT知識(shí)轉(zhuǎn)移任務(wù)時(shí)，這三種情況在平均Dice指標(biāo)方面降低了6.3～17.9，并且在平均ASD指標(biāo)方面升高了2.6～3.8，本文框架的知識(shí)轉(zhuǎn)移性能顯著下降，從而驗(yàn)證了本文框架中各個(gè)模塊的必要性和合理性。具體來(lái)說(shuō)，外觀轉(zhuǎn)移模塊通過(guò)損失網(wǎng)絡(luò)中的全局相關(guān)性矩陣和高層特征圖使圖像轉(zhuǎn)換網(wǎng)絡(luò)生成具有CT圖像樣式的MR領(lǐng)域自適應(yīng)樣本，從而實(shí)現(xiàn)外觀自適應(yīng)；而語(yǔ)義轉(zhuǎn)移模塊在外觀轉(zhuǎn)移模塊的基礎(chǔ)上，通過(guò)條件生成對(duì)抗網(wǎng)絡(luò)和特征提取器E（·）使像素分類器C（·）充分學(xué)習(xí)跨MR和CT模態(tài)的領(lǐng)域不變知識(shí)，同時(shí)噪聲圖可以提高框架的魯棒性。因此，這兩個(gè)模塊分別從外觀和語(yǔ)義兩方面實(shí)現(xiàn)了MR圖像到CT圖像的知識(shí)傳輸。

3.2殘塊的有效性

為了研究殘塊數(shù)目對(duì)心臟結(jié)構(gòu)分割數(shù)據(jù)集的影響，本文將殘差塊數(shù)設(shè)置為{4，8，16，24，32}，如表2所示。

如表2所示，當(dāng)殘差塊數(shù)量過(guò)小時(shí)，將會(huì)使本文框架的表征能力下降，無(wú)法充分提取領(lǐng)域知識(shí)；當(dāng)殘差塊數(shù)量過(guò)大時(shí)，殘差塊獲取領(lǐng)域不變的語(yǔ)義知識(shí)則更多來(lái)自于噪聲圖，這都無(wú)法擬合MR和CT模態(tài)之間的領(lǐng)域間距。因此，在某種程度上，較淺或較深的殘差塊將更多地關(guān)注噪聲圖而不是領(lǐng)域不變知識(shí)。當(dāng)殘差塊數(shù)設(shè)置為16時(shí)，本文框架可以通過(guò)將噪聲通道合并到生成器中，從而有效縮小MR和CT模態(tài)的領(lǐng)域散度，在不同領(lǐng)域中實(shí)現(xiàn)最佳的適應(yīng)性能。

綜上所述，本文框架中各個(gè)模塊能夠完美協(xié)作，有效縮小了心臟結(jié)構(gòu)分割數(shù)據(jù)集中MR和CT圖像之間的領(lǐng)域間距，驗(yàn)證了兩個(gè)互補(bǔ)模塊（即外觀轉(zhuǎn)移模塊和語(yǔ)義轉(zhuǎn)移模塊）能夠從外觀和語(yǔ)義兩個(gè)方面探索領(lǐng)域不變知識(shí)，在MR圖像到CT圖像知識(shí)傳輸任務(wù)中產(chǎn)生有意義的分割結(jié)果。

4結(jié)束語(yǔ)

本文提出了一種基于對(duì)抗學(xué)習(xí)的無(wú)監(jiān)督領(lǐng)域自適應(yīng)框架，并將其應(yīng)用于醫(yī)學(xué)圖像分割。該框架能夠?qū)W習(xí)醫(yī)學(xué)圖像外觀和語(yǔ)義知識(shí)，并將外觀和語(yǔ)義知識(shí)適應(yīng)性地結(jié)合起來(lái)。具體而言，首先通過(guò)外觀轉(zhuǎn)移模塊生成具有目標(biāo)領(lǐng)域醫(yī)學(xué)圖像外觀的源領(lǐng)域自適應(yīng)樣本，之后傳入語(yǔ)義轉(zhuǎn)移模塊中使用具有噪聲矢量的條件生成對(duì)抗網(wǎng)絡(luò)來(lái)進(jìn)行引導(dǎo)，實(shí)現(xiàn)醫(yī)學(xué)圖像領(lǐng)域外觀和語(yǔ)義知識(shí)的適應(yīng)性結(jié)合。與其他領(lǐng)域自適應(yīng)方法相比，本文框架具有優(yōu)越性，但根據(jù)框架UAL-DAF分割CT圖像的結(jié)果來(lái)看，還需進(jìn)一步提高框架提取領(lǐng)域不變知識(shí)的能力，以生成更加理想的分割效果。此外，該框架在其他自適應(yīng)領(lǐng)域也能夠輕松擴(kuò)展并應(yīng)用。

參考文獻(xiàn)：

［1］何新宇，趙時(shí)璐，張震，等.機(jī)器視覺(jué)的研究及應(yīng)用發(fā)展趨勢(shì)［J］.機(jī)械設(shè)計(jì)與制造，2020（10）：281-283，287.（He Xinyu，Zhao Shilu，Zhang Zhen，et al.Development trend of the research and application of machine vision［J］.Machinery Design amp; Manufacture，2020（10）：281-283，287.）

［2］吳玉超，林嵐，王婧璇，等.基于卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義分割在醫(yī)學(xué)圖像中的應(yīng)用［J］.生物醫(yī)學(xué)工程學(xué)雜志，2020，37（3）：533-540.（Wu Yuchao，Lin Lan，Wang Jingxuan，et al.Application of semantic segmentation based on convolutional neural network in medical images［J］.Journal of Biomedical Engineering，2020，37（3）：533-540.）

［3］Dong Jiahua，Cong Yang，Sun Gan，et al.What can be transferred：unsupervised domain adaptation for endoscopic lesions segmentation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：4023-4032.

［4］Luo Yawei，Liu Ping，Guan Tao，et al.Significance-aware information bottleneck for domain adaptive semantic segmentation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：6778-6787.

［5］Ganin Y，Ustinova E，Ajakan H，et al.Domain-adversarial training of neural networks［J］.Journal of Machine Learning Research，2016，17（1）：2096-2030.

［6］Mekhazni D，Bhuiyan A，Ekladious G，et al.Unsupervised domain adaptation in the dissimilarity space for person re-identification［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020：159-174.

［7］Peng Xingchao，Bai Qingxun，Xia Xide，et al.Moment matching for multi-source domain adaptation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：1406-1415.

［8］Liu Mingyu，Breuel T，Kautz J.Unsupervised image-to-image translation networks［C］//Advances in Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：700-708.

［9］Xia Yingda，Yang Dong，Yu Zhiding，et al.Uncertainty-aware multi-view co-training for semi-supervised medical image segmentation and domain adaptation［J］.Medical Image Analysis，2020，65：101766.

［10］Dou Qi，Chen Cheng，Ouyang Cheng，et al.Unsupervised domain adaptation of ConvNets for medical image segmentation via adversarial learning［M］.Cham：Springer，2019：93-115.

［11］Isola P，Zhu Junyan，Zhou Tinghui，et al.Image-to-image translation with conditional adversarial networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：1125-1134.

［12］Gatys L A，Ecker A S，Bethge M.A neural algorithm of artistic style［EB/OL］.（2015-09-02）.https：//arxiv.org/abs/1508.06576.

［13］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Identity mappings in deep residual networks［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：630-645.

［14］Johnson J，Alahi A，Li Feifei.Perceptual losses for real-time style transfer and super-resolution［C］//Proc of European Conference on Computer Vision.Cham：Springer，2016：694-711.

［15］Creswell A，White T，Dumoulin V，et al.Generative adversarial networks：an overview［J］.IEEE Signal Processing Magazine，2018，35（1）：53-65.

［16］Chen Cheng，Dou Qi，Chen Hao，et al.Synergistic image and feature adaptation：towards cross-modality domain adaptation for medical image segmentation［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：865-872.

［17］Chen Cheng，Dou Qi，Chen Hao，et al.Semantic-aware generative adversarial nets for unsupervised domain adaptation in chest x-ray segmentation［C］//Proc of International Workshop on Machine Learning in Medical Imaging.Cham：Springer，2018：143-151.

［18］Hoffman J，Tzeng E，Park T，et al.CyCADA：cycle-consistent adversa-rial domain adaptation［C］//Proc of International Conference on Machine Learning.［S.l.］：PMLR，2018：1989-1998.

［19］Zhuang Xiahai.Challenges and methodologies of fully automatic whole heart segmentation：a review［J］.Journal of Healthcare Enginee-ring，2013，4（3）：371-407.

收稿日期：2021-07-27；修回日期：2021-09-22基金項(xiàng)目：國(guó)家自然科學(xué)基金項(xiàng)目（U1731128）；廣東省教育廳項(xiàng)目（2018KTSCX218）

作者簡(jiǎn)介：王紹帆（1996-），男，山東濰坊人，碩士，主要研究方向?yàn)轭I(lǐng)域自適應(yīng)、計(jì)算機(jī)視覺(jué)；馬馳（1977-），男（回族）（通信作者），遼寧鞍山人，副教授，博士，主要研究方向?yàn)槟Ｊ阶R(shí)別（machi@hzu.edu.cn）；胡輝（1979-），女，江蘇鹽城人，高級(jí)工程師，博士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)；路生亮（1994-），男，遼寧朝陽(yáng)人，碩士，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)．