面向阿爾茨海默癥輔助診斷的多尺度域適應(yīng)網(wǎng)絡(luò)

蔡鴻順，張瓊敏，龍穎

（重慶理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院, 重慶 400054）

阿爾茨海默癥（Alzheimer disease，AD）是一種起病隱匿、進(jìn)行性發(fā)展的神經(jīng)系統(tǒng)退行性疾病。2021 年中國(guó)阿爾茨海默病報(bào)告[1]顯示，目前中國(guó)AD 的發(fā)病率、患病率和死亡率每年仍在不斷增長(zhǎng)，給社會(huì)和居民帶來(lái)了巨大的經(jīng)濟(jì)負(fù)擔(dān)。輕度認(rèn)知功能障礙（mild cognitive impairment，MCI）是發(fā)生在AD 前期的一種綜合癥[2]，盡早發(fā)現(xiàn)MCI和AD 患者，并進(jìn)行有效的干預(yù)治療，對(duì)于預(yù)防或延緩阿爾茨海默癥的發(fā)生具有重要意義。結(jié)構(gòu)磁共振影像（structural magnetic resonance imaging,sMRI）技術(shù)能夠顯示腦組織的形態(tài)學(xué)變化，如AD導(dǎo)致的海馬體萎縮[3]等，這使得基于sMRI 進(jìn)行AD 的輔助診斷成為了可能。

隨著人工智能的發(fā)展，深度學(xué)習(xí)技術(shù)在圖像領(lǐng)域取得了突破性成績(jī)[4]，越來(lái)越多的研究人員將深度學(xué)習(xí)應(yīng)用于阿爾茨海默癥[5]和輕度認(rèn)知障礙[6]的識(shí)別。然而使用深度學(xué)習(xí)方法構(gòu)建模型時(shí)，我們通常使用有標(biāo)簽的數(shù)據(jù)進(jìn)行有監(jiān)督學(xué)習(xí)，并且需要保證訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)滿足獨(dú)立同分布。如果訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)特征分布不一致，訓(xùn)練好的分類(lèi)器在測(cè)試集上會(huì)出現(xiàn)顯著的性能下降現(xiàn)象。在現(xiàn)實(shí)場(chǎng)景中，MRI 數(shù)據(jù)由于個(gè)體差異，且在采集時(shí)受不同掃描儀、掃描方案以及采集環(huán)境等因素影響，數(shù)據(jù)之間會(huì)出現(xiàn)異質(zhì)性，無(wú)法保證得到的數(shù)據(jù)滿足獨(dú)立同分布，出現(xiàn)特征分布不一致，這就是MRI數(shù)據(jù)普遍存在的“域偏移”現(xiàn)象[7]。

對(duì)于神經(jīng)成像，特別是對(duì)MRI 數(shù)據(jù)的分析，構(gòu)建域不可知的模型尤為重要，因?yàn)閿?shù)據(jù)采集和標(biāo)注成本昂貴，且往往只是局限于固定的醫(yī)院或機(jī)構(gòu)用于研究，無(wú)法廣泛傳播[8]。因此如何解決域偏移問(wèn)題也就成了增強(qiáng)深度學(xué)習(xí)模型的泛化能力和知識(shí)復(fù)用的關(guān)鍵。由于領(lǐng)域自適應(yīng)技術(shù)（domain adaptation，DA）[9]能夠使得在源域中獲取的知識(shí)在目標(biāo)域上也能得到良好的泛化，實(shí)現(xiàn)領(lǐng)域不變知識(shí)的跨域遷移和復(fù)用，越來(lái)越多的研究人員利用領(lǐng)域自適應(yīng)方法來(lái)應(yīng)對(duì)醫(yī)學(xué)圖像分析中的域偏移任務(wù)[10]。

基于對(duì)抗學(xué)習(xí)的域適應(yīng)過(guò)程是特征提取器和域判別器的博弈過(guò)程，由于其能夠有效對(duì)齊源域和目標(biāo)域分布，出現(xiàn)了很多基于對(duì)抗域適應(yīng)的醫(yī)學(xué)圖像分析方法。Javanmardi 等[11]提出了一種基于領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)（domain-adversarial training of neural networks，DANN）的眼部血管分割模型，通過(guò)協(xié)同訓(xùn)練U-Net 模型和域判別器有效改善了分割效果。Yang 等[12]提出了一種具有對(duì)抗學(xué)習(xí)思想的無(wú)監(jiān)督領(lǐng)域自適應(yīng)網(wǎng)絡(luò)模型，用于肺氣腫紋理的圖像分類(lèi)，同時(shí)在真實(shí)數(shù)據(jù)和合成數(shù)據(jù)上訓(xùn)練，獲得了較為理想的效果。Panfilov 等[13]研究了對(duì)抗域適應(yīng)的深度學(xué)習(xí)技術(shù)對(duì)于膝關(guān)節(jié)組織分割的影響，發(fā)現(xiàn)對(duì)抗域適應(yīng)技術(shù)能夠有效緩解在有限數(shù)據(jù)情形下分割模型泛化性不足，尤其是在分辨率和對(duì)比度不同的數(shù)據(jù)上模型性能下降的問(wèn)題。Yang 等[14]基于Faster R-CNN 提出了一種對(duì)抗域適應(yīng)網(wǎng)絡(luò)架構(gòu)用于OCT 眼部數(shù)據(jù)的病變檢測(cè)，除了進(jìn)行全局的特征對(duì)齊，還結(jié)合了感興趣區(qū)域（region of interest, ROI）局部特征實(shí)現(xiàn)聯(lián)合特征對(duì)齊，并在域判別器中加入一個(gè)非參數(shù)自適應(yīng)特征范數(shù)，以增強(qiáng)判別器在目標(biāo)域的魯棒性。

基于距離度量等統(tǒng)計(jì)準(zhǔn)則的方法在醫(yī)學(xué)圖像分析領(lǐng)域也具有廣泛的應(yīng)用。Gao 等[15]提出了一種無(wú)監(jiān)督分類(lèi)方法用于功能MRI 數(shù)據(jù)的大腦活動(dòng)分類(lèi)，主要使用中心距差異度量（central moment discrepancy，CMD）來(lái)對(duì)齊兩個(gè)域分布的高階矩，實(shí)現(xiàn)在目標(biāo)域的有效泛化。Wu 等[16]提出了一種基于分布特征函數(shù)的新距離度量方法，用于跨域圖像的切片，在CT-MRI 跨模態(tài)分割和多序列心臟MRI 分割兩個(gè)任務(wù)上都具有良好的性能表現(xiàn)。

針對(duì)阿爾茨海默癥磁共振影像數(shù)據(jù)的域偏移問(wèn)題，本文提出了一種基于對(duì)抗學(xué)習(xí)和距離度量的多尺度域適應(yīng)網(wǎng)絡(luò)模型用于AD 的輔助診斷。技術(shù)路線可概括為：首先基于sMRI 數(shù)據(jù)的特點(diǎn)，在三維卷積神經(jīng)網(wǎng)絡(luò)中設(shè)計(jì)了基于空洞卷積的多尺度特征融合模塊，結(jié)合空間注意力和注意力一致性損失加強(qiáng)特征提取和語(yǔ)義信息共享。然后，為增強(qiáng)模型在目標(biāo)域上的分類(lèi)性能，使用基于DANN的對(duì)抗訓(xùn)練方式進(jìn)行特征對(duì)齊，和現(xiàn)有方法不同的是，本文使用兩個(gè)域判別器協(xié)同訓(xùn)練，并加入權(quán)重差異損失緩解只有一個(gè)域判別器的過(guò)擬合現(xiàn)象。最后，為增強(qiáng)特征對(duì)齊和緩解對(duì)抗訓(xùn)練的不穩(wěn)定等問(wèn)題，引入最大密度差異（maximum density divergence，MDD）距離度量減小域間散度和增大類(lèi)內(nèi)密度。

1 多尺度域適應(yīng)網(wǎng)絡(luò)模型

1.1 總體網(wǎng)絡(luò)架構(gòu)

本文使用阿爾茨海默癥的sMRI 數(shù)據(jù)，基于領(lǐng)域自適應(yīng)中的距離度量和對(duì)抗學(xué)習(xí)思想，提出了一種端到端的多尺度域適應(yīng)網(wǎng)絡(luò)架構(gòu)，如圖1所示，主要分為3 個(gè)部分：多尺度特征提取模塊、對(duì)抗域適應(yīng)模塊和MDD 距離度量模塊。

圖1 多尺度域適應(yīng)網(wǎng)絡(luò)架構(gòu)圖Fig.1 Multi-scale domain adaptation network architecture diagram

1.2 多尺度特征提取模塊

針對(duì)sMRI 的三維數(shù)據(jù)特性，本文采用三維卷積神經(jīng)網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，并加入可訓(xùn)練的空間注意力模塊自動(dòng)識(shí)別與病癥相關(guān)的大腦區(qū)域。骨干網(wǎng)絡(luò)包含9 個(gè)3×3×3 卷積層，并在第2、4、6、8、9 層卷積層之后加入最大池化操作，來(lái)增大感受野和避免過(guò)擬合。為實(shí)現(xiàn)在MRI 特征圖中反映不同區(qū)域的權(quán)重大小，使用空間注意力[17]模塊，對(duì)三維卷積神經(jīng)網(wǎng)絡(luò)第一層的結(jié)果分別進(jìn)行全局最大池化和全局平均池化，將池化結(jié)果基于通道拼接融合，并通過(guò)單通道卷積加強(qiáng)非線性特性，從而得到空間注意力特征圖。注意力特征圖A的計(jì)算如下：

式中：Mmax和Mavg分別表示全局最大池化和全局平均池化的結(jié)果，f3×3×3表示卷積核為3×3×3 的卷積操作， σ表示sigmoid 激活函數(shù)。

針對(duì)深度網(wǎng)絡(luò)在高層特征圖上容易損失大量有用信息的問(wèn)題，本文在骨干網(wǎng)絡(luò)的第二次和第三次下采樣后設(shè)計(jì)空洞空間金字塔（atrousspatial pyramidpooling,ASPP）[18]模塊。將第4 個(gè)和第6 個(gè)卷積層的輸出特征圖作為ASPP 的輸入，分別進(jìn)行3 次空洞率不同的空洞卷積，進(jìn)而可得到3 個(gè)不同尺度的特征信息，對(duì)3 個(gè)多尺度特征信息進(jìn)行融合并使用單通道卷積加強(qiáng)非線性特性。最終對(duì)第4 層和第6 層的多尺度特征信息全局進(jìn)行平均池化，和三維特征提取骨干網(wǎng)絡(luò)的最后一層特征圖融合，得到MRI 數(shù)據(jù)的多尺度融合特征信息。

本文對(duì)源域和目標(biāo)域使用相同的特征提取網(wǎng)絡(luò)，且共享權(quán)重。為加強(qiáng)注意力特征圖的一致性，在多尺度特征提取模塊中設(shè)計(jì)加入注意力一致性損失。假設(shè)源域的注意力特征圖為AS，目標(biāo)域的注意力特征圖為AT，計(jì)算兩個(gè)注意力特征圖的均方差作為注意力一致性損失 Latt：

式中：N表示源域和目標(biāo)域的batch 大小；D、W、H分別表示特征圖的長(zhǎng)、寬和高。

源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)經(jīng)過(guò)多尺度特征提取網(wǎng)絡(luò)，分別得到了源域數(shù)據(jù)特征和目標(biāo)域數(shù)據(jù)特征，將源域數(shù)據(jù)特征輸入源域分類(lèi)器得到源域數(shù)據(jù)的預(yù)測(cè)標(biāo)簽，使用得到的預(yù)測(cè)標(biāo)簽和真實(shí)標(biāo)簽計(jì)算源域數(shù)據(jù)的分類(lèi)交叉熵?fù)p失：

式中：xi為源域樣本，yxi為對(duì)應(yīng)源域樣本的真實(shí)標(biāo)簽，NS為 源域樣本總數(shù)，C為類(lèi)別總數(shù)，Gf為多尺度特征提取器，Gy為源域分類(lèi)器。

1.3 對(duì)抗域適應(yīng)模塊

受生成對(duì)抗網(wǎng)絡(luò)[19]的啟發(fā)，現(xiàn)有的對(duì)抗域適應(yīng)方法主要包含兩個(gè)部分：特征提取器和域判別器。域判別器用于區(qū)分?jǐn)?shù)據(jù)是來(lái)自源域還是目標(biāo)域，特征提取器試圖通過(guò)提取域不變特征來(lái)混淆域判別器，兩者進(jìn)行對(duì)抗訓(xùn)練，若兩者達(dá)到平衡狀態(tài)，則認(rèn)為實(shí)現(xiàn)了特征對(duì)齊。本文提出了一種基于DANN[20]引入?yún)f(xié)同訓(xùn)練（co-training）的對(duì)抗域適應(yīng)方法。域判別器遵循DANN 中的設(shè)計(jì)范式，加入梯度反轉(zhuǎn)層（gradient reversal layer, GRL），實(shí)現(xiàn)在反向傳播過(guò)程中梯度取反。

與DANN 不同的是，本文使用兩個(gè)域判別器協(xié)同訓(xùn)練，實(shí)現(xiàn)源域和目標(biāo)域的特征分布對(duì)齊，兩個(gè)域判別器為Gd1和Gd2，兩者對(duì)抗損失分別為

式中： Ld1和 Ld2使用交叉熵?fù)p失函數(shù)作為域判別損失；di為樣本xi的域標(biāo)簽，源域樣本的域標(biāo)簽為0，目標(biāo)域樣本的域標(biāo)簽為1；Ds和Dt分別為源域和目標(biāo)域的域標(biāo)簽集合；NS和NT分別為源域和目標(biāo)域的樣本總數(shù)。

為了有效實(shí)現(xiàn)兩個(gè)域判別器的協(xié)同訓(xùn)練和權(quán)重參數(shù)差異化，這里設(shè)計(jì)了權(quán)重差異損失 Lwd，計(jì)算兩個(gè)域判別器權(quán)重的余弦距離：

式中：WD1和WD2表示域判別器Gd1和Gd2的權(quán)重參數(shù)，此時(shí)對(duì)抗域適應(yīng)模塊的對(duì)抗損失為

其中 λ為平衡超參數(shù)。相較于一個(gè)域判別器，協(xié)同訓(xùn)練兩個(gè)不同的域判別器能夠有效緩解少樣本數(shù)據(jù)下的過(guò)擬合問(wèn)題。對(duì)兩個(gè)域判別器的權(quán)重差異化，也能使域判別器學(xué)習(xí)到互補(bǔ)的特征信息。

1.4 MDD 距離度量模塊

對(duì)抗域適應(yīng)主要的優(yōu)化目標(biāo)：1）分類(lèi)器在源域上的錯(cuò)誤率盡量小；2）在特征空間中將源域和目標(biāo)域的邊緣分布對(duì)齊。雖然對(duì)抗域適應(yīng)能夠較好地解決域偏移問(wèn)題，但域判別器只做域間的二分類(lèi)判斷，并沒(méi)有充分考慮源域和目標(biāo)域中存在的類(lèi)別特征信息，在實(shí)現(xiàn)整體特征對(duì)齊時(shí)可能會(huì)產(chǎn)生不同類(lèi)別分布的錯(cuò)誤匹配[21]，從而導(dǎo)致負(fù)遷移。

在本文網(wǎng)絡(luò)模型中，MDD 損失函數(shù)為

式中：nb為 源域和目標(biāo)域數(shù)據(jù)的batch 大小，ms和mt分別為每個(gè)batch 中源域和目標(biāo)域的樣本個(gè)數(shù)。

最終多尺度域適應(yīng)網(wǎng)絡(luò)的損失函數(shù)為

式中： Lcls為 源域的交叉熵分類(lèi)損失， Latt為注意力一致性損失， LMDD為MDD 距離度量損失， LAdv為對(duì)抗域適應(yīng)損失， α 、β 和ω 分別為平衡超參數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 阿爾茨海默癥數(shù)據(jù)集

本文使用的sMRI 數(shù)據(jù)來(lái)源于（Alzheimer’s disease neuroimaging initiative，ADNI）數(shù)據(jù)庫(kù)（adni.loni.usc.edu）。ADNI 由美國(guó)國(guó)家老年研究所、國(guó)家生物醫(yī)學(xué)成像與生物工程研究所、美國(guó)食品藥品管理局、私營(yíng)醫(yī)藥企業(yè)和非營(yíng)利組織于2003 年啟動(dòng)，主要目的是測(cè)試MRI、PET、其他生物標(biāo)志物和相關(guān)診斷信息結(jié)合能否應(yīng)用于阿爾茨海默病及其早期階段的病程進(jìn)展研究。本文使用的sMRI影像數(shù)據(jù)有3 類(lèi)：1）阿爾茨海默病類(lèi)（Alzheimer’s disease, AD）；2）認(rèn)知正常類(lèi)（cognitively normal, CN）；3）輕度認(rèn)知障礙類(lèi)（mild cognitive impairment,MCI）。

磁共振影像數(shù)據(jù)在掃描時(shí)會(huì)由于設(shè)備的不同得到質(zhì)量不同的成像數(shù)據(jù)，其中磁場(chǎng)強(qiáng)度是對(duì)圖像質(zhì)量影響較大的因素之一。ADNI 數(shù)據(jù)庫(kù)中sMRI成像磁場(chǎng)強(qiáng)度主要有3 T 和1.5 T 兩種。高場(chǎng)強(qiáng)磁共振3 T 相比1.5 T 具有更多的優(yōu)勢(shì)，比如空間分辨率更高，信噪比更高，圖像增強(qiáng)效果更好，但同時(shí)3 T 對(duì)各種場(chǎng)強(qiáng)依賴(lài)性偽影敏感。由此可知，3 T 和1.5 T 的sMRI 的數(shù)據(jù)存在較為顯著的域偏移現(xiàn)象。本文實(shí)驗(yàn)根據(jù)磁場(chǎng)強(qiáng)度將sMRI 數(shù)據(jù)分為源域和目標(biāo)域，其中3 T 數(shù)據(jù)為源域，1.5 T數(shù)據(jù)為目標(biāo)域。數(shù)據(jù)詳細(xì)信息如表1 所示。

表1 數(shù)據(jù)統(tǒng)計(jì)信息表Table 1 Data statistics table 人

2.2 數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)

使用SPM 和FSL 軟件對(duì)sMRI 數(shù)據(jù)進(jìn)行預(yù)處理，包括AC-PC 校正、顱骨剝離和線性配準(zhǔn)，配準(zhǔn)模板使用Colin27。預(yù)處理流程如圖2 所示。

在小學(xué)科學(xué)的教學(xué)課堂，教師往往以自己為中心，忽視了學(xué)生的主體地位，使學(xué)生被動(dòng)接受知識(shí)，限制了學(xué)生思維，學(xué)生沒(méi)有完全參與到科學(xué)教學(xué)中，達(dá)不到預(yù)期的教學(xué)效果。同時(shí)教師還忽略了師生間的互動(dòng)，學(xué)生沒(méi)有將知識(shí)的掌握程度及時(shí)反饋給教師，影響了教學(xué)效果。現(xiàn)在很多教師受傳統(tǒng)教學(xué)觀念的影響，只重視學(xué)生的分?jǐn)?shù)，沒(méi)有將小學(xué)科學(xué)中的現(xiàn)象和實(shí)驗(yàn)詳細(xì)的為學(xué)生講解，讓原本充滿趣味性的教學(xué)內(nèi)容變得枯燥無(wú)趣，降低了學(xué)生的學(xué)習(xí)熱情。小學(xué)是接受教育的最初階段，對(duì)學(xué)生未來(lái)的學(xué)習(xí)生活有很大的影響。但由于教師教學(xué)方法的不科學(xué)，沒(méi)有充分引導(dǎo)學(xué)生進(jìn)行自主思考，阻礙了學(xué)生創(chuàng)新思維的發(fā)展。

圖2 MRI 數(shù)據(jù)預(yù)處理流程Fig.2 MRI data preprocessing process

本文使用896 個(gè)T1 加權(quán)的sMRI 影像進(jìn)行分類(lèi)實(shí)驗(yàn)，將預(yù)處理之后的數(shù)據(jù)尺寸裁剪為150×180×150，圖像分辨率為1 mm×1 mm×1 mm。為模擬現(xiàn)實(shí)情況下采集sMRI 數(shù)據(jù)時(shí)因掃描和成像方式等導(dǎo)致的鏡像化現(xiàn)狀，同時(shí)防止分類(lèi)器在源域上過(guò)擬合，在源域的數(shù)據(jù)中隨機(jī)選取部分?jǐn)?shù)據(jù)進(jìn)行上下翻轉(zhuǎn)或左右翻轉(zhuǎn)，目標(biāo)域數(shù)據(jù)不做翻轉(zhuǎn)。翻轉(zhuǎn)效果如圖3 所示。

圖3 MRI 數(shù)據(jù)增強(qiáng)圖Fig.3 MRI data augmentation

2.3 實(shí)驗(yàn)環(huán)境及性能評(píng)價(jià)指標(biāo)

模型使用的深度學(xué)習(xí)框架為PyTorch1.7.1，操作系統(tǒng)為Ubuntu18.04，處理器為Intel(R) Xeon(R)Gold 5218 CPU @ 2.30 GHz，深度學(xué)習(xí)模型的訓(xùn)練采用GPU 加速，GPU 型號(hào)為T(mén)esla V100。

本文使用分類(lèi)準(zhǔn)確率A（Accuracy，ACC）、SEN靈敏度（Sensitivity，SEN）、特異度SPE（Specificity，SPE）和受試者工作特征曲線下面積（Area under curve，AUC）作為模型性能評(píng)估標(biāo)準(zhǔn)。將真陽(yáng)性、真陰性、假陽(yáng)性和假陰性分別定義為T(mén)P、TN、FP和FN，相關(guān)評(píng)價(jià)指標(biāo)定義如下：

2.4 模型和訓(xùn)練參數(shù)設(shè)置

本文的特征提取骨干網(wǎng)絡(luò)包含9 層三維卷積，卷積核大小均為3×3×3，輸入通道為1，輸出通道分別為8、8、16、16、32、32、64、64、128，每層卷積后面均加入了BatchNorm 層和ReLU 激活函數(shù)，為增大感受野和避免過(guò)擬合，在第2、4、6、8、9 層后加入了最大池化層。選取第4 層卷積和第6 層的卷積結(jié)果作為ASPP 模塊的輸入，對(duì)其均使用空洞率為2、4、6 的空洞卷積，將3 次空洞卷積的結(jié)果拼接融合，并進(jìn)行單通道卷積，得到ASPP模塊的輸出，為最終獲取多尺度的特征信息，將兩個(gè)ASPP 的輸出進(jìn)行平均池化，并和最后一層的卷積結(jié)果進(jìn)行拼接融合，作為最終分類(lèi)器的輸入。分類(lèi)器由三層全連接構(gòu)成，神經(jīng)元個(gè)數(shù)分別設(shè)置為256、128 和2。兩個(gè)域判別器同樣均由三層全連接構(gòu)成，神經(jīng)元個(gè)數(shù)分別設(shè)置為256、128和2。

對(duì)本文提出的多尺度域適應(yīng)網(wǎng)絡(luò)模型訓(xùn)練時(shí)，采用Adam[23]梯度下降法進(jìn)行參數(shù)的迭代更新， batch size 設(shè)置為8，使用帶warmup 的余弦退火學(xué)習(xí)率衰減策略，學(xué)習(xí)率初始值設(shè)置為0.001，最大值設(shè)置為0.01，warmup 的epoch 值設(shè)置為15，整個(gè)訓(xùn)練過(guò)程共120 個(gè)epoch。為防止過(guò)擬合，在分類(lèi)器中設(shè)置Dropout 為0.5， λ 、 α 、 β 和ω 4 個(gè)平衡超參數(shù)分別為0.9、0.1、0.2 和0.1。

2.5 對(duì)比實(shí)驗(yàn)結(jié)果

為驗(yàn)證提出方法相較于有監(jiān)督學(xué)習(xí)和其他領(lǐng)域自適應(yīng)方法在阿爾茨海默癥sMRI 數(shù)據(jù)上分類(lèi)任務(wù)的有效性，本文在相同的sMRI 預(yù)處理數(shù)據(jù)上進(jìn)行對(duì)比實(shí)驗(yàn)。進(jìn)行對(duì)比的有監(jiān)督學(xué)習(xí)方法為3DResNet50[24]，選擇的無(wú)監(jiān)督域適應(yīng)方法包括：DANN[20]、動(dòng)態(tài)對(duì)抗自適應(yīng)網(wǎng)絡(luò)（dynamic adversarial adaptation network，DAAN）[25]、條件域?qū)咕W(wǎng)絡(luò)（conditional domain adversarial networks，CDAN）[26]、注意力引導(dǎo)的深度域適應(yīng)算法（attention-guided deep domain adaptation，AD2A）[27]和對(duì)抗緊密匹配算法（adversarial tight match，ATM）[22]。進(jìn)行對(duì)比實(shí)驗(yàn)時(shí)，3DResNet50 在源域上進(jìn)行監(jiān)督學(xué)習(xí)后在目標(biāo)域上進(jìn)行分類(lèi)識(shí)別，比較的域適應(yīng)方法均采取本文設(shè)計(jì)的多尺度特征提取網(wǎng)絡(luò)，采取相同的模型參數(shù)和訓(xùn)練策略，最終取損失最小的模型在目標(biāo)域上進(jìn)行分類(lèi)識(shí)別，AD 和CN 分類(lèi)任務(wù)的詳細(xì)實(shí)驗(yàn)結(jié)果如表2 所示。

表2 AD 和CN 分類(lèi)任務(wù)對(duì)比實(shí)驗(yàn)結(jié)果Table 2 AD vs.CN task comparison experimental results

從表2 發(fā)現(xiàn)，本文方法在AD 和CN 的分類(lèi)任務(wù)上達(dá)到了90.8%的準(zhǔn)確率，相比于3DResNet50的78.3%的分類(lèi)準(zhǔn)確率提高了12.5%。在所比較的無(wú)監(jiān)督域適應(yīng)方法中，本文方法的ACC、SPE和AUC 指標(biāo)均達(dá)到了最好，SEN 指標(biāo)和最好的ATM 方法相近。

表3 給出了AD 和MCI 的分類(lèi)識(shí)別結(jié)果。由于MCI 是AD 的前期發(fā)展階段，在腦結(jié)構(gòu)的病變上具有相似的全局和局部特征，相比于AD 和CN的識(shí)別更困難。本文方法在該任務(wù)上的4 項(xiàng)指標(biāo)均超過(guò)了3DResNet50，和無(wú)監(jiān)督域適應(yīng)方法比較，ACC、SEN 和AUC 指標(biāo)均達(dá)到了最好，SPE指標(biāo)只小于DAAN，但和其相比，本文方法在SEN和SPE 兩項(xiàng)指標(biāo)上取得了更好的平衡。

表3 AD 和MCI 分類(lèi)任務(wù)對(duì)比實(shí)驗(yàn)結(jié)果Table 3 AD vs.MCI task comparison experimental results

表4 給出了MCI 和CN 的分類(lèi)識(shí)別結(jié)果。MCI作為過(guò)渡期狀態(tài)，有些病例可能后期轉(zhuǎn)換為AD，有些可能保持穩(wěn)定，這導(dǎo)致MCI 組樣本存在高度異質(zhì)性，因此相較于AD 和CN 的識(shí)別更困難。本文方法在該任務(wù)上取得了78.8%的準(zhǔn)確率，SPE指標(biāo)和AUC 指標(biāo)也達(dá)到了最好，雖然SEN 指標(biāo)低于CDAN，但本文方法依然在SEN 和SPE 上取得了更好的平衡。

表4 MCI 和CN 分類(lèi)任務(wù)對(duì)比實(shí)驗(yàn)結(jié)果Table 4 MCI vs.CN task comparison experimental results

綜合3 個(gè)分類(lèi)任務(wù)的對(duì)比實(shí)驗(yàn)結(jié)果，所比較域適應(yīng)方法的各項(xiàng)評(píng)價(jià)指標(biāo)均超過(guò)了3DResNet50，表明利用領(lǐng)域自適應(yīng)技術(shù)對(duì)sMRI 數(shù)據(jù)進(jìn)行特征對(duì)齊可以有效提高在目標(biāo)域上的性能。和DANN、AD2A 只使用一個(gè)域判別器進(jìn)行對(duì)抗學(xué)習(xí)方法相比，本文在3 個(gè)分類(lèi)任務(wù)中ACC、SEN、SPE 和AUC評(píng)價(jià)指標(biāo)均有提升，表明利用兩個(gè)域判別器協(xié)同訓(xùn)練可以有效提升模型性能；和DAAN 和CDAN等只使用對(duì)抗學(xué)習(xí)的方法比較，本文方法將距離度量和對(duì)抗學(xué)習(xí)進(jìn)行結(jié)合，在3 個(gè)分類(lèi)任務(wù)中的ACC 和AUC 均有一定程度的提升，表明MDD 距離度量在增強(qiáng)特征對(duì)齊和緩解對(duì)抗學(xué)習(xí)訓(xùn)練不穩(wěn)定等問(wèn)題上起到了明顯作用；和ATM等使用距離度量和對(duì)抗方法結(jié)合的方法比較，本文方法在3 個(gè)分類(lèi)任務(wù)中的4 個(gè)評(píng)價(jià)指標(biāo)普遍有所提升，表明使用注意力一致性損失進(jìn)行源域和目標(biāo)域語(yǔ)義共享可以增強(qiáng)模型在目標(biāo)域上的預(yù)測(cè)性能。

3 結(jié)果討論

3.1 消融實(shí)驗(yàn)

為了驗(yàn)證本文方法每個(gè)模塊的有效性，我們使用3 種途徑進(jìn)行消融實(shí)驗(yàn)：

1）只使用多尺度特征提取模塊（3DCNN）進(jìn)行特征對(duì)齊，模型達(dá)到收斂后直接在目標(biāo)域上使用分類(lèi)器進(jìn)行預(yù)測(cè)；2）在1）的基礎(chǔ)上加入對(duì)抗域適應(yīng)模塊（+Adv）；3）在2）的基礎(chǔ)上加入MDD 距離度量模塊（+MDD）。表5 給出了3 種模型分別在不同分類(lèi)任務(wù)上的結(jié)果。

表5 消融實(shí)驗(yàn)結(jié)果Table 5 Ablation experiment results

由表5 可見(jiàn)，3DCNN 在3 個(gè)分類(lèi)任務(wù)上普遍取得了較為不錯(cuò)的分類(lèi)結(jié)果，表明本文提出的多尺度特征提取模塊的有效性。以該實(shí)驗(yàn)結(jié)果為基線，基線實(shí)驗(yàn)中加入對(duì)抗域適應(yīng)模塊后，3 個(gè)分類(lèi)任務(wù)上ACC、SPE 和AUC 的結(jié)果均取得了小范圍提升，表明本文提出的對(duì)抗域適應(yīng)模塊能夠完成對(duì)存在域偏移的sMRI 數(shù)據(jù)完成特征對(duì)齊，有助于提取域不變特征，SEN 在AD vs.MCI 的分類(lèi)任務(wù)上表現(xiàn)不太穩(wěn)定，表明了對(duì)抗訓(xùn)練還是存在不穩(wěn)定性以及AD 和MCI 分類(lèi)任務(wù)存在一定難度。在此基礎(chǔ)上再加入MDD 距離度量模塊后，3 個(gè)分類(lèi)任務(wù)上結(jié)果普遍再次提升，特別是在AD vs.MCI 分類(lèi)任務(wù)上提升明顯，表明MDD 在減小域間散度和增大類(lèi)內(nèi)密度，增強(qiáng)特征分布對(duì)齊上發(fā)揮了明顯優(yōu)勢(shì)。

3.2 參數(shù)分析

損失 函 數(shù) 中 α 、 β 和 ω在平衡注意力一致性損失、MDD 距離度量損失和對(duì)抗域適應(yīng)損失方面發(fā)揮著重要的作用。為了研究它們對(duì)于本文提出方法的影響，我們?cè)赱0, 0.01, 0.02, 0.05, 0.1, 0.2,0.5, 1]范圍內(nèi)改變其值，并對(duì)比最終模型在目標(biāo)域上的AUC 指標(biāo)變化。具體實(shí)驗(yàn)為在3 T 為源域，1.5 T 為目標(biāo)域的設(shè)置下，探究不同的 α 、 β和ω值在AD vs.CN 任務(wù)上的實(shí)驗(yàn)結(jié)果。為探究每個(gè)損失函數(shù)對(duì)于模型的增益效果，一個(gè)損失函數(shù)權(quán)重在變化時(shí)，其余兩個(gè)權(quán)重參數(shù)值設(shè)置為0。從圖4 可以發(fā)現(xiàn)，當(dāng) α ∈[0.1,0.5]， β ∈[0.2,0.5]和ω ∈[0.1,0.2]時(shí)，對(duì)應(yīng)的損失函數(shù)能夠?yàn)槟Ｐ蛶?lái)較好的增益效果。同時(shí)，當(dāng)3 個(gè)損失的權(quán)重均為0 時(shí)，AUC 指標(biāo)表現(xiàn)最差，表明加入的注意力一致性損失、MDD 距離度量損失和對(duì)抗域適應(yīng)損失均有利于源域和目標(biāo)域的特征對(duì)齊，增強(qiáng)模型在目標(biāo)域的泛化性能。

圖4 參數(shù)消融分析Fig.4 Ablation analysis of parameters

3.3 特征分布可視化

為直觀說(shuō)明本文方法的有效性，使用t-SNE[28]算法分別對(duì)3DResNet50 和本文方法提取的特征進(jìn)行降維和可視化，如圖5 所示。選取源域和目標(biāo)域中AD 和CN 的584 個(gè)數(shù)據(jù)，圖5(a)為3DResNet50模型在源域數(shù)據(jù)上有監(jiān)督學(xué)習(xí)訓(xùn)練后，使用訓(xùn)練后的模型對(duì)源域和目標(biāo)域提取的特征降維可視化，圖5(b)為使用本文方法訓(xùn)練得到的模型對(duì)源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)進(jìn)行特征對(duì)齊后的特征降維可視化。可以發(fā)現(xiàn)，兩種方法下源域AD 和源域CN的特征都能夠很明顯地區(qū)分開(kāi)，但3DResNet50在目標(biāo)域上卻存在一定程度的特征混淆，這也是導(dǎo)致其最終分類(lèi)效果次優(yōu)的原因；而本文方法因?yàn)樵谔卣魈崛〉耐瑫r(shí)，使用對(duì)抗學(xué)習(xí)和距離度量，進(jìn)行了邊緣特征對(duì)齊和條件分布對(duì)齊，使得目標(biāo)域和源域中相同類(lèi)別數(shù)據(jù)的特征分布變得更加緊湊，因此最終網(wǎng)絡(luò)模型能夠在目標(biāo)域上取得優(yōu)異的分類(lèi)識(shí)別效果。

圖5 數(shù)據(jù)特征分布可視化Fig.5 Data feature distribution visualization

4 結(jié)束語(yǔ)

本文針對(duì)sMRI 數(shù)據(jù)存在的域偏移問(wèn)題，提出了一種面向阿爾茨海默癥識(shí)別的多尺度域適應(yīng)網(wǎng)絡(luò)模型。模型主要分為3 個(gè)部分：多尺度特征提取模塊、對(duì)抗域適應(yīng)模塊和MDD 距離度量模塊。多尺度特征提取模塊中三維卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)MRI 數(shù)據(jù)進(jìn)行有效的特征提取，空間注意力和注意力一致性損失實(shí)現(xiàn)了病變區(qū)域定位和語(yǔ)義信息共享，基于空洞空間金字塔的多尺度融合模塊能夠獲取不同尺度的特征信息；相較于普遍使用一個(gè)域判別器的領(lǐng)域自適應(yīng)方法，本文的對(duì)抗域適應(yīng)模塊利用兩個(gè)域判別器的協(xié)同訓(xùn)練實(shí)現(xiàn)了數(shù)據(jù)的邊緣特征分布對(duì)齊，同時(shí)緩解了少樣本情形下單個(gè)域判別器的過(guò)擬合問(wèn)題；MDD 距離度量模塊通過(guò)最小化域間差異和最大化域內(nèi)密度達(dá)到增強(qiáng)特征對(duì)齊目標(biāo)的同時(shí)，改善了對(duì)抗學(xué)習(xí)訓(xùn)練不穩(wěn)定等問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文方法在ADNI 數(shù)據(jù)上的分類(lèi)準(zhǔn)確率等各項(xiàng)評(píng)價(jià)指標(biāo)優(yōu)于傳統(tǒng)的監(jiān)督學(xué)習(xí)方法和所比較的經(jīng)典以及最新的無(wú)監(jiān)督領(lǐng)域自適應(yīng)方法，消融實(shí)驗(yàn)、參數(shù)分析實(shí)驗(yàn)和特征分布可視化實(shí)驗(yàn)為模型的有效性提供了有力支持。