基于半監(jiān)督級(jí)聯(lián)網(wǎng)絡(luò)的高質(zhì)量醫(yī)學(xué)圖像集增強(qiáng)

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,浙江 杭州 310023)

基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)已在自然圖像處理、物體識(shí)別[1-2]和特征提取[3]等熱門領(lǐng)域取得了顯著突破。然而在醫(yī)學(xué)圖像領(lǐng)域,由于某一特定病種的病例相對(duì)較少,且出于對(duì)病人隱私的保護(hù),使得醫(yī)學(xué)影像數(shù)據(jù)集的數(shù)量通常比較少,基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)性能也受到局限。同時(shí),為了防止網(wǎng)絡(luò)在學(xué)習(xí)過程中出現(xiàn)過擬合現(xiàn)象,模型對(duì)具有更高多樣性的數(shù)據(jù)集也有很大需求。因此,針對(duì)增強(qiáng)醫(yī)學(xué)圖像數(shù)據(jù)集的研究是迫切的、有意義的。目前,一方面,傳統(tǒng)的數(shù)據(jù)集增強(qiáng)方法不擅長(zhǎng)生成包含過于細(xì)節(jié)的高質(zhì)量圖像,尤其無法滿足醫(yī)學(xué)圖像對(duì)生理解剖學(xué)特征的需求;另一方面,雖然GAN的提出一定程度上緩解了上述問題,但在臨床表征復(fù)雜的情況下,仍然無法得到理想的醫(yī)學(xué)圖像合成圖。

針對(duì)上述問題,設(shè)計(jì)了一種基于半監(jiān)督學(xué)習(xí)的多輸入多分辨率多模板的生成對(duì)抗網(wǎng)絡(luò)。在級(jí)聯(lián)拉普拉斯金字塔生成網(wǎng)絡(luò)的基礎(chǔ)上,通過雙通道的網(wǎng)絡(luò)輸入為模型分別提供了基于監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的優(yōu)化目標(biāo),并使用網(wǎng)絡(luò)級(jí)聯(lián)的策略分解了高分辨率圖像的生成難度。此外,為了使級(jí)聯(lián)生成網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性得以提升,在各級(jí)網(wǎng)絡(luò)轉(zhuǎn)換時(shí)增加了“過渡機(jī)制”使其可以平滑地過渡到下一級(jí)網(wǎng)絡(luò),并且在每一級(jí)網(wǎng)絡(luò)的生成器中加入了稠密塊Dense block[4]的網(wǎng)絡(luò)結(jié)構(gòu),有效減少了網(wǎng)絡(luò)的參數(shù)量,避免梯度消失問題。

1 數(shù)據(jù)增強(qiáng)和圖像超分相關(guān)工作

主要研究工作是醫(yī)學(xué)圖像集的增強(qiáng),主要技術(shù)手段是圖像超分辨率。以下討論圖像集增強(qiáng)以及圖像超分辨率的相關(guān)工作。

1.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)可以防止大型神經(jīng)網(wǎng)絡(luò)過度擬合,特別是在訓(xùn)練樣本數(shù)量有限的情況下尤為重要。傳統(tǒng)的數(shù)據(jù)增強(qiáng)通常基于預(yù)定義的變換,如圖像翻轉(zhuǎn)、裁剪、旋轉(zhuǎn)或顏色變換,使數(shù)據(jù)集盡可能地?cái)U(kuò)充并且產(chǎn)生一些隨機(jī)性,避免過擬合的產(chǎn)生。與使用預(yù)定義的轉(zhuǎn)換不同,筆者使用基于深度學(xué)習(xí)的方法來進(jìn)行數(shù)據(jù)增強(qiáng)。

GAN是由Goodfellow等[5]提出的用于圖像生成的學(xué)習(xí)模型,它已被應(yīng)用于各種領(lǐng)域,如圖像超分辨率[6]、圖像配準(zhǔn)[7]、圖像分割[8-9]和數(shù)據(jù)增強(qiáng)等。在醫(yī)學(xué)圖像領(lǐng)域,一系列基于GAN的網(wǎng)絡(luò)GANs也被廣泛應(yīng)用,如Dong等[10]利用級(jí)聯(lián)的3D全卷積網(wǎng)絡(luò)從相應(yīng)的核磁共振MR圖像合成電子計(jì)算機(jī)斷層掃描CT圖像,為提高合成CT圖像的真實(shí)性,除對(duì)抗性訓(xùn)練外,他們還通過逐像素重建損失和圖像梯度損失訓(xùn)練模型。Jelmerjm等[11]用循環(huán)一致性生成對(duì)抗網(wǎng)絡(luò)CycleGAN將2D MR圖像轉(zhuǎn)換為CT圖像,用無需匹配的圖像對(duì)訓(xùn)練,而且由于成對(duì)訓(xùn)練數(shù)據(jù)集并不是完美匹配的,他們的訓(xùn)練不受此影響,甚至?xí)砹烁玫慕Y(jié)果。Dlaz-Pinto等[12]提出了一種基于深度卷積生成對(duì)抗網(wǎng)絡(luò)DCGAN的新型視網(wǎng)膜圖像合成器,用于訓(xùn)練青光眼評(píng)估的半監(jiān)督學(xué)習(xí)方法。Costa等[13]將GAN用于彩色視網(wǎng)膜圖像合成,該模型從一個(gè)簡(jiǎn)單的概率分布中進(jìn)行采樣,該概率分布被施加到相關(guān)的潛在空間上,根據(jù)用戶的需要生成盡可能多的視網(wǎng)膜圖像及其相應(yīng)的血管網(wǎng)絡(luò)。Hojjat等[14]實(shí)現(xiàn)了使用DCGAN來對(duì)胸部X光片進(jìn)行增廣,使用真實(shí)圖像和合成圖像的組合來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò),以檢測(cè)5 種類型的胸部X光片的病理狀況。通過對(duì)真實(shí)圖和合成圖組合訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)的比較研究表明:在病理學(xué)分類中,這些網(wǎng)絡(luò)優(yōu)于僅由真實(shí)圖像訓(xùn)練的類似網(wǎng)絡(luò),這種改進(jìn)的性能很大程度上歸因于使用GANs合成圖像的數(shù)據(jù)集的平衡。

直接用GANs一步生成全尺寸的高清圖像比較困難,Wang等[15]解決了合成多參數(shù)磁共振成像數(shù)據(jù)的問題,使用分段式GAN將一個(gè)大的任務(wù)分解成幾個(gè)僅生成子圖像的較簡(jiǎn)單任務(wù),進(jìn)而使用隔行的方式將子圖像無縫融合在一起,成為完整尺寸的圖像。Denton等[16]提出了拉普拉斯金字塔生成對(duì)抗網(wǎng)絡(luò)LAPGAN,該網(wǎng)絡(luò)模型基于拉普拉斯金字塔原理,通過級(jí)聯(lián)的生成對(duì)抗網(wǎng)絡(luò)GANs實(shí)現(xiàn)由粗略到精細(xì)逐級(jí)生成高分辨率的圖像,其網(wǎng)絡(luò)級(jí)聯(lián)的思想對(duì)后面的研究產(chǎn)生了極大的影響。NVIDIA實(shí)驗(yàn)室提出了一種基于網(wǎng)絡(luò)級(jí)聯(lián)的生成對(duì)抗網(wǎng)絡(luò)模型PGGAN,其主要思想是網(wǎng)絡(luò)“漸進(jìn)式生長(zhǎng)”,在該網(wǎng)絡(luò)模型中,隨著網(wǎng)絡(luò)的不斷訓(xùn)練,網(wǎng)絡(luò)中的層數(shù)會(huì)不斷地增加,越后面的網(wǎng)絡(luò)層用來訓(xùn)練相對(duì)更高頻的特征,并且可以平滑地過渡,這就意味著網(wǎng)絡(luò)可以利用更小的代價(jià)來增加網(wǎng)絡(luò)對(duì)低頻特征部分的訓(xùn)練,從而使網(wǎng)絡(luò)可以更快地學(xué)習(xí)高頻特征。

1.2 圖像超分

深度卷積神經(jīng)網(wǎng)絡(luò)在單幅圖像上的超分辨率取得了非常好的效果,Manjon等[17]和Rouseau等[18]也將圖像超分辨率應(yīng)用到了醫(yī)學(xué)圖像上。圖像超分辨率的一種常見方法是基于實(shí)例的方法,該方法利用高分辨率圖像和低分辨率圖像的信息,生成近似原始高分辨率圖像的超分辨率版本。現(xiàn)有的大部分超分網(wǎng)絡(luò)都是基于監(jiān)督學(xué)習(xí)的,如Dong等[19]提出的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建SRCNN和深度遞歸卷積網(wǎng)絡(luò)DRCN[20]。Ledig等[6]提出了超分辨率生成對(duì)抗網(wǎng)絡(luò)SRGAN,其使用GAN訓(xùn)練超分網(wǎng)絡(luò)以恢復(fù)在視覺上更令人信服的超分辨率SR圖像。漸進(jìn)式增長(zhǎng)模型的提出大大提高了超分網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性,如基于稀疏編碼的網(wǎng)絡(luò)[22]和深層拉普拉斯金字塔超分辨率網(wǎng)絡(luò)LapSRN[22]。Zhao等[23]提出了一種新穎的拉普拉斯超分辨率生成對(duì)抗網(wǎng)絡(luò)LSRGAN來提高心臟磁共振成像MRI的分辨率,該方法的亮點(diǎn)是將GAN和拉普拉斯金字塔相結(jié)合,該模型解決了分辨率不足和在超分辨率后產(chǎn)生MRI幻覺細(xì)節(jié)的問題,為醫(yī)學(xué)專家提供了一種出色的超分辨率方法,被應(yīng)用于診斷和治療心肌缺血和心肌梗塞。Goyal等[24]提出了一種基于加權(quán)最小二乘優(yōu)化的醫(yī)學(xué)超分辨率重建方法,該網(wǎng)絡(luò)通過多尺度卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行病變的定位,加權(quán)最小二乘優(yōu)化策略特別適用于逐步粗化輸入圖像并同時(shí)提取多尺度信息。

2 半監(jiān)督級(jí)聯(lián)生成對(duì)抗網(wǎng)絡(luò)

筆者所提網(wǎng)絡(luò)模型是一種基于半監(jiān)督學(xué)習(xí)的級(jí)聯(lián)生成對(duì)抗網(wǎng)絡(luò),總體網(wǎng)絡(luò)框架如圖1所示。總體網(wǎng)絡(luò)框架由生成模板模塊、生成器模塊G和判別器模塊D組成。在級(jí)聯(lián)拉普拉斯金字塔生成網(wǎng)絡(luò)的基礎(chǔ)上,給網(wǎng)絡(luò)設(shè)計(jì)了兩條輸入通道,一條是無監(jiān)督學(xué)習(xí)部分(實(shí)線部分),將一個(gè)隨機(jī)噪點(diǎn)輸入到生成器模塊,經(jīng)過級(jí)聯(lián)GAN網(wǎng)絡(luò)的對(duì)抗學(xué)習(xí)逐級(jí)生成高分辨率圖像,該部分利用GAN網(wǎng)絡(luò)生成圖像的隨機(jī)性來保證增廣后數(shù)據(jù)集的多樣性;另一條是有監(jiān)督學(xué)習(xí)部分(虛線部分),將生成模板中逐級(jí)下采樣后得到的4×4像素的真實(shí)醫(yī)學(xué)圖像作為網(wǎng)絡(luò)的輸入,經(jīng)過每一級(jí)網(wǎng)絡(luò)后進(jìn)行2倍超分,并將生成模板中其他分辨率級(jí)的圖像作為網(wǎng)絡(luò)真值Ground-truth來監(jiān)督網(wǎng)絡(luò)學(xué)習(xí),生成模板的輸入使生成器生成的醫(yī)學(xué)圖像更符合臨床意義。此外,為了使級(jí)聯(lián)生成網(wǎng)絡(luò)訓(xùn)練得更加穩(wěn)定,在各級(jí)網(wǎng)絡(luò)轉(zhuǎn)換時(shí)增加了“過渡機(jī)制”使其可以平滑地過渡到下一級(jí)網(wǎng)絡(luò)。在每一級(jí)網(wǎng)絡(luò)的生成器中加入Dense block[4]的網(wǎng)絡(luò)結(jié)構(gòu),有效減少了網(wǎng)絡(luò)的參數(shù)量和避免了梯度消失問題。以下介紹生成模板的結(jié)構(gòu)和使用、生成器模塊和判別器模塊的作用以及文本模型在不同輸入通道下所用到的優(yōu)化目標(biāo)及公式。

圖1 整體網(wǎng)絡(luò)框架Fig.1 Global network framework

2.1 生成模板

考慮到所生成圖像為醫(yī)學(xué)圖像,因此在訓(xùn)練過程中需保證圖像的合成符合醫(yī)學(xué)圖像人體解剖學(xué)結(jié)構(gòu)的低頻特征(輪廓、結(jié)構(gòu)和形狀等)。針對(duì)該問題,提出了生成模板策略,如圖2所示。生成模板中的圖像為真實(shí)的醫(yī)學(xué)圖像,用于輔助網(wǎng)絡(luò)訓(xùn)練以及作為增廣過程中的參考,將512×512分辨率大小的醫(yī)學(xué)圖像原圖經(jīng)過高斯下采樣以2倍的分辨率逐級(jí)遞減,每張圖再經(jīng)過2倍上采樣得到模糊圖,將模糊圖與上一級(jí)的原圖相減得到每一級(jí)的殘差圖。生成模板有兩個(gè)作用:1) 在無監(jiān)督學(xué)習(xí)中(綠色路線),將生成模板中各級(jí)分辨率大小的真實(shí)醫(yī)學(xué)圖和殘差圖輸入到對(duì)應(yīng)層級(jí)網(wǎng)絡(luò)的辨別器中,有助于生成器所生成圖像的風(fēng)格和模板中的醫(yī)學(xué)圖像風(fēng)格一致;2) 在有監(jiān)督學(xué)習(xí)中,將生成模板中最后一級(jí)4×4分辨率大小的圖像作為初始輸入傳給網(wǎng)絡(luò),而模板中的其他各級(jí)真實(shí)數(shù)據(jù)則作為Ground-truth監(jiān)督生成器,并輸入到相應(yīng)分辨率級(jí)別的判別器模型中。

圖2 生成模板Fig.2 Generation template

2.2 生成器模塊和辨別器模塊的結(jié)構(gòu)和作用

筆者設(shè)計(jì)的網(wǎng)絡(luò)一共有8層級(jí)聯(lián),最終生成的醫(yī)學(xué)圖像分辨率為512×512。第一層網(wǎng)絡(luò)中采用解碼器結(jié)構(gòu),實(shí)現(xiàn)從一個(gè)隨機(jī)噪點(diǎn)到4×4分辨率醫(yī)學(xué)圖像的合成,從第二層網(wǎng)絡(luò)開始,實(shí)現(xiàn)從低分辨率圖像到高分辨率圖像的轉(zhuǎn)換,使得低分辨率的醫(yī)學(xué)圖像依次超分到2倍的分辨率。網(wǎng)絡(luò)中各級(jí)生成器接收來自上一級(jí)網(wǎng)絡(luò)的輸出圖像作為輸入,在有監(jiān)督學(xué)習(xí)階段中,生成器還輸入生成模板中對(duì)應(yīng)分辨率下的真實(shí)醫(yī)學(xué)圖像和殘差圖并計(jì)算L1損失,目的是幫助生成器生成更符合真實(shí)醫(yī)學(xué)圖像解剖學(xué)特征的合成圖。在無監(jiān)督學(xué)習(xí)階段中,判別器模塊中共有8組判別器,每組判別器中有1個(gè)殘差圖判別器和1個(gè)醫(yī)學(xué)圖像判別器。殘差圖判別器接收來自網(wǎng)絡(luò)生成的殘差偽圖和生成模板中的真實(shí)殘差圖,醫(yī)學(xué)圖像判別器接收來自網(wǎng)絡(luò)生成的醫(yī)學(xué)偽圖和生成模板中的真實(shí)醫(yī)學(xué)圖像,分別計(jì)算出對(duì)抗損失并反傳給生成器。

在每一層網(wǎng)絡(luò)的生成器中引用了Dense block[4]的網(wǎng)絡(luò)結(jié)構(gòu),在每一個(gè)稠密塊中,每層網(wǎng)絡(luò)處理得到的結(jié)果會(huì)被其他所有層所共享,這樣的特征處理方法不僅可以和Resnet一樣避免梯度消失的問題,而且具有加強(qiáng)特征傳播、支持特征復(fù)用和減少參數(shù)量等優(yōu)點(diǎn),并且有效提升了網(wǎng)絡(luò)生成圖像的清晰度。

在訓(xùn)練過程中分辨率加倍時(shí),網(wǎng)絡(luò)任務(wù)量的突然增加會(huì)造成網(wǎng)絡(luò)性能下降。借鑒PGGAN模型中的“過渡機(jī)制”,讓網(wǎng)絡(luò)平滑地過渡到下一級(jí)別的分辨率,使網(wǎng)絡(luò)整體的訓(xùn)練更加穩(wěn)定。將較高分辨率下的網(wǎng)絡(luò)層視為殘差塊,與模糊圖采用可變權(quán)重參數(shù)α相加后再傳給下一層網(wǎng)絡(luò)。其權(quán)重參數(shù)α從0到1線性增加。當(dāng)網(wǎng)絡(luò)開始改變分辨率時(shí),α的取值為0,整個(gè)網(wǎng)絡(luò)的工作量幾乎沒有變化。隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行,讓?duì)林饾u增大,網(wǎng)絡(luò)輸出的圖像也慢慢清晰,直到α的值等于1,說明網(wǎng)絡(luò)已經(jīng)完成對(duì)該級(jí)分辨率上超分過程的適應(yīng),就可以繼續(xù)進(jìn)行下一級(jí)分辨率的提升。

2.3 網(wǎng)絡(luò)模型的優(yōu)化目標(biāo)

用來訓(xùn)練生成器G的數(shù)據(jù)一共有兩條線路,第一條線路是無監(jiān)督學(xué)習(xí)方式,如圖3所示。從隨機(jī)噪點(diǎn)Z出發(fā),經(jīng)過編碼器放大到4×4大小分辨率的圖像,再上采樣到8×8分辨率的模糊圖像,將該圖輸入到生成器G,G生成的8×8分辨率的殘差圖和8×8分辨率的模糊圖像疊加,生成8×8分辨率的高清圖像,以此類推直到生成最終的高分辨率圖像。每一層的D模塊都包含一個(gè)殘差圖判別器和一個(gè)醫(yī)學(xué)圖像判別器,分別對(duì)輸入的殘差圖和融合后的醫(yī)學(xué)圖像計(jì)算損失值,并反饋給G模塊。判別器中的真實(shí)樣本來自于生成模板中高分辨率的真實(shí)醫(yī)學(xué)圖像經(jīng)過高斯下采樣后得到的真實(shí)圖和殘差圖。

圖3 無監(jiān)督學(xué)習(xí)的訓(xùn)練Fig.3 Training of unsupervised learning

其中第一層網(wǎng)絡(luò)中的G1用于將隨機(jī)噪點(diǎn)生成4×4分辨率大小的醫(yī)學(xué)圖像偽圖g1(z),d1則用于判別其真?zhèn)?對(duì)抗損失函數(shù)Adv的計(jì)算式為

(1)

式中:x為生成模板中提供的真實(shí)醫(yī)學(xué)圖像;z為低維的隨機(jī)噪點(diǎn);E(*)表示分布函數(shù)的期望值;P(x)表示真實(shí)樣本的分布;P(z)表示低緯的噪聲分布。

第二層網(wǎng)絡(luò)以后的d1,g1需要對(duì)生成的醫(yī)學(xué)圖像偽圖和殘差偽圖分別計(jì)算損失,計(jì)算式為

(2)

無監(jiān)督學(xué)習(xí)線路的總損失函數(shù)的計(jì)算式為

LAdv=Adv1+Adv2

(3)

第二條線路是有監(jiān)督學(xué)習(xí)方式,如圖4所示。由生成模板中的4×4分辨率真實(shí)醫(yī)學(xué)圖像作為網(wǎng)絡(luò)生成器模塊的輸入,上采樣后經(jīng)過和第一條線路一樣的步驟,輸入給G生成殘差圖并和上采樣后的模糊圖合成為高清圖。不同的是,線路二不經(jīng)過判別器D,而是和生成模板中對(duì)應(yīng)分辨率的圖像進(jìn)行逐像素的L1損失計(jì)算得到特征圖域的差值損失,并將損失反傳回G模塊。該線路可以使得生成器G模塊的生成圖像更加符合真實(shí)醫(yī)學(xué)圖像的解剖學(xué)特征。有監(jiān)督學(xué)習(xí)線路的均方誤差損失函數(shù)MAE的計(jì)算式為

(4)

(5)

L1=MAE1+MAE2

(6)

圖4 有監(jiān)督學(xué)習(xí)的訓(xùn)練Fig.4 Training of supervised learning

根據(jù)無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)所涉及到的損失L1和LAdv,可將筆者總體的優(yōu)化目標(biāo)概括為

LOSS=LAdv+λL1

(7)

式中:LOSS為網(wǎng)絡(luò)總體損失函數(shù);λ為超參數(shù),用來控制LAdv與L1之間的權(quán)重,其中的對(duì)抗損失LAdv是為了確保生成的圖像與生成模板中的醫(yī)學(xué)圖像風(fēng)格保持統(tǒng)一又不缺失多樣性,逐像素?fù)p失L1是確保生成圖像符合醫(yī)學(xué)圖像的解剖學(xué)特征(臨床意義)。通過該優(yōu)化目標(biāo)的整合,既有效地提高了增廣后醫(yī)學(xué)圖像集的質(zhì)量,也提升了下游用于醫(yī)學(xué)圖像處理的深度學(xué)習(xí)網(wǎng)絡(luò)性能。

3 結(jié)果與分析

3.1 數(shù)據(jù)集和訓(xùn)練參數(shù)

實(shí)驗(yàn)采用數(shù)據(jù)為與浙江大學(xué)醫(yī)學(xué)院第一附屬醫(yī)院合作所得的腹部CT數(shù)據(jù)集,共2 000張,樣本分辨率均為512×512。選取其中1 800張作為訓(xùn)練集,200張作為測(cè)試集。網(wǎng)絡(luò)訓(xùn)練總共迭代1 000個(gè)epoch,batch-size設(shè)為4,模型所用優(yōu)化器為Adam,初始學(xué)習(xí)率設(shè)為0.000 1,訓(xùn)練設(shè)備為4聯(lián)2080TI GPU,訓(xùn)練框架為pytorch 1.1。

3.2 對(duì)比方法和評(píng)價(jià)指標(biāo)

研究動(dòng)機(jī)是生成大量高質(zhì)量的醫(yī)學(xué)圖像,超分辨率是在生成過程中使用的一種技術(shù)手段,為了驗(yàn)證所提方法的有效性,分別進(jìn)行了圖像生成過程中超分辨率階段的性能實(shí)驗(yàn)和最終生成圖像質(zhì)量及多樣性的實(shí)驗(yàn)。采用了多組對(duì)比實(shí)驗(yàn)?zāi)Ｐ腿鏟GGAN、DCGAN、LAPGAN[16]以及基于Wassertein距離和梯度懲罰的主成對(duì)抗網(wǎng)絡(luò)WGAN-GP[25],采用兩種常用的圖像質(zhì)量標(biāo)準(zhǔn)峰值信噪比PSNR和結(jié)構(gòu)相似性SSIM來評(píng)價(jià)網(wǎng)絡(luò)超分辨率階段的性能,采用正態(tài)分布距離FID[26]和信息保真度IFC[27]來衡量網(wǎng)絡(luò)所生成圖像的質(zhì)量和多樣性。FID是一種廣泛使用的度量GAN網(wǎng)絡(luò)生成圖像質(zhì)量好壞以及多樣性的標(biāo)準(zhǔn),它用于計(jì)算真實(shí)樣本和生成樣本在特征空間之間的距離,Wang等[28]和Zuo等[29]用來評(píng)價(jià)醫(yī)學(xué)圖像生成的質(zhì)量,較低的FID意味著圖片有較高的質(zhì)量和較好的多樣性。IFC是通過計(jì)算圖像之間的相同信息來衡量待評(píng)圖像的質(zhì)量?jī)?yōu)劣,也被用于評(píng)價(jià)醫(yī)學(xué)圖像的質(zhì)量[30-31]。

3.3 超分辨率實(shí)驗(yàn)結(jié)果

將筆者方法與現(xiàn)有圖像超分算法在定量結(jié)果和視覺結(jié)果方面進(jìn)行比較。將一張?jiān)挤直媛实母共緾T圖像分別用雙三次下采樣到2倍、4倍和8倍的大小,然后在相同的硬件設(shè)備上使用不同方法進(jìn)行了2倍、4倍和8倍的超分辨率重建,并計(jì)算出PSNR值和SSIM值,粗體數(shù)字表示最佳結(jié)果,如表1所示。由表1可知筆者的方法性能最好。為了更直觀地進(jìn)行視覺上的比較,提供了實(shí)驗(yàn)效果圖,如圖5所示。在4倍和8倍的超分辨率上,模型能生成更清晰的邊緣和形狀,而其他方法給出的邊緣和形狀較為模糊。實(shí)驗(yàn)結(jié)果證明了筆者模型在圖像超分辨率階段的有效性。

表1 不同網(wǎng)絡(luò)超分辨率性能比較

圖5 不同方法在4倍和8倍超分辨率的視覺比較Fig.5 Visual comparison of different methods in 4× and 8× super resolution

3.4 生成圖像的質(zhì)量和多樣性

將筆者模型與現(xiàn)有基于GAN的圖像生成算法進(jìn)行了比較,在相同的硬件環(huán)境下,分別讓網(wǎng)絡(luò)生成256×256和512×512分辨率大小的圖像,并分別計(jì)算其FID[26]和IFC[27]。如表2所示,在兩種不同分辨率結(jié)果下,筆者方法的FID[26]和IFC[27]指標(biāo)都較好于其他生成模型。筆者方法與其他基于GAN方法生成的512×512分辨率的腹部CT圖像如圖6所示。由圖6可知:其他網(wǎng)絡(luò)模型生成的醫(yī)學(xué)圖像存在著生理結(jié)構(gòu)錯(cuò)位、清晰度差、噪聲過多、多樣性差等問題,而筆者模型生成的醫(yī)學(xué)圖像生理結(jié)構(gòu)清晰且有更好的多樣性,實(shí)驗(yàn)結(jié)果證明了筆者所提網(wǎng)絡(luò)模型可以生成高質(zhì)量且滿足多樣性需求的醫(yī)學(xué)圖像。

表2 筆者方法與其他GAN方法在生成不同分辨率 圖像上的性能對(duì)比

圖6 不同方法所生成的512×512圖像Fig.6 512×512 images generated by different methods

4 結(jié) 論

為了增強(qiáng)高質(zhì)量的醫(yī)學(xué)圖像數(shù)據(jù)集,提出了一種新穎的基于半監(jiān)督學(xué)習(xí)的多輸入多分辨率多模板的級(jí)聯(lián)生成對(duì)抗網(wǎng)絡(luò)。通過雙通道的網(wǎng)絡(luò)輸入分別為模型提供了基于監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的優(yōu)化目標(biāo),并使用網(wǎng)絡(luò)級(jí)聯(lián)的策略分解了高分辨率圖像的生成難度,所設(shè)計(jì)的生成模板在每個(gè)分辨率尺度上為雙通道的合成圖提供了多類別的參考模板,提升了生成圖臨床表征的準(zhǔn)確性。分別對(duì)所提方法進(jìn)行了超分辨率階段性能測(cè)試和圖像最終生成質(zhì)量及多樣性的測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果證明了筆者所提方法的有效性。但是,基于深度學(xué)習(xí)的醫(yī)學(xué)圖像集增強(qiáng)算法在面對(duì)生理結(jié)構(gòu)更復(fù)雜的醫(yī)學(xué)圖像時(shí),難以精準(zhǔn)地生成符合人體解剖學(xué)特征的圖像,其延展性還有待提高。因此,未來的工作重點(diǎn)是在此算法基礎(chǔ)上加以改善,解決更復(fù)雜生理結(jié)構(gòu)醫(yī)學(xué)圖像的合成,使模型具有更好的泛化性和準(zhǔn)確性。