結(jié)合局部增強(qiáng)與L1/2范數(shù)的腦MRI超分辨率重建

姚喻凡 黃洪全

摘要：核磁共振（MR）成像受到醫(yī)學(xué)機(jī)器操控人員的操作經(jīng)驗(yàn)，操作人員與病人的協(xié)作程度以及設(shè)備運(yùn)行狀況等因素的影響，所獲取的圖像沒(méi)有足夠高的分辨率。針對(duì)這樣問(wèn)題，提出了局部特征增強(qiáng)EQSR（Enhanced quality super resolution）算法。實(shí)驗(yàn)結(jié)果表明：EQSR算法可以有效實(shí)現(xiàn)MRI的超分辨率重建，組織細(xì)節(jié)恢復(fù)效果明顯，在組織結(jié)構(gòu)恢復(fù)和客觀質(zhì)量標(biāo)準(zhǔn)評(píng)價(jià)方面，其性能優(yōu)于絕大多數(shù)的MRI超分辨率方法。

關(guān)鍵詞：超分辨率重建;腦部MRI;通道分離結(jié)構(gòu);通道注意力;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）26-0121-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 引言

超分辨率重建MR圖像使得圖像能應(yīng)用于清晰化低分辨率圖像以及AI腫瘤識(shí)別算法的訓(xùn)練上，具有重要的實(shí)際價(jià)值和意義，創(chuàng)新點(diǎn)主要有以下三個(gè)方面：

1） 利用殘差結(jié)構(gòu)防止深層的網(wǎng)絡(luò)結(jié)構(gòu)梯度消失和梯度爆炸，使系統(tǒng)具有更強(qiáng)的魯棒性，并用小尺度卷積層復(fù)合疊加在減少計(jì)算量的同時(shí)，匹配大尺度卷積帶來(lái)的等量感受野。

2） 在總體結(jié)構(gòu)上，利用跳躍鏈接將前幾層的增強(qiáng)塊輸出都連到最后，引入改進(jìn)的通道注意力模塊和亞像素卷積塊，提升信息豐富度以達(dá)到增加圖像的細(xì)節(jié)的效果。

3） 模型引入L1/2[2]范數(shù)作為結(jié)構(gòu)的損失調(diào)節(jié)，重構(gòu)的圖像視覺(jué)效果更好，獲得比L1范數(shù)更高的信噪比。

實(shí)驗(yàn)結(jié)果表明，EQSR算法對(duì)比起其他SR算法有更強(qiáng)的魯棒性。在組織結(jié)構(gòu)邊緣清晰化，消除偽影、噪聲信號(hào)和超分辨率重建速度上優(yōu)于大多數(shù)的SR算法。

2 MRI圖像超分辨率重建EQSR網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

在本文的算法中，把增強(qiáng)塊n之前的增強(qiáng)塊輸出特征圖用跳躍鏈接的方式融合起來(lái)，在其后接一個(gè)壓縮模塊減少通道數(shù)量。網(wǎng)絡(luò)結(jié)構(gòu)如下圖1所示，最后的增強(qiáng)塊用公式（1）表示，[En]表示第n個(gè)增強(qiáng)塊輸出，[Eall]表示加和所有的增強(qiáng)塊到一起的特征輸出。[concat]是合并數(shù)組的操作，將增強(qiáng)塊按照通道拼接起來(lái)，合并他們的輸出。

[Eall= concat（En，En-1，En-2，…，E1）]? ? ? ? ? ? ? ? ? ?（1）

2.1.1 殘差結(jié)構(gòu)的設(shè)計(jì)

殘差結(jié)構(gòu)的出現(xiàn)使得原本只有20～30層之間的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)提升至百層甚至幾百層的神經(jīng)網(wǎng)絡(luò)。深度殘差網(wǎng)絡(luò)ResNet[3]（Deep Residual Net）在2015由何愷明提出，并完成目標(biāo)檢測(cè)、圖像識(shí)別和目標(biāo)定位三大機(jī)器學(xué)習(xí)代表性任務(wù)的屠榜，在ILSVRC上性能指數(shù)甩開(kāi)一眾選手許多。將殘差結(jié)構(gòu)添加到神經(jīng)網(wǎng)絡(luò)當(dāng)中，既解決了梯度消失、梯度爆炸的問(wèn)題，又使得網(wǎng)絡(luò)的性能得到進(jìn)一步的提升。

2.1.2 上采樣結(jié)構(gòu)設(shè)計(jì)

如下圖2所示是進(jìn)行2、3倍上采樣的采樣模塊。圖3是4倍上采樣的結(jié)構(gòu)，利用兩個(gè)2、3倍上采樣進(jìn)行疊加。上采樣的過(guò)程主要作用是建立起由低分辨率圖像生成多尺度高分辨率的圖像。一般的神經(jīng)網(wǎng)絡(luò)會(huì)采用反卷積層對(duì)特征圖進(jìn)行卷積轉(zhuǎn)置，但是其中需要人工操作添加像素點(diǎn)，會(huì)引入一些人為因素造成的誤操作，影響重建質(zhì)量。本文采用亞像素卷積層，引用ESPCN[4]模型。整個(gè)上采樣模塊采用學(xué)習(xí)后特征圖與原輸入放大進(jìn)行融合的方式，保證模型良好的重建效果以及更短的重建速度。

3 實(shí)驗(yàn)

3.1實(shí)驗(yàn)數(shù)據(jù)組成以及實(shí)驗(yàn)設(shè)備

本實(shí)驗(yàn)的數(shù)據(jù)集選自NAMIC（National Alliance for Medical Image Computing）的腦部MRI數(shù)據(jù)庫(kù)（http ： //hdl.handle.net/1926/1687）。NAMIC數(shù)據(jù)集包含20個(gè)3D MRI圖像，每個(gè)3D圖像由176個(gè)256×256切片組成，體素大小為[1×1×1mm3]，T1w矩陣大小（TR = 7.4 m s，TE = 3 m s）和T2w（TR = 2500 m s，TE = 80 m s）。該算法的訓(xùn)練依賴(lài)于強(qiáng)大的TensorFlow框架，所有訓(xùn)練均在PC端上完成。計(jì)算機(jī)配置為：3.6GHz Ryzen-5-3600 CPU和NVIDIA GTX 1660Ti，利用通用并行計(jì)算構(gòu)架CUDA10.0實(shí)現(xiàn)。其中應(yīng)用的激活函數(shù)是LReLU，batch size大小設(shè)置為16，學(xué)習(xí)率[α]設(shè)置為0.0002.每迭代訓(xùn)練10次，[α=80%α]。算法總共迭代100次。整個(gè)訓(xùn)練過(guò)程用時(shí)11小時(shí)。

3.2實(shí)驗(yàn)評(píng)估指標(biāo)

為了選擇適合MR圖像的評(píng)價(jià)標(biāo)準(zhǔn)，選用最根本的PSNR峰值信噪比和結(jié)構(gòu)評(píng)判標(biāo)準(zhǔn)SSIM作為本次實(shí)驗(yàn)的指標(biāo)。其中MSE表示均方誤差，如公式（2）所示：

[MSE=1W×Hi=1HjWy（i，j）-y（i，j）2]? ? ? ? （2）

上式中[y（i，j）]表示重建預(yù)測(cè)圖，[y（i，j）]表示真實(shí)圖像，W和H分別表示圖像像素的寬和高，MSE和PSNR的關(guān)系如公式（3）所示。SSIM屬于全參考圖像質(zhì)量評(píng)價(jià)指標(biāo)，分別從對(duì)比度，圖像結(jié)構(gòu)以及圖像亮度去評(píng)判圖像的相似度。SSIM如公式（4）所示：

[PSNR=10log10（255MSE）2]? ? ? ? ? ? ? ? ? ? ? ?（3）

[SSIM（y，y）=1N×y，y=1N（2μyμy+c1）（2σyy+c2）（μy2+μy2+c1）（σy2+σy2+c2）]? （4）