多重放大的醫(yī)學(xué)圖像超分辨率重建

章偉帆，曾慶鵬

南昌大學(xué) 信息工程學(xué)院，南昌 330031

隨著CT、磁共振等醫(yī)療影像技術(shù)的廣泛應(yīng)用，醫(yī)學(xué)圖像已成為臨床診斷過程中的重要參考信息。醫(yī)學(xué)圖像的質(zhì)量會對醫(yī)生的臨床判斷產(chǎn)生重要的影響，清晰且紋理細節(jié)豐富的醫(yī)學(xué)圖像可以提供更加全面的病理信息[1]。高分辨率的醫(yī)學(xué)成像設(shè)備往往造價高昂，通過增加掃描次數(shù)或掃描時間取得高分辨率醫(yī)學(xué)圖像的方式，易出現(xiàn)過量輻射或運動偽影的情況[2]。單幅圖像超分辨率（single image super-resolution，SISR）是指通過一幅低分辨率（low-resolution，LR）圖像，生成高分辨率（highresolution，HR）圖像的過程[3]，其被廣泛應(yīng)用于安防監(jiān)控、醫(yī)學(xué)圖像和衛(wèi)星遙感等領(lǐng)域中[4]。利用超分辨率重建的方法獲取高質(zhì)量的醫(yī)學(xué)圖像，成本更低，安全風險更小。

超分辨率重建的方法大致可以被分為三類[5]：基于插值的方法，基于重構(gòu)的方法，以及基于學(xué)習的方法。插值法實現(xiàn)起來更簡單，但重建得到的圖像易出現(xiàn)混疊與模糊的現(xiàn)象[6]。重構(gòu)法通常需要明確的先驗信息對結(jié)果進行約束，相比插值法重建效果更好，但往往難以確定求解模型，在較大的放大因子下易出現(xiàn)先驗信息不足的問題[7]。淺層學(xué)習法一般需手動地選擇圖像特征和參數(shù)，并進行手工的調(diào)整，建立LR圖像和HR圖像之間的映射關(guān)系[8]，對人員專業(yè)性要求較高。

深度學(xué)習的方法并不顯式地學(xué)習LR圖像與HR圖像之間的映射，而是通過訓(xùn)練網(wǎng)絡(luò)模型取得一組權(quán)值，隱式完成二者之間的映射。Dong等人[9]首先將深度學(xué)習的方法引入SISR問題，提出基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率網(wǎng)絡(luò)模型SRCNN。與傳統(tǒng)方法相比，重建效果得到明顯提高。但對LR圖像插值放大至HR大小后輸入網(wǎng)絡(luò)模型，增加了計算負載。Dong等人[10]在SRCNN上進行改進，提出基于反卷積的快速圖像超分辨率網(wǎng)絡(luò)模型FSRCNN?？芍苯虞斎隠R圖像進行處理，在網(wǎng)絡(luò)模型的末端利用反卷積的方法，將特征圖放大至HR大小。顯著地提高了圖像的重建速度，但易出現(xiàn)棋盤偽影等現(xiàn)象。Shi等人[11]引入亞像素的概念，提出基于亞像素卷積的超分辨率重建網(wǎng)絡(luò)模型ESPCN。在末端利用亞像素卷積對特征圖進行像素重排。反卷積法與亞像素法也被應(yīng)用到后續(xù)眾多基于深度學(xué)習的超分辨率重建網(wǎng)絡(luò)模型中。

Kim等人[12]將殘差跳躍連接結(jié)構(gòu)引入超分辨率重建任務(wù)，提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建網(wǎng)絡(luò)模型VDSR。通過殘差連接能夠建立更深的網(wǎng)絡(luò)結(jié)構(gòu)，增強網(wǎng)絡(luò)模型的特征提取能力。Tong等人[13]將密集連接結(jié)構(gòu)引入超分辨率重建任務(wù)，提出基于密集跳躍連接的超分辨率重建網(wǎng)絡(luò)模型SRDenseNet。在網(wǎng)絡(luò)層之間建立更為激進的跳躍連接結(jié)構(gòu)，每一層的輸入都來自于之前所有層的融合，實現(xiàn)淺層特征的復(fù)用。Zhang等人[14]結(jié)合殘差連接與密集連接，提出基于密集殘差網(wǎng)絡(luò)結(jié)構(gòu)的圖像復(fù)原網(wǎng)絡(luò)模型RDN。實現(xiàn)特征與梯度的良好傳遞，取得了更好的重建效果。

當前大多數(shù)基于深度學(xué)習的超分辨率重建網(wǎng)絡(luò)模型都只針對彩色的自然圖像，面向醫(yī)學(xué)圖像重建任務(wù)的較少。醫(yī)學(xué)圖像往往紋理細節(jié)更加復(fù)雜，對圖像結(jié)構(gòu)的準確還原有更高的要求。此外，大多數(shù)基于深度學(xué)習的方法都需要為每個放大因子單獨訓(xùn)練一個模型，且局限于整數(shù)放大因子，限制了重建模型的實際應(yīng)用。

為此，本文提出一種支持多重放大的醫(yī)學(xué)圖像超分辨率重建網(wǎng)絡(luò)模型（multi-scale medical image superresolution used 2-RDB，M2SR）。改進密集殘差結(jié)構(gòu)的跳躍連接方式，逆序方式建立更為稀疏的層間連接，將連接復(fù)雜度由指數(shù)級降至對數(shù)級，改善網(wǎng)絡(luò)模型不平衡的問題。采用元信息直接嵌入模式對特征圖重建結(jié)構(gòu)進行改進，跨任務(wù)地學(xué)習不同放大因子間的通用知識，并動態(tài)地生成權(quán)值。所提的M2SR網(wǎng)絡(luò)模型同時考慮像素坐標信息與放大因子信息，較好地實現(xiàn)了小數(shù)與整數(shù)放大因子重建任務(wù)的整合。

1 相關(guān)工作

1.1 密集殘差塊

對于卷積神經(jīng)網(wǎng)絡(luò)而言，往往越深的網(wǎng)絡(luò)，訓(xùn)練得到的結(jié)果會越好。但是隨著網(wǎng)絡(luò)的加深，容易出現(xiàn)梯度消失或梯度爆炸的現(xiàn)象。He等人[15]提出殘差學(xué)習的思想，通過增加跳躍連接，直接將梯度由網(wǎng)絡(luò)的淺層傳遞至深層部分，較好地解決了深層網(wǎng)絡(luò)難以訓(xùn)練的問題。Huang等人[16]進一步提出了密集連接結(jié)構(gòu)。在密集塊中，每一個卷積層的輸入都是之前所有層的輸出。密集殘差網(wǎng)絡(luò)結(jié)構(gòu)則融合了密集連接和殘差學(xué)習的思想，基本組成單位為密集殘差塊（residual dense block，RDB），其主要結(jié)構(gòu)如圖1所示。

圖1 密集殘差塊結(jié)構(gòu)Fig.1 Structure of residual dense block

通常的網(wǎng)絡(luò)傳播方式中，第l+1層的輸入只來源于第l層的輸出xl。在殘差密集塊中，第l+1層的輸入則來源于之前的所有層，如公式（1）所示：

其中，函數(shù)H()·表示各層輸出的特征圖在通道方向上的拼接融合。通過Padding操作，保持每個卷積層輸出的特征圖大小一致。在密集殘差塊中，總的跳躍連接數(shù)量如公式（2）所示：

其中，Nskip表示總的跳躍連接數(shù)量，NL表示密集殘差塊內(nèi)卷積層數(shù)量?？偟倪B接數(shù)量呈指數(shù)級O(n2)增長。特征圖融合層利用1×1卷積，對拼接后的特征圖進行降維融合，以匹配下一個密集殘差塊的輸入。

1.2 元學(xué)習

元學(xué)習也可以被稱為學(xué)會學(xué)習。一般的機器學(xué)習策略往往是對訓(xùn)練數(shù)據(jù)的學(xué)習，元學(xué)習則上升為對任務(wù)的學(xué)習[17]。元學(xué)習往往將一組相近的任務(wù)看作某個復(fù)雜任務(wù)的簡單子任務(wù)，通過跨任務(wù)的比較學(xué)習，獲得各個簡單子任務(wù)間可遷移的通用知識[18]。元學(xué)習被廣泛應(yīng)用于零樣本學(xué)習、少樣本學(xué)習與遷移學(xué)習等領(lǐng)域[19]。最簡單直接的元學(xué)習策略則是元信息動態(tài)嵌入模型的模式。通常元學(xué)習策略通過跨任務(wù)學(xué)習超參后再取得一組權(quán)重，元信息動態(tài)嵌入的模式直接由訓(xùn)練任務(wù)取得權(quán)重，越過超參賦值的過程。在圖像處理領(lǐng)域中，往往是動態(tài)地更新不同子任務(wù)的權(quán)重。在分類任務(wù)中，Cai等人[20]利用元學(xué)習策略，將分類模型遷移至新的小樣本分類任務(wù)，使網(wǎng)絡(luò)模型獲得對新類別的分類能力。在目標檢測任務(wù)中，Yang等人[21]結(jié)合元學(xué)習策略，動態(tài)地生成檢測錨點與邊界，不再需要進行預(yù)定義的操作。本文利用元學(xué)習策略學(xué)習不同放大因子重建任務(wù)間的通用知識，嵌入一個小型的神經(jīng)網(wǎng)絡(luò)更新特征圖放大重建部分的權(quán)重，完成多重放大因子的醫(yī)學(xué)圖像超分辨率重建任務(wù)。

2 M2SR網(wǎng)絡(luò)模型

2.1 改進連接的2-RDB結(jié)構(gòu)

本文對原密集殘差結(jié)構(gòu)中的跳躍連接進行了改進，提出2-RDB結(jié)構(gòu)，并作為M2SR網(wǎng)絡(luò)模型的一部分。其結(jié)構(gòu)如圖2所示。

圖2 改進連接的2-RDB結(jié)構(gòu)Fig.2 Structure of 2-RDB modified skip

在2-RDB結(jié)構(gòu)中仍保留殘差跳躍連接，對于密集跳躍連接則有兩種組織方式：雙層跳躍與多層跳躍。雙層跳躍以2個卷積層為一組添加跳躍連接，多層跳躍以2倍增長的方式，逆序地確定跳躍連接的位置。

在圖2中對2-RDB中的卷積層進行編號，上方的為正序編號，下方的為逆序編號。多層跳躍連接的特征圖拼接融合如公式（3）所示：

其中，函數(shù)H(·)表示對特征圖拼接融合，xi表示第i層的輸入，N表示2-RDB中卷積層的數(shù)量，c為正整數(shù)，滿足2c≤N。公式（3）中為正序編號表示，若由逆序表示，則需傳遞的是第-2n卷積層的輸入。以圖2中由8個卷積層組成的2-RDB為例，需連接第-2、-4、-8個卷積層的輸入，即正序編號的第1、5、7個卷積層的輸入。

在改進連接的2-RDB結(jié)構(gòu)中，密集跳躍連接的數(shù)量如公式（4）所示：

改進后的結(jié)構(gòu)中，連接數(shù)量以對數(shù)級O(lbn)增長。與公式（2）相比，連接復(fù)雜度由指數(shù)級降至對數(shù)級。避免了網(wǎng)絡(luò)層數(shù)增長時，連接數(shù)量爆炸增長的問題。

此外，2-RDB中的多層跳躍使連接操作集中于網(wǎng)絡(luò)模型的末端，增強對深層特征的提取能力，能夠更好地還原醫(yī)學(xué)圖像的細微紋理信息。原密集殘差結(jié)構(gòu)中，來自淺層的特征圖會被反復(fù)傳遞，在網(wǎng)絡(luò)的末端，新增的存儲狀態(tài)多數(shù)被用于保存淺層特征。逆序編號的多層跳躍方式改善了原結(jié)構(gòu)中，淺層特征占比過高的問題。

多層跳躍方式下，網(wǎng)絡(luò)模型前端的連接較為稀疏。為此，以兩個卷積層為一組添加雙層跳躍連接，以維持淺層特征的良好傳遞能力，改善原網(wǎng)絡(luò)模型結(jié)構(gòu)不平衡的問題。

2.2 M2SR網(wǎng)絡(luò)模型的整體結(jié)構(gòu)

M2SR網(wǎng)絡(luò)模型以2-RDB結(jié)構(gòu)為主要組件，并采用元信息動態(tài)嵌入的模式，實現(xiàn)多重放大的醫(yī)學(xué)圖像超分辨率重建任務(wù)。其整體結(jié)構(gòu)如圖3所示。

圖3 M2SR網(wǎng)絡(luò)模型的整體結(jié)構(gòu)Fig.3 Framework of M2SR network

本文提出的M2SR網(wǎng)絡(luò)模型仍保持原密集殘差網(wǎng)絡(luò)模型的基本組成方式，特征提取部分則由若干個2-RDB依次連接而成。不再將所有的2-RDB塊間的輸出進行傳遞，而是有間隔地輸出至網(wǎng)絡(luò)末端進行拼接融合操作，跳躍連接總數(shù)降低至N/2，如公式（5）所示：

特征圖的放大重建部分采樣元信息動態(tài)嵌入的模式，通過坐標投影矩陣與坐標掩碼矩陣對特征圖進行重構(gòu)，以還原高分辨率的醫(yī)學(xué)圖像。

此外，在M2SR網(wǎng)絡(luò)模型中，一律不包含池化與批歸一化操作。池化操作容易引起模糊效應(yīng)，會對醫(yī)學(xué)圖像的紋理信息造成破壞。批歸一化操作主要用于突出相對差異，而低分辨率與高分辨率的醫(yī)學(xué)圖像之間高度相似，但絕對差異很大，批歸一化操作可能降低重建圖像的質(zhì)量。

基于元學(xué)習的重建結(jié)構(gòu)將醫(yī)學(xué)圖像的重建任務(wù)整體地看作為一個復(fù)雜任務(wù)，將不同放大因子的重建任務(wù)看作該任務(wù)的簡單子任務(wù)。利用元信息直接嵌入的特征圖重建模塊與向量轉(zhuǎn)換對齊操作，將孤立的不同放大因子醫(yī)學(xué)圖像重建任務(wù)，轉(zhuǎn)化為對各個簡單子任務(wù)間通用知識的學(xué)習，實現(xiàn)多重放大因子的重建任務(wù)。

2.3 元信息嵌入重建模塊

一般的重建模型中，在特征圖的放大重建階段是為每個放大因子學(xué)習一組固定的權(quán)重。在基于元學(xué)習的M2SR結(jié)構(gòu)中，將一個小型神經(jīng)網(wǎng)絡(luò)直接嵌入特征圖重建模塊，為不同的放大因子動態(tài)生成一組權(quán)重。將對數(shù)據(jù)的學(xué)習，轉(zhuǎn)換為對任務(wù)的學(xué)習。其結(jié)構(gòu)如圖4所示。

圖4 元信息嵌入結(jié)構(gòu)Fig.4 Structure of meta-information embedding

元信息嵌入結(jié)構(gòu)共有三個輸入，特征圖F、坐標投影矩陣Ep，以及坐標掩碼矩陣Em。坐標投影矩陣Ep由三個矩陣拼接而成，分別保存橫、縱坐標信息與放大因子信息。對于HR醫(yī)學(xué)圖像上的點P(I,J)，其在LR醫(yī)學(xué)圖像上有對應(yīng)投影點p(i,j)，當放大因子r為整數(shù)時，有公式（6）；當放大因子r為小數(shù)時，有公式（7）：

同時考慮小數(shù)與整數(shù)放大因子的重建任務(wù)，綜合公式（6）與公式（7），并考慮放大因子信息，有公式（8）：

坐標投影矩陣由X、Y與Z合并構(gòu)成，以類似圖像通道的方向取出一組值，作為權(quán)值預(yù)測網(wǎng)絡(luò)的輸入，如公式（9）所示：

其中，N(·)表示權(quán)值預(yù)測網(wǎng)絡(luò)，由兩個全連接層構(gòu)成，wfc表示其輸出，m與n表示坐標投影矩陣上取出點的坐標。通常，使用反卷積或亞像素卷積等方法對特征圖進行上采樣時，指定某個整數(shù)放大因子后，再學(xué)習一組相應(yīng)的固定權(quán)重。在M2SR網(wǎng)絡(luò)模型中，學(xué)習嵌入的權(quán)值預(yù)測網(wǎng)絡(luò)權(quán)重，再根據(jù)不同的放大因子動態(tài)地生成相應(yīng)的權(quán)重wfc。高分辨率的醫(yī)學(xué)圖像重建過程如公式（10）所示：

其中，Em(·)表示依據(jù)坐標掩碼矩陣記錄的信息進行矩陣壓縮，Exp(·)表示對向量進行復(fù)制擴充，選擇矩陣乘作為特征映射函數(shù)，以聯(lián)合預(yù)測的權(quán)重向量與提取的特征圖向量。

2.4 維度對齊與坐標掩碼

權(quán)值向量與特征圖向量需提前進行復(fù)制擴充，對齊二者維度以滿足特征映射函數(shù)的運算要求。對于特征圖F，假定維度對齊前的輸入為(Cfin,h,w)，則輸出維度為(R,R,k×k×Cfin,h×w)。其中R為放大因子r向上取整，k為滑動窗口的核大小。采用類似卷積的滑動方式復(fù)制，以保持向量內(nèi)部的位置信息不被破壞。對于權(quán)值向量wfc，假定維度對齊前的輸入為(h×w,wfc)，輸出的維度為(R×h,R×w,wfc)。方便起見，同樣以wfc表示權(quán)值向量的維度。此過程中同樣需保持向量內(nèi)部的相對位置穩(wěn)定。參數(shù)k與wfc的選定需滿足公式（11）：

經(jīng)過維度對齊后，參數(shù)R取代參數(shù)r。通過對向量的適當復(fù)制擴充，使網(wǎng)絡(luò)模型能夠以相同的方式處理小數(shù)放大因子的重建任務(wù)。利用坐標掩碼還原參數(shù)r，取得SR（super-resolution）醫(yī)學(xué)圖像。坐標掩碼矩陣Em的生成過程如圖5所示。

圖5 坐標掩碼的生成Fig.5 Generative process of coordinate mask

坐標掩碼矩陣Em的取得方式同維度對齊過程相適應(yīng)，以參數(shù)R為指導(dǎo)。對于坐標投影矩陣Ep，依據(jù)公式（8）確定。在放大因子r為小數(shù)的條件下，LR上各點的投影范圍并不一定相同。在參數(shù)R的條件下，對于LR上的一點a(i,j)，其在坐標掩碼矩陣Em上有對應(yīng)的點A"(I",J")，坐標范圍滿足公式（12）：

由于矩陣Ep與矩陣Em在不同的參數(shù)指導(dǎo)下進行投影，可能出現(xiàn)差余，按位填充坐標掩碼矩陣Em以記錄。對于特征映射后取得的稀疏像素矩陣，認為其在對應(yīng)坐標掩碼矩陣上置1的點比置0的點更有效，更符合LR至HR的投影范圍。將矩陣Em中為0的點作為稀疏標記，對稀疏像素矩陣進行壓縮，重建高分辨率醫(yī)學(xué)圖像。隨著放大因子r的增長，坐標掩碼矩陣中稀疏標記減少。當r=R時，矩陣Em與矩陣Ep將完全映射，公式（8）將退化為公式（6）。此時即為整數(shù)重建任務(wù)，由此實現(xiàn)小數(shù)與整數(shù)醫(yī)學(xué)圖像重建任務(wù)的整合。

對于嵌入的權(quán)值預(yù)測結(jié)構(gòu)，其隱藏層的神經(jīng)元數(shù)量設(shè)定，影響元信息嵌入重建結(jié)構(gòu)的表達能力，可參考一般BP網(wǎng)絡(luò)模型隱藏層參數(shù)要求。本文M2SR網(wǎng)絡(luò)模型中各關(guān)鍵參數(shù)設(shè)置如表1所示。

表1 網(wǎng)絡(luò)模型M2SR關(guān)鍵參數(shù)Table 1 Key parameters of M2SR network

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)與訓(xùn)練設(shè)置

實驗數(shù)據(jù)來源于美國人類基因組圖譜數(shù)據(jù)庫（The Cancer Genome Atlas，TCGA），共包含三類醫(yī)學(xué)圖像：宮頸鱗癌和腺癌（cervical squamous cell carcinoma and endocervical adenocarcinoma，CESC）、食管癌（esophageal carcinoma，ESCA），以及腎嫌色細胞癌（kidney chromophobe，KICH）。從各類別樣本中挑選200張成像質(zhì)量較好、紋理細節(jié)豐富的醫(yī)學(xué)圖像作為訓(xùn)練樣本。以不重合的方式，從各類別中額外選擇40張作為測試樣本，分別標記為測試集a、測試集b與測試集c。在數(shù)據(jù)預(yù)處理時將去除所有標簽數(shù)據(jù)，僅保留圖像信息。

退化模型采用常規(guī)的雙三次插值法方式對HR圖像下采樣，模擬LR醫(yī)學(xué)圖像，取得成對的訓(xùn)練樣本組。訓(xùn)練時采用方形的32×32隨機裁剪子圖，批處理大小設(shè)置為16。采用Adam優(yōu)化器訓(xùn)練網(wǎng)絡(luò)模型，初始學(xué)習率為0.000 1，每100訓(xùn)練代數(shù)減半。實驗平臺操作系統(tǒng)為Ubuntu18.04，硬 件CPU為Intel Xeon E5-2618L v3，GPU為NVIDIA GeForce RTX 2080 Ti，內(nèi)存32 GB，采用PyTorch1.5版本深度學(xué)習框架。

3.2 整數(shù)放大因子實驗結(jié)果

實驗結(jié)果以峰值信噪比（peak signal to noise ratio，PSNR）與結(jié)構(gòu)相似度（structural similarity index，SSIM）作為評價指標，以典型方法作為比較基線。雙三次插值法（bicubic）作為傳統(tǒng)方法的典型代表，SRCNN為首次將深度學(xué)習引入SISR任務(wù)的經(jīng)典網(wǎng)絡(luò)模型，VDSR為首次利用殘差學(xué)習建立的SISR網(wǎng)絡(luò)模型。特征圖上采樣重建主要有反卷積與亞像素卷積兩類，分別選擇典型的反卷積法[10]與亞像素法[11]網(wǎng)絡(luò)模型作為比較基線。

在不同放大因子下，M2SR網(wǎng)絡(luò)模型在PSNR與SSIM上的結(jié)果如表2所示。實驗結(jié)果取各測試集上的平均值，最好結(jié)果加粗標記。此外，對各測試結(jié)果計算相應(yīng)的標準差σ，以觀察實驗結(jié)果的離散性。

由表2可以看出，基于深度學(xué)習的方法都優(yōu)于傳統(tǒng)的雙三次插值法Bicubic。SRCNN方法使用前端上采樣策略，可能同步放大LR醫(yī)學(xué)圖像的噪聲，重建表現(xiàn)較差。與反卷積法與亞像素法相比，M2SR網(wǎng)絡(luò)模型在×2任務(wù)中，PSNR指標平均提升1.25 dB與1.05 dB。與同樣采用殘差結(jié)構(gòu)的VDSR相比，在高倍的×4任務(wù)下M2SR網(wǎng)絡(luò)模型優(yōu)勢相對更為顯著，在PSNR與SSIM上提升幅度最大可達1.57 dB與0.042 5。實驗結(jié)果表明，同各類典型方法相比，M2SR網(wǎng)絡(luò)模型在整數(shù)放大因子醫(yī)學(xué)圖像重建任務(wù)上保持了良好的重建性能。

表2 整數(shù)放大因子下PSNR與SSIM結(jié)果Table 2 Result of PSNR and SSIM for integer scale factors

對于主觀重建結(jié)果，從測試集中挑選3張成像較為清晰、紋理細節(jié)較為豐富的醫(yī)學(xué)圖像進行重建。各重建醫(yī)學(xué)圖像的主觀視覺表現(xiàn)如圖6所示。

圖6 主觀重建視覺表現(xiàn)Fig.6 Objective performance of reconstruction in vision

為更直觀地展現(xiàn)重建效果，對重建的醫(yī)學(xué)圖像進行局部放大。對比各類重建方法的局部放大結(jié)果可以看出，傳統(tǒng)的雙三次插值法Bicubic效果最不理想，重建的醫(yī)學(xué)圖像紋理細節(jié)部分像素弱化明顯。與原始圖像的局部放大相比，高頻部分丟失嚴重，整體模糊感相較更強。在較低的×2放大因子任務(wù)中，SRCNN與反卷積法和亞像素法相比重建效果相似，但在更大的×4放大因子任務(wù)下，SRCNN方法中重建醫(yī)學(xué)圖像失真較為嚴重。對細節(jié)進行局部放大，可以看到采用反卷積方法的重建圖像出現(xiàn)了較為明顯的棋盤偽影現(xiàn)象，整體圖像覆蓋有一層條狀色帶。VDSR通過殘差跳躍建立了更深的網(wǎng)絡(luò)結(jié)構(gòu)，重建效果相對更好。但重建的醫(yī)學(xué)圖像邊緣輪廓過于平滑，低頻部分則有較為嚴重的涂抹感。M2SR網(wǎng)絡(luò)模型重建效果相對更好，特別在×4放大因子任務(wù)下，更好地還原了醫(yī)學(xué)圖像的紋理信息。對比局部放大圖，M2SR重建圖像的邊緣信息得到了增強，還原了更多醫(yī)學(xué)圖像的高頻信息，紋理細節(jié)特征丟失較少，重建圖像模糊感也更弱。整體上重建圖像涂抹感較輕，視覺感受更清晰銳利。

3.3 小數(shù)放大因子實驗結(jié)果

目前主流的基于深度學(xué)習的超分辨率重建方法都僅支持整數(shù)的放大因子。對于小數(shù)的放大因子重建任務(wù)，通常的做法是將LR圖像經(jīng)過適當?shù)牟迦敕糯蠛螅僮鳛橹亟ňW(wǎng)絡(luò)的輸入。插值輸入法以SRCNN網(wǎng)絡(luò)模型作為基礎(chǔ)，對輸入的醫(yī)學(xué)圖像預(yù)先進行適當?shù)纳喜蓸樱佥斎刖W(wǎng)絡(luò)模型中重建取得SR醫(yī)學(xué)圖像，以模擬小數(shù)放大因子任務(wù)的重建效果。傳統(tǒng)的雙三次插值法Bicubic可直接支持小數(shù)放大因子任務(wù)。

此外，為更加全面地比較M2SR網(wǎng)絡(luò)模型在小數(shù)放大因子任務(wù)下的重建效果，設(shè)計一個簡單的基準實驗?zāi)Ｐ蚆2SRbase，其結(jié)構(gòu)設(shè)計如圖7所示。

圖7 基準實驗?zāi)Ｐ蚆2SRbase結(jié)構(gòu)設(shè)計Fig.7 Design of baseline model M2SRbase

基準實驗?zāi)Ｐ蚆2SRbase的結(jié)構(gòu)設(shè)計以M2SR網(wǎng)絡(luò)模型為基礎(chǔ)。圖7中SRN2-RDB網(wǎng)絡(luò)模型同樣地以2-RDB塊作為特征提取部分的基本組成結(jié)構(gòu)，特征圖重建模塊則不采用M2SR網(wǎng)絡(luò)模型中的元學(xué)習結(jié)構(gòu)。對于放大因子為r的醫(yī)學(xué)圖像重建任務(wù)，首先利用SRN2-RDB網(wǎng)絡(luò)模型進行上采樣重建，再對生成的HRG圖像進行適當?shù)南虏蓸荧@得SRG圖像序列，模擬小數(shù)的放大因子重建過程。通過設(shè)計的基準實驗?zāi)Ｐ停梢员容^元信息嵌入重建結(jié)構(gòu)的性能表現(xiàn)。在不同的測試集下，小數(shù)放大因子重建任務(wù)在PSNR與SSIM上的結(jié)果如表3所示，最優(yōu)的結(jié)果加粗表示。

表3 小數(shù)放大因子下PSNR與SSIM結(jié)果Table 3 Result of PSNR and SSIM for fraction scale factors

同雙三次插值法和插值輸入法相比，在各類測試集下M2SR性能表現(xiàn)均有較大提升。在測試集a上，M2SR相較于插值輸入法PSNR指標最大提升2.99 dB，SSIM提升幅度最大可達0.502 0。插值輸入法需對輸入圖像預(yù)先適當上采樣以模擬小數(shù)放大因子重建任務(wù)，可能出現(xiàn)對圖像噪聲的二次放大。M2SR則可通過單個訓(xùn)練模型直接重建小數(shù)放大因子醫(yī)學(xué)圖像，并取得了相對較好的性能表現(xiàn)。

同所設(shè)計的基準實驗?zāi)Ｐ蚆2SRbase相比，M2SR網(wǎng)絡(luò)模型重建效果略有改善。在測試集a上性能表現(xiàn)最好，測試集b上相對略差。M2SR網(wǎng)絡(luò)模型在實現(xiàn)多重放大因子的醫(yī)學(xué)圖像重建任務(wù)的情況下，小數(shù)放大因子重建任務(wù)仍表現(xiàn)出與整數(shù)放大因子重建任務(wù)相似的性能。元信息直接嵌入重建結(jié)構(gòu)較好地整合了小數(shù)與整數(shù)放大因子重建任務(wù)。

3.4 消融實驗

網(wǎng)絡(luò)模型M2SR主要對超分辨率重建過程中的特征提取與特征圖重建兩部分進行改進。為比較2-RDB結(jié)構(gòu)與元信息嵌入結(jié)構(gòu)對醫(yī)學(xué)圖像重建效果的貢獻，設(shè)計消融實驗。在測試集b與放大因子×4的條件下，消融實驗結(jié)果如表4所示。

通過適當?shù)卦O(shè)置基準實驗?zāi)Ｐ蚆2SRbase中的參數(shù)，可作為消融實驗的一部分。當設(shè)置參數(shù)RG=4時，有RG=r，基準實驗?zāi)Ｐ蚆2SRbase將不對模擬的HRG圖像下采樣，可比較元信息嵌入重建結(jié)構(gòu)對M2SR性能提升的貢獻。如表4中所示，元信息嵌入結(jié)構(gòu)與2-RDB結(jié)構(gòu)都對最終重建性能有所提升，其中元信息嵌入方式提升相對較小。在整數(shù)放大因子下，坐標投影矩陣Ep中的橫縱坐標信息矩陣被置為0，與小數(shù)放大因子任務(wù)相比缺少坐標信息。

表4 消融實驗結(jié)果Table 4 Result of ablation experiment

4 結(jié)束語

本文針對醫(yī)學(xué)圖像紋理豐富的特點，基于密集殘差結(jié)構(gòu)分別對特征提取與特征圖重建進行優(yōu)化，提出多重放大的醫(yī)學(xué)圖像超分辨率重建網(wǎng)絡(luò)模型M2SR。改進密集塊內(nèi)跳躍連接的方式，建立更為稀疏的雙層跳躍和多層跳躍，并作為特征提取結(jié)構(gòu)的基本組成部分。融合元學(xué)習策略，采用元信息直接嵌入模式重新設(shè)計特征圖重建結(jié)構(gòu)。同時考慮坐標信息與放大因子信息，學(xué)習不同放大因子重建任務(wù)間的通用知識。M2SR網(wǎng)絡(luò)模型有效降低跳躍連接復(fù)雜度，改善網(wǎng)絡(luò)結(jié)構(gòu)不平衡的問題，實驗結(jié)果表明，M2SR網(wǎng)絡(luò)模型較好地實現(xiàn)了小數(shù)與整數(shù)放大因子醫(yī)學(xué)圖像重建任務(wù)的整合。

本文所提的M2SR網(wǎng)絡(luò)模型可通過單個訓(xùn)練模型實現(xiàn)多重放大因子的重建任務(wù)，并且基于軟件的重建方式使其可直接整合至現(xiàn)有的醫(yī)學(xué)成像系統(tǒng)。但在特征映射過程中的復(fù)制擴充操作，對計算機存儲資源要求較高，且只針對二維醫(yī)學(xué)圖像。因此，未來的工作將針對于重建過程的高效實現(xiàn)，以及三維醫(yī)學(xué)圖像的多重放大重建任務(wù)。