基于真實退化估計與高頻引導的內窺鏡圖像超分辨率重建

李 嫣 任文琦 張長青 張金剛 聶云峰

醫用內窺鏡是一種基于圖像的醫學檢查儀器,能夠準確觀察人體內部器官形態和病理變化,輔助醫師進行疾病的診斷及治療[1-2].然而對于耳鼻喉等內腔直徑較小的部位,醫用內窺鏡的直徑受到限制,其輸出圖像的分辨率普遍較低.此外,人體內部環境昏暗,僅憑內窺鏡自帶光源照亮,會導致采集的圖像存在噪聲、紋理特征不清晰、模糊等退化問題[3-4].低分辨率的內窺鏡圖像不僅影響醫生對病灶的判斷,還阻礙后續研究,如異常區域分割、深度估計等.因此,如何提升低分辨率內窺鏡圖像的質量已經成為一個重要的醫學圖像問題.

圖像超分辨率重建是提高圖像質量的一種有效手段,其能將低分辨率圖像 (Low-resolution,LR)轉換為高分辨率圖像 (High-resolution,HR).近年來,基于深度學習的圖像超分辨率算法展現出了良好的性能,其利用非線性變換自動學習多層次特征,更深入地挖掘了LR 與HR 之間的內在聯系[5].Dong等[6]提出了第一個使用卷積神經網絡的端到端超分辨算法SRCNN,相較于傳統方法,所獲得的圖像邊緣更清晰,包含的偽影更少.Ledig 等[7]將生成對抗網絡引入超分辨算法,并提出了新的感知損失函數,使重建圖像更具有真實感.Lim 等[8]通過去除批歸一化層對殘差塊進行優化,并擴大了網絡深度,使重構圖像的質量有效提升.Ahn 等[9]提出了一種輕量級的級聯殘差網絡CARN,提升了超分辨率模型的效率和性能.以上述方法為代表的深度超分辨算法大多針對自然圖像開發和訓練,而內窺鏡圖像與自然圖像存在較大差異.首先是噪聲干擾不同,自然圖像通常由相機拍攝,噪聲多為高斯噪聲;內窺鏡圖像由內窺鏡設備拍攝,噪聲多為條紋噪聲[10].其次是圖像場景內容不同,內窺鏡圖像的場景多為人體器官,色彩信息單一,并且包含重要的、細小的、不明顯的醫學紋理細節;而自然圖像場景豐富,紋理細節較為明顯.此外,公開的醫學圖像數據集種類和包含的圖像數量有限,一般不存在大量成對的LR 和HR 圖像,故而不適用于常見的超分辨率算法.

目前已有一些針對醫學圖像的超分辨算法,如Chen 等[11]提出一種生成對抗網絡指導訓練的多級密集連接超分辨率網絡 (mDCSRN),實現了磁共振MRI 圖像的超分辨.Park 等[12]使用改進的UNet 網絡實現了二維人腦CT 圖像的超分辨.Mahapatra 等[13]提出一種基于生成對抗網絡的眼底圖像超分辨算法.現有醫學研究的影像模態主要為CT 圖像和MRI 圖像[14],不同醫療領域的醫學圖像模態差異大,圖像特點各不相同,不能直接互用.對于內窺鏡圖像,基于深度學習的超分辨算法[15-18],雖然在一定程度上實現了內窺鏡圖像的超分辨,但是這些算法都是通過插值下采樣的方法獲得用于訓練的LR-HR 圖像對.使用這樣一種單一的、與現實不符的退化方式生成LR 圖像,一方面導致模型的泛化性差,另一方面與真實圖像分辨分布差異大,無法重建出高頻紋理細節,而這些丟失的細節內容對醫學圖像至關重要,可能影響醫生對病情的判斷.

為解決上述問題,本文提出一種針對真實內窺鏡圖像的超分辨算法,該算法分為兩個模塊: 退化模塊和超分辨率模塊.退化模塊提出一種新穎的內窺鏡模糊核和噪聲的估計及注入算法,可直接從真實LR 內窺鏡圖像提取豐富多樣的模糊核和噪聲,然后通過隨機注入和多噪聲拼貼的方式作用于真實HR 內窺鏡圖像,以生成與真實LR 內窺鏡圖像分布相近的訓練數據.超分辨率模塊則提出一種高頻引導的殘差密集網絡,使用基于高低頻信息交互的頻率分離策略,提取多級高頻特征;再采用多層級融合策略,將多級高頻特征逐層融入殘差密集模塊的分層特征,以引導其恢復出良好的紋理細節.此外網絡還采用了殘差嵌套結構,進一步加深了網絡深度,提升了網絡性能.本文的貢獻總結如下:

1) 本文提出一種針對真實內窺鏡圖像的退化估計及注入算法,基于真實低分辨率圖像提取內窺鏡相關的模糊核與噪聲模式,用于合成與真實域更接近的低分辨率內窺鏡圖像.

2) 本文提出一種新穎的高頻信息引導的超分辨率網絡結構,采用基于雙頻率交互的頻率分離策略,以及多層級融合機制,提取的多級高頻信息引導構建殘差密集塊的多層特征,重建出細節保留較好的高分辨率內窺鏡圖像.

3) 一系列的對比和消融實驗證明了本文提出的退化框架以及超分網絡的有效性,相比其他方法具有更好的視覺效果和更高的客觀質量評價.

1 相關工作

1.1 超分辨率算法的退化估計

許多基于卷積神經網絡的超分辨率算法取得了優于傳統方法的性能和效果.這些算法[8,19-25]通常使用雙三次插值下采樣的退化方法構建訓練所需的{LR,HR}圖像對.經過雙三次下采樣得到的圖像會丟失高頻細節,同時低頻內容更清晰[26],而真實圖像存在多種模糊和噪聲[27],故這類合成圖像與真實圖像存在域差異,導致超分辨率算法在合成圖像上取得很好的結果,但在真實測試圖像上效果很差.

為解決該問題,一些研究者通過向HR 圖像注入預定義的模糊核與噪聲,以生成具有復雜退化的LR 圖像,再用此圖像對訓練網絡.如Zhang 等[28]采用各向同性和各向異性的高斯模糊核,噪聲為水平在[0,75]之間的高斯白噪聲合成LR 圖像.Zhang等[29]采用高斯模糊核、運動模糊核、散焦模糊核、高斯白噪聲合成LR 圖像.BSRGAN[30]將模糊、下采樣、噪聲這三種退化賦予多種類型,如模糊分為各向同性、各向異性高斯模糊核,下采樣分為最近鄰、雙線性、雙三次插值,噪聲分為不同水平的高斯噪聲、不同質量因子的JPEG 壓縮、相機傳感器噪聲,再將以上各種類型的退化隨機組合作為HR 圖像的退化.

另外一些研究者則提出了自適應學習退化的方法,旨在生成與真實圖像同域的LR 圖像.Fritsche等[31]提出一個生成對抗網絡DSGAN 模擬退化過程,使生成的LR 圖像保留雙三次下采樣LR 圖像的低頻信息,并擁有真實圖像的高頻信息.Lugmayr 等[32]通過生成對抗網絡和循環一致性損失學習雙三次下采樣LR 圖像與真實LR 圖像之間的分布映射,以克服它們之間的域差異.Chen 等[33]將退化過程建模為兩個步驟,HR 圖像到合成LR 圖像的退化,以及合成LR 圖像到真實LR 圖像的域映射,之后使用生成對抗網絡學習此退化過程.

本文研究的是內窺鏡圖像的超分辨,內窺鏡采用小型圖像傳感器實現成像,圖像通常采用高速串行信號或模擬信號傳輸,在傳輸過程中容易受到干擾,常導致圖像出現條紋噪聲[10],故而使用人工構造的不同模糊程度的模糊核以及不同級別的加性隨機噪聲,不符合真實內窺鏡圖像的退化過程.而自適應學習退化的方法模型復雜,且大多基于穩定性低的生成對抗網絡,難以應用到實際醫學場景.本文設計了一種新穎的退化估計算法,從真實LR 內窺鏡圖像估計其專有的模糊核與噪聲模式.之后在數據準備階段又設計了一種退化注入算法,將估計的退化注入高質量的內窺鏡圖像,以生成與真實內窺鏡圖像同域的LR 圖像.

1.2 基于頻率的深度超分辨方法

近年來,已經提出了一些基于頻率和深度學習的圖像超分辨率算法,大致可以分為兩類.一類將圖像由空域轉換至頻域,進而獲取不同頻率信息[34-38].如Xie 等[34]通過離散余弦變換 (Discrete cosine transform,DCT) 將圖像轉至頻域,并將特征分解為高、中、低頻信息,分別應用不同復雜度的卷積層,再融合結果,獲得最終的超分辨率結果.Yun 等[35]通過DCT 變換將圖像轉換至頻域,使用超參數提取高頻分量,再轉換至空間域并應用通道注意力機制獲得重建結果.在超分辨率領域,因傅立葉變換涉及復數,故大多數算法使用DCT 進行頻域轉換.DCT 變換會獲得多個頻率子帶,中間部分的子帶隸屬于低頻抑或是高頻,這一點難以界定,此外,圖像在空域和頻域之間的頻繁轉換,增加了網絡的復雜性.另一類是在空域里直接分離頻率信息[31,39-41].Fritsche 等[31]使用線性濾波器分離低頻和高頻信息,并制作了相應的低頻、高頻損失用于超分辨網絡.Pang 等[39]把LR 圖像逐步輸入到三個卷積層,認為每一層的特征圖代表不同的頻率信息,使用注意力機制處理并融合這些信息,恢復出高分辨率圖像.Liu 等[40]使用卷積均值濾波器進行頻率分離,用不同的模塊對分離的頻率進行處理,再通過加法運算組合,最終使用上采樣塊重構整幅圖像.然而,這些方法完全孤立了低頻與高頻信息,沒有考慮低頻信息與高頻信息的相互作用,而頻率間交互是十分重要的[41].本文在空間域分離高低頻信息,但并非一次性分離低頻與高頻信息并分而治之.而是低頻與高頻信息多次交互通信,分離出多級高頻信息.再使用多層級融合策略,使多級高頻信息逐層融入殘差密集塊,充分引導其構建包含高頻信息的特征.

2 基于真實退化估計與高頻引導的內窺鏡圖像超分辨網絡模型

本文模型分為兩個部分: 退化框架和超分模型.退化框架從真實LR 內窺鏡圖像估計退化,再將退化注入真實HR 內窺鏡圖像,以生成逼真的、與之配對的低分辨率內窺鏡圖像,退化框架示意圖如圖1所示.超分模型則利用退化模型構造的成對數據,通過本文提出的高頻引導的殘差密集超分辨網絡,獲得細節保留完好、內容清晰的超分辨率內窺鏡圖像,超分模型網絡結構示意圖如圖2 所示.

圖2 HGRDN 示意圖Fig.2 Overview of the HGRDN

2.1 退化框架

2.1.1 退化估計

本文從真實LR 內窺鏡圖像直接估計模糊核和噪聲,以確保醫學圖像的真實性和準確性.

模糊核估計.本文使用KernelGAN[42]作為模糊核估計算法,KernelGAN 的生成器是深度線性網絡,不包含任何非線性的激活函數,所以訓練后KernelGAN 的網絡權重參數能夠以矩陣的形式輸出,作為一個固定的模糊核.本文利用KernelGAN這一原理,以單張真實低分辨率內窺鏡圖像作為輸入,訓練本張圖像對應的KernelGAN,訓練結束后生成器的網絡模型參數即為該張圖像的模糊核.我們將所有真實低分辨率內窺鏡圖像單獨對應的模糊核放入一個稱作模糊核退化池的容器,以供后續步驟使用.

噪聲估計.文獻[26,43]表明從原始噪聲圖像中篩選背景內容少、內部像素相似的區域可作為噪聲圖像塊.受其啟發,我們設計了一種專門針對內窺鏡圖像的噪聲篩選算法,用以直接從真實LR 內窺鏡圖像提取醫學內窺鏡圖像的噪聲模式.根據研究,圖像的方差可代表圖像的對比度,均值可代表圖像的亮度[44].由于噪聲圖像塊內部像素相似,說明其內部像素對比度不高,所以本文設定最大對比度,也即最大方差 (maxV ar),來篩選對比度在一定范圍的圖像塊.由于噪聲主要存在于圖像低亮度區域[45],所以本文設定最大亮度,也即最大均值(maxMean),來篩選亮度在一定范圍的圖像塊.因真實LR 內窺鏡圖像的分辨率一般較小,故而提取的圖像塊尺寸不能過大,否則容易引入圖像結構信息.具體的篩選算法如算法1 所示,其中maxV ar和maxMean均為經驗設定.最終提取的噪聲圖像塊如圖3(b)所示,可直觀看出提取的噪聲不同于一般的加性高斯噪聲,并且與內窺鏡常見的條紋噪聲[10]具有一致的分布特性.

圖3 常見加性高斯噪聲與內窺鏡噪聲對比Fig.3 Comparison of common additive Gaussian noise with endoscopic noise

算法1.真實LR 內窺鏡圖像提取噪聲圖像塊

2.1.2 退化注入

退化注入前,HR 內窺鏡圖像會進行數據處理,具體操作過程見第3.1 節訓練集部分,最終獲得尺寸為256×256 的圖像塊.設置IHR代表HR 內窺鏡圖像的訓練圖像塊,k代表模糊核,n代表噪聲,↓s代表尺度系數為s的下采樣,? 代表二維卷積,其退化過程可用如下公式表示[26,46],ILR為經退化所獲得的LR 內窺鏡圖像的圖像塊.{IHR,ILR} 為配對圖像.

注入模糊核.從模糊核退化池隨機選取一個模糊核,由于該模糊核為一個給定數值的矩陣,可看作是一種卷積核,依照式 (1) 將其與IHR進行卷積,之后進行下采樣操作,取尺度系數為4,則獲得模糊且下采樣四倍的模糊圖像Iblur,其尺寸為64×64.

注入噪聲.模糊圖像Iblur拆分為多個16×16 的圖像塊,在退化池中隨機選取多個噪聲圖像塊,裁剪尺寸至16×16 并進行歸一化操作,之后與模糊圖像Iblur的多個圖像塊分別相加,獲得最終的ILR.將退化池的噪聲裁剪為16×16 后再進行注入,旨在向模糊圖像Iblur注入數量更多、種類更繁的噪聲,以充分還原真實圖像的情況.

通過從退化池中隨機選取真實圖像的模糊核和噪聲,極大地提高了合成圖像ILR的多樣性和真實性.需要說明的是,Ji 等[26]也提出了一種退化估計框架,但本文與其存在較大不同: 1) 退化估計的來源不同.Ji 等[26]從HR 圖像估計模糊核和噪聲,再將其注入HR 下采樣后的圖像.本文從真實LR 圖像估計模糊核與噪聲,再將其注入HR 圖像,真實性和準確性更高.2) 提取噪聲的理論依據、具體算法,以及噪聲注入算法均不一致.Ji 等[26]主要針對自然圖像設計,本文則專門針對內窺鏡圖像設計.

2.2 內窺鏡圖像超分辨率網絡模型

2.2.1 網絡結構

如圖2 所示,本文對ESRGAN[47]進行改進,針對醫學圖像需要保留高頻細節紋理這一特點,以及頻率信息對空域信息有補充作用這一優勢,提出使用頻率分離策略和多層級融合機制的高頻引導殘差密集網絡 (High-frequency guided residual dense network,HGRDN),該網絡由四部分組成: 淺層特征提取、殘差嵌套模塊、上采樣模塊、重建模塊.假設ILR和ISR為 HGRDN 的輸入和輸出,首先使用一個 3×3 的卷積對ILR進行淺層特征提取,使用零填充策略保持特征圖尺寸不變:

其中,HSF(·) 表示卷積操作,FSF表示淺層特征.之后FSF輸入殘差嵌套模塊,該模塊由23 個殘差組(Residual group,RG) 和長跳躍連接組成,每個殘差組包含3 個高頻引導的殘差密集塊 (High-frequency guided residual dense block,HGRDB) 和短跳躍連接:

其中,HRIR(·) 表示殘差嵌套模塊的函數,FDF為經過該模塊后得到的深層特征.有關HGRDB 的具體結構在第2.2.3 節詳細闡述.之后FDF輸入上采樣模塊,該模塊由兩個尺度因子為×2 的最近鄰插值及 3×3 卷積構成:

其中,HUP(·) 表示上采樣模塊的復合函數,FUP為上采樣后的特征.重建模塊由一個卷積核為3×3的卷積組成:

其中,HREC(·) 表示重建模塊的復合函數,ISR為重建后的超分辨率圖像.

2.2.2 殘差嵌套模塊

文獻[8,48-49]觀察到更多的層和連接可以提高網絡的性能,而殘差嵌套結構則使得訓練層次更深的卷積神經網絡成為可能.文獻[49]也提到殘差組和長跳躍連接使得網絡能夠關注到LR 圖像的更多信息.

基于上述殘差嵌套的優點,本文采用RCAN[49]中關于殘差嵌套部分的設計,圖2(a)展示了本文的殘差嵌套模塊,其采用殘差組 RG 作為基本模塊,第d個 RG 可公式化為:

其中,HRG,d代表第d個 RG 的函數,Fd-1和Fd代表第d個 RG 的輸入和輸出,FSF表示淺層特征.與文獻[49]一樣,本文在多個殘差組之后使用長跳躍連接和殘差學習,以穩定網絡的訓練:

其中,FSF代表淺層特征,W代表殘差嵌套模塊末尾卷積層的權重,此處省略了偏置項,FD代表最后一個 RG 的輸出特征,FDF為經過殘差嵌套模塊后得到的深層特征.

如第2.2.1 節所述,每個殘差組 RG 內部包含3個高頻引導的殘差密集塊 (HGRDB) 和短跳躍連接,如圖2(b)所示,第d個 RG 的第n個 HGRDB 可以公式化為:

其中,Fd-1和Fd代表第d個 RG 的輸入和輸出特征,代表第d個 RG 的最后一個 H GRDB 的輸出特征.

2.2.3 高頻引導的殘差密集塊HGRDB

圖2(c)展示了 H GRDB 的具體結構,其由高頻引導層、殘差密集塊組成.值得一提的是,文獻[47-49]也提出了殘差密集塊,然而這些方法沒有考慮圖像頻率信息的差異性,對圖像的低頻與高頻信息平等地對待,沒有充分利用LR 圖像的高頻信息重建圖像.為克服以上缺點,我們采用基于雙頻率信息交互的頻率分離策略,提取多級高頻信息,再使用多層級融合機制,使高頻信息與殘差密集塊提取的分層特征相結合,以增強重建圖像的細節恢復能力.本文基本塊能關注到更多的高頻信息,如細節、邊緣、紋理等,而這恰恰是醫學圖像不可或缺的重要信息.

高頻引導層.一幅圖像由高頻和低頻信息組成,其中高頻部分代表局部的細節,低頻部分則代表全局的內容且一般存在大量冗余.類似的,卷積層輸出的特征圖也可以分為低頻和高頻.根據這一現象,Chen 等提出一種新穎的 Octave 卷積[41],其能夠分離頻率,獲取不同頻率的信息,并且在 Octave 卷積過程中,低頻與高頻按一定規則進行信息交流與更新.我們采用這一思想,設計了一種基于雙頻率信息交互的頻率分離策略.該策略級聯多個 Octave 卷積,以此進行多輪高低頻信息交互和更新.相較于一次性徹底分離高低頻的方法[31,39-40],這種雙頻率因素交互式作用更新的方法,可以實現較全面的信息補償,以便充分挖掘頻率信息.每輪 Octave 卷積輸出的高頻信息被嵌入下方密集塊的對應層級,以引導其構建保留高頻信息的特征.我們將上述頻率分離策略的具體實現結構定義為高頻引導層,如圖2(c)所示.

在本文中,高頻引導層共級聯5 個 Octave 卷積.假設第i個 Octave卷積的輸入特征圖為Xi ∈Rcin×h×w,輸出特征圖為Yi ∈Rcout×h×w.cin和cout表示輸入特征圖和輸出特征圖的通道數,h表示特征圖的高,w表示特征圖的寬.依前文所述,特征圖可看作由低頻分量和高頻分量組成,則Xi可表示為,Yi可表示為,其中H 代表高頻分量,L 代表低頻分量.按照 Octave 卷積[41]的定義,輸入特征圖的低頻分量會進行2 倍空間下采樣以壓縮信息,故而輸入輸出特征圖的低頻和高頻分量可以表示如下:

其中,αin和αout表示輸入和輸出特征圖中低頻部分所占的比例,是范圍為[0,1]的超參數.

單個 Octave 卷積的過程如圖4 所示.其輸入是前段所述的.之后同頻率的特征進行信息更新,不同頻率的特征進行信息交流.最終輸出更新后的高頻信息和低頻信息其中被嵌入進下方殘差密集塊的對應層級.整個過程可用公式表達如下:

圖4 Octave 卷積之高低頻率信息的交互Fig.4 The high-low frequency information interaction of Octave convolution

值得注意的是,按照文獻[41]的定義,第一個Octave卷積的輸入一般為普通卷積的特征圖,為將其轉換為多頻特征的表示,設置該特征圖只包含高頻分量,不包含低頻分量,即第一個 Octave 卷積層的αin設置為0,則第一個Octave 卷積層的輸入特征圖X1表示為

殘差密集塊.受文獻[47-48]啟發,殘差密集塊能夠充分利用所有卷積層的分層特征,并且提高網絡的容量,故本文采用殘差密集塊來提取LR 圖像的豐富局部特征,其具體結構如圖2(c)下半部分所示,總共包含五個卷積層和一個短跳躍連接.在本模塊,提出了一種多層級融合機制,即從第二個卷積層開始,每個卷積層的輸入特征不僅包含密集塊的輸入特征、前序卷積層的輸出特征,還包含高頻引導層的高頻信息,這樣每層卷積的特征會被融入對應層級的高頻信息,由此起到高頻引導的作用.每個卷積層的輸出特征圖可以用以下公式表示:

其中,Fc表示第c個卷積層的輸出特征圖,σ表示LReLU 激活函數,Wc表示第c個卷積的權重,此處省略了偏置項.X1表示殘差密集塊的輸入特征圖,[·] 表示特征圖的連接,表示高頻引導層的第i個 Octave 卷積提取的高頻分量,i=1,2,3,4.加入殘差后,最終HGRDB 的輸出為:

其中,FHG表示此HGRDB 模塊的輸出特征,X1表示此HGRDB 的輸入特征,FC表示經過殘差密集塊最后一個卷積層的輸出特征圖.

2.3 訓練細節

為充分驗證本文退化框架及超分辨網絡的有效性,我們借鑒ESRGAN[47]和BSRGAN[30]的設置,首先訓練面向峰值信噪比 (Peak signal noise ratio,PSNR) 的網絡模型HGRDNet,然后訓練面向視覺質量的模型HGRDGAN,這兩種模型均使用HGRDN 的網絡結構,不同點僅在于損失函數.HGRDNet 使用L1損失,HGRDGAN 使用L1損失、感知損失[47]、對抗損失[47],其權重分別為0.01,1,0.005.面向PSNR 的HGRDNet 模型能在數值上客觀體現出模型的優劣,但是其往往由于像素平均問題而產生過度平滑的視覺結果[7],面向視覺質量的模型HGRDGAN 使用了感知損失和對抗損失,這種感知驅動的方式會在視覺上達到最優效果,但無法體現在PSNR 這些傳統指標上.因此在后續實驗中,我們主要使用HGRDNet 模型進行定量實驗以驗證本文網絡模型在PSNR 等傳統指標上的數值結果,使用HGRDGAN 模型進行定性實驗以驗證本文模型的視覺效果.

訓練設置batchsize為16 張圖像.初始的學習率為 1×10-4,且在第[50k,100k,200k,300k]迭代周期時學習率減半,k=1 000.對于優化,使用Adam優化器[50],參數設為β1=0.9,β2=0.999,交替更新生成器和鑒別器網絡,直到模型收斂.本文實驗采用PyTorch 框架,使用單張NVIDIA TITAN RTX的GPU 卡訓練網絡.

3 實驗

3.1 訓練集

本文退化模型的輸入是非配對的真實HR 內窺鏡圖像和真實LR 內窺鏡圖像.其中真實HR 內窺鏡圖像采用胃腸道內窺鏡圖像數據集Kvasir v2[51]食管炎類別和正常幽門類別的圖像,總共2 000 張,分辨率為1 280×1 024.真實LR 內窺鏡圖像由合作醫院提供,總共296 張,分辨率為400×400.

真實HR 內窺鏡圖像進行數據處理,首先中心裁剪尺寸至1 000×1 000,之后進行clean-up 操作[26],以產生近似無噪聲圖像,然后裁剪至256×256,作為真實HR 內窺鏡圖像的訓練圖像塊IHR.真實LR 內窺鏡圖像按照退化模型的退化估計模塊,進行模糊核和噪聲估計,退化估計完成后,IHR按照退化模型的退化注入模塊獲得ILR,最終 {ILR,IHR}配對圖像為超分模型的訓練集,共2 000 對.

3.2 測試集

因為在內窺鏡圖像領域,目前尚不存在現成的真實低分辨率內窺鏡圖像及其對應的GT (Ground truth,GT) 圖像這種配對數據集,為客觀公正,本文構造了兩個定量數據集,構造過程遵循本文第2節的退化估計及注入步驟.首先從合作醫院獲取15 張未在訓練集里出現的、由同一個內窺鏡設備采集的真實LR 內窺鏡圖像,從中提取多個模糊核和噪聲圖像塊.

定量測試集A.從數據集Kvasir v2[51]正常Z線類別獲取圖像100 張,中心裁剪尺寸至800×800,作為GT.上述提取的多個模糊核和噪聲按照第2 節的退化注入模塊與GT 圖像作用,生成對應的LR 圖像,尺寸為200×200.

定量測試集B.為進一步驗證本文方法的效果,從合作醫院獲取真實HR 內窺鏡圖像100 張,中心裁剪尺寸至800×800,作為GT.上述提取的多個模糊核和噪聲按照第2 節的退化注入模塊與GT圖像作用,生成對應的LR 圖像,尺寸為200×200.

為驗證本文方法的魯棒性,構建了兩個只進行簡單下采樣而非用本文退化框架的測試集,分別為定量測試集C 和定量測試集D.

定量測試集C.從數據集Kvasir v2[51]正常Z線類別獲取圖像100 張,中心裁剪尺寸至800×800,作為GT.對GT 做雙三次下采樣,生成對應的LR 圖像,尺寸為200×200.

定量測試集D.從合作醫院獲取真實HR 內窺鏡圖像100 張,中心裁剪尺寸至800×800,作為GT.對GT 做雙三次下采樣,生成對應的LR 圖像,尺寸為200×200.

定性測試集.從數據集Kvsir-Capsule[52]選取100 張圖像作為定性數據集,圖像尺寸為336×336.該數據集通過膠囊內窺鏡獲取,采集的部位集中于胃腸道區域,采集的圖像為真實內窺鏡LR 圖像,無對應的GT 圖像.

3.3 對比實驗

本文提出的方法與多個先進的圖像超分辨算法進行比較,其中包含六種針對自然圖像的超分辨方法: 基于實用退化模型的盲圖像超分辨率網絡(Designing a practical degradation model for deep blind image super-resolution,BSRGAN)[30],基于真實退化框架的超分辨率網絡 (Realistic degradation framework for super-resolution,RealSR)[26],基于純合成數據的真實盲超分辨率網絡 (Realworld blind super-resolution with pure synthetic data,RealESRGAN)[53],頻率分離的真實超分辨率網絡 (Frequency separation for real-world superresolution,FSSR)[31],深度展開的圖像超分辨率網絡 (Deep unfolding network for image super-resolution,USRNet)[54],學習退化分布的盲圖像超分辨率網絡 (Learning the degradation distribution for blind image super-resolution,PDMSR)[55]以及一種針對醫學圖像的超分辨方法: 反饋自適應加權密集超分辨率網絡 (Feedback adaptive weighted dense network,FAWDN)[56].其中,對于退化模型,BSRGAN[30],RealSR[26],RealESRGAN[53],USRNet[54],FAWDN[56]采用的是人為設定的特定退化模型,FSSR[31],PDMSR[55]采用的是不配對的真實HR 和LR 圖像生成的退化模型.對于超分辨模型,RealSR[26]和FSSR[31]是面向視覺質量的模型,USRNet[54],FAWDN[56],PDMSR[55]是面向PSNR 的模型,而BSRGAN[30],RealESRGAN[53]與本文一樣,具有兩種模型,即面向PSNR 的模型BSRNet[30],RealESRNet[53]和面向視覺質量的模型BSRGAN[30],RealESRGAN[53].為保證公平,我們使用其面向PSNR 的模型進行定量實驗,使用其面向視覺質量的模型進行定性實驗.上述對比方法均使用本文訓練集重新訓練或對其預訓練模型微調,超分辨的比例因子為4,重建圖像的客觀質量對比結果如表1所示,最優值用粗體表示,次優值用下劃線表示.在表1 中為方便起見,統一使用BSRGAN,RealESRGAN,HGRDN 的算法名稱來代表各自對應的兩種模型.

表1 各方法在定量測試集的客觀結果Table 1 The objective results of different methods in quantitative testsets

3.3.1 定量實驗

本文使用PSNR 和結構相似度 (Structural similarity,SSIM) 指標來客觀衡量各方法在定量測試集A、B、C、D 上的超分辨率結果,結果如表1 所示,我們的模型HGRDN 取得了最優的結果,在四個數據集上PSNR 和SSIM 均取得了最高值.由于本文算法著重恢復內窺鏡圖像的細節,為驗證高頻細節的恢復效果,本文引入了高頻指標: 高頻PSNR和高頻SSIM.首先我們使用高通濾波器[57]處理各方法的輸出圖像,獲得各方法的高頻圖.再使用高通濾波器處理定量數據集A、B 的GT 圖像,獲得對應的高頻圖.最后計算各GT 高頻圖與各方法的高頻圖之間的PSNR 值、SSIM 值,獲得各方法的高頻PSNR 值和高頻SSIM 值,結果如表2 所示.我們的模型HGRDN 取得了最優的結果.

表2 各方法在定量測試集的高頻結果Table 2 The high-frequency results of different methods in quantitative testsets

除數值結果外,我們還展示了定量測試集上的視覺結果,如圖5 所示,HGRDNet,BSRNet[30],RealESRNet[53],USRNet[54],PDMSR[55],FAWDN[56]這些面向PSNR 模型,雖然客觀評價指標較高,但往往存在過度平滑現象,這是面向PSNR 模型本身特性導致的.而RealSR[26]和FSSR[31]這兩個面向視覺質量的模型,雖然具有較低的客觀評價指標,但是視覺效果卻相對優秀.這說明PSNR 和SSIM指標雖可在一定程度上反映模型重建圖像內容的能力,但卻不符合人眼的視覺感知,因此我們更關注符合實際應用的面向視覺質量模型HGRDGAN.

圖5 各方法在定量測試集上的視覺結果Fig.5 The visual results of different methods in quantitative testsets

3.3.2 定性實驗

圖6 展示了本文模型HGRDGAN 在定性數據集上與其他方法的視覺對比結果,我們著重放大了重建圖像的局部內容,從中可直觀地看出本文模型在細節紋理的重建上優于其他方法,結果更清晰更富有層次性.從圖中可以看出,所有對比方法都呈現出模糊不清晰的現象,其中FSSR 方法因對噪聲估計不準確出現了許多白點,RealSR 方法因對紋理細節關注不夠出現了一些偽影.而本文模型紋理邊緣清晰,無偽影和噪聲,同時還充分恢復出了很多微小之處,如毛細血管以及各個組織表面的紋理,這是其他對比方法不曾關注的地方.這說明這些對比方法的退化模型和超分模型不適用于醫學內窺鏡圖像.我們的退化模型是直接從真實內窺鏡圖像提取退化,所以真實性更高,更符合實際情況.我們的超分模型設計了高頻引導層,所以增強了高頻信息,充分挖掘了醫學圖像的紋理細節.與圖5 定量數據集的視覺效果對比,也可得出結論,使用面向視覺質量的感知損失和對抗損失令模型更加關注圖像的視覺特征,得到的結果也比使用像素損失的結果更清晰.

圖6 各方法在定性測試集上的視覺結果Fig.6 The visual results of different methods in qualitative testsets

由于定性數據集沒有GT,故我們采用無參考圖像的質量評估指標NIQE[58]和PI[59]進行定量評估.NIQE 和PI 的值均是越低代表感知質量越好,由表3 所示本文模型在NIQE 和PI 的數值均為最低,即人眼主觀感受最好.

表3 不同方法在定性測試集的客觀結果Table 3 The objective results of different methods in the qualitative testsets

3.4 消融實驗

為進一步驗證模糊核與噪聲的估計和注入在退化框架中的必要性,驗證高頻引導層在超分辨模型中的有效性,我們進行了以下消融實驗:

去除噪聲模塊.在退化框架中刪除真實噪聲的估計與注入模塊,僅保留模糊核的估計與注入模塊,以驗證噪聲模塊的有效性.

去除模糊模塊.在退化框架中刪除真實模糊的估計與注入模塊,以雙三次插值下采樣代替之,并保留真實噪聲的估計與注入模塊,以驗證模糊核模塊的有效性.

去除高頻模塊.設置超分模型高頻引導的殘差密集塊不包含高頻引導層,僅保留殘差密集塊.此時網絡模型與基線網絡ESRGAN[47]一致.

以上實驗的訓練設置與第2.3 節一致.由表4可知完整模型在定量數據集A 和B 上的PSNR 和SSIM 數值仍為最優,這說明真實噪聲與模糊核的退化估計與注入,以及高頻引導模塊均提升了模型的性能,缺一不可.圖7 展示了本文完整模型與各消融實驗在定性數據集上的重建結果.如圖7(a)所示,去除噪聲模塊的圖像出現了許多偽影,而去除模糊模塊和完整模型未曾出現這類現象,這表示缺乏真實噪聲的注入,模型無法識別真實測試圖像的噪聲,進而重建結果出現偏差,這說明了真實噪聲估計與注入的有效性.如圖7(b)所示,去除模糊模塊的圖像非常模糊,這說明常見的雙三次下采樣方法不符合內窺鏡圖像的真實退化過程,故而在對真實內窺鏡圖像重建時無法恢復具體細節,說明了真實模糊估計的重要性.如圖7(c)去除高頻模塊的圖像紋理與細節邊緣不如完整模型清晰明顯,這說明高頻引導模塊的確加強了邊緣、紋理等高頻信息,使模型擁有更細膩的細節重建能力.

表4 消融實驗定量結果Table 4 The quantitative results of the ablation experiments

圖7 消融實驗的視覺結果Fig.7 The visual results of the ablation experiments

4 結論

本文提出一種基于真實內窺鏡圖像退化估計的高頻引導超分辨網絡.針對內窺鏡圖像的模糊核和噪聲,設計了一種新穎的退化框架,旨在解決常規下采樣方式生成的配對圖像存在域差異的問題,獲得符合真實域的退化圖像.同時,在超分辨階段,本文開發了基于雙頻率信息交互的頻率分離策略以及多層級融合機制,以重建完整清晰的重要紋理與細節.大量實驗表明,與其他算法相比,本文提出的方法可以產生更高質量的重建效果.