分級特征反饋融合的深度圖像超分辨率重建

張帥勇 劉美琴 姚 超 林春雨 趙 耀

近年來,深度信息在計算機視覺領域的應用越來越廣.在遠程醫療、無人駕駛以及安防監控等領域,深度信息可以顯著地提升產品的性能.然而,受采集設備的限制,采集的深度圖像分辨率比較低,如Mesa Swiss Ranger 4 000 采集的深度圖像的分辨率僅為176×144,微軟Kinect V2 采集的深度圖像的分辨率為512×424,均難以滿足實際需求.因此,如何由低分辨率深度圖像重建高分辨率的深度圖像已經成為當前多媒體領域的研究熱點之一.

與深度圖像相比,同一場景下的高分辨率紋理圖像更容易獲取,且二者之間存在著高度關聯的結構相似性.因此,許多學者利用同一場景下高分辨率紋理圖像所包含的先驗信息,引導完成深度圖像的超分辨率重建過程.如:在早期階段,一般采用低通濾波器[1-8],這類方法實現簡單,卻會過濾掉大部分的高頻信息,導致重建的深度圖像出現邊緣模糊現象.基于優化表示的方法[9-16]設計了相應的優化函數和正則項,約束邊緣信息,充分考慮了深度-紋理的邊緣相似性,但是手工設計的優化函數并不具有普適性,且求解最優化問題耗時巨大,難以滿足實際應用的需求.

近年來,基于深度學習的方法在深度圖像超分辨率重建領域的應用越來越廣,按照是否利用紋理圖像的引導信息大致可分為兩類:單深度圖像超分辨率算法和紋理圖像引導的深度圖像超分辨率算法.與圖像超分辨率算法[17-21]類似,單深度圖像超分辨率算法[22-23]通過構建卷積神經網絡,學習從低分辨率深度圖像到高分辨率深度圖像的非線性映射關系,實現深度圖像的超分辨率重建;基于紋理圖像引導的深度圖像超分辨率算法[24-29]通常采用上采樣或者下采樣的方式,獲取豐富的層次特征,利用對應尺度下紋理圖像提供的引導信息,完成深度圖像的重建過程,如:Hui 等[25]構建了金字塔結構,輸入的低分辨率深度圖像經逐級采樣后得到多尺度的特征表示,再融合對應尺度的紋理特征;Guo 等[29]采用U-Net 結構對插值后的深度圖像進行編碼,在解碼過程中融合對應尺度的紋理特征.這兩種特征融合結構以串聯方式從低尺度到高尺度地逐步重建高分辨率的深度圖像,均可以提取豐富的層次特征信息,卻未能有效利用多尺度特征間的關聯性進行特征融合.

針對以上問題,本文充分考慮了不同尺度間深度圖像與紋理圖像的結構相似性,提出了一種基于分級特征反饋融合策略的深度圖像超分辨率重建算法,并相應地設計了一種端到端的分級特征反饋融合網絡(Hierarchical feature feedback network,HFFN).HFFN 網絡采用了并行結構,結合單深度圖像重建網絡和深度-紋理融合特征增強網絡分別提取深度圖像和紋理圖像的深層特征,獲取深度圖像與紋理圖像隱含的結構信息;改進的金字塔結構,可以構建不同尺度下深度-紋理的分層特征表示;設計了一種分級特征的反饋式融合策略,實現并行金字塔不同層特征的反饋融合,搭建起不同尺度間深度-紋理特征信息傳遞的橋梁,充分挖掘不同尺度間深度-紋理的結構相似性;結合深度-紋理邊緣特征,獲取深度圖像的邊緣引導信息,生成邊緣引導圖像;采用殘差學習的方式,將邊緣引導圖像與單深度圖像重建網絡的重建結果相加,以進一步提升深度圖像的重建質量.實驗結果表明,與對比方法相比,本文算法獲得了高質量的深度圖像重建結果.

本文的組織結構如下:第1 節簡要回顧了深度圖像的超分辨率重建算法;第2 節具體介紹了HFFN網絡的整體框架;第3 節詳細給出了對比實驗及分析結果;第4 節總結全文.

1 相關工作

深度圖像超分辨率重建算法主要包括基于濾波、優化表示和深度學習三類.

1.1 基于濾波的深度圖像超分辨率算法

基于濾波的深度圖像超分辨率算法大多利用低通濾波器,在上采樣過程中采用與深度圖像點-點相關的紋理圖像的高頻信息,恢復深度圖像的邊緣信息.如,Lei 等[3]利用深度-紋理間的相似性,構建了一種三邊上采樣濾波器;Yang 等[4]利用同場景紋理圖像確定了像素上采樣過程中的權值,提出了一種自適應權值濾波的深度圖像超分辨率算法;Lu 等[5]在稀疏深度樣本的指導下分割紋理圖像,恢復每個子圖像中的深度值,利用了紋理邊緣與深度邊緣之間的依賴關系;He 等[6]通過建立引導圖像與輸出之間的線性關系對目標圖像進行引導濾波,相比雙邊濾波器保留了更多的邊緣細節;Barron 等[7]提出了一種新的邊緣感知平滑算法雙邊求解器,實現紋理圖像引導下的深度圖像快速超分辨率重建;Yang 等[8]面向三維視點合成,利用深度-紋理相似性構建了像素級的置信度計算方法,構造了基于置信度的聯合引導濾波器,不僅考慮了深度像素間的平滑性,而且融入了深度-紋理的相似性,提高了深度圖像上采樣的性能及合成視點的質量.

1.2 基于優化表示的深度圖像超分辨率算法

基于優化表示的深度圖像超分辨率算法是構建一種深度-紋理的聯合表示,以字典或稀疏表示的方式學習深度-紋理間的映射.如,Diebel 等[9]用馬爾科夫隨機場 (Markov random field,MRF)將低分辨率深度圖像與高分辨率紋理圖像集成后進行上采樣操作;除應用MRF 以外,An 等[10]通過正則項局部誤差均值自適應地計算平衡正則項和保真項的正則化參數矩陣,較好地保持了邊緣信息;Park 等[11]采用非局部方法對深度圖像進行正則化,改善了深度圖像的細節;Yan 等[12]采用非局部均值算法先獲取初始上采樣深度圖像,再利用邊緣檢測算法對其優化,提高了深度圖像的重建質量;Yang 等[13]采用自適應回歸模型,通過紋理圖像的引導自動生成超分辨率深度圖像;Ferstle 等[14]提出了一個深度圖像超分辨率重建的凸優化問題,利用紋理圖像計算出各向同性擴散張量,指導深度圖像的上采樣過程;Li 等[15]基于加權最小二乘法和快速全局平滑技術,提出了一種分層、多遍的全局優化框架,避免了不必要的紋理復制偽影;Kiechle 等[16]構建了一種雙模共稀疏分析模型,能夠捕捉到紋理圖像與深度圖像之間的相互依賴關系,實現深度圖像的超分辨率重建.

1.3 基于深度學習的深度圖像超分辨率算法

近年來,卷積神經網絡在圖像超分辨率重建領域取得了顯著的成就.Dong 等[17]首次提出了端到端的SRCNN (Super resolution convolution neural network) 網絡,直接學習從低分辨率到高分辨率的映射關系,解決了基于深度學習的圖像超分辨率重建問題;Shi 等[18]和Lim 等[19]改進了SRCNN,加深了網絡的深度;Zhou 等[20]和Zhang 等[21]利用了遞歸殘差網絡,在提高超分重建質量的同時限制了模型參數,有效降低了計算復雜度.

不同于直接堆疊卷積層,Huang 等[22]采用基于深度密集殘差網絡實現金字塔結構的深度圖像超分辨率重建網絡,利用不同層次特征逐步重建高分辨率的深度圖像;Song 等[23]利用通道注意力機制,實現了深度圖像超分辨率重建網絡,從粗到細地恢復深度圖像的高頻分量;Zhao 等[24]提出了紋理-深度條件生成對抗網絡,學習紋理圖像和低分辨率深度圖像之間的結構相似性;Hui 等[25]提出了多尺度引導卷積網絡MSG (Multi-scale guided convolutional network),利用豐富的分層紋理特征,消除了深度圖像重建后存在的模糊現象;Zuo 等提出了紋理引導增強的殘差稠密網絡RDN-GDE[26](Residual dense network for guided depth enhancement)和多尺度融合殘差網絡MFR-SR[27](Multi-scale fusion residual network for depth map super resolution),探究如何利用紋理圖像提供的多尺度引導信息,逐步指導深度圖像的上采樣重建;Ye 等[28]提出了漸進的多分支聚合網絡PMBA (Progressive multi-branch aggregation network),利用多分支融合方式逐步恢復退化的深度圖像;Guo 等[29]提出了深度圖像超分辨率重建網絡DepthSR (Hierarchical features driven residual learning for depth map super resolution),利用U-Net 殘差深層網絡,獲取多尺度的結構信息,完成深度圖像的超分辨率重建.

2 分級特征反饋融合網絡

2.1 網絡結構

本文提出的分級特征反饋融合網絡HFFN(如圖1 所示)采用并行結構,由單深度圖像重建和深度-紋理融合特征增強兩個子網絡構成.首先,兩個子網絡分別提取低分辨率深度圖像和高分辨率紋理圖像的深層特征,構建深度-紋理的深層特征表示.其次,利用并行金字塔結構,設計深度-紋理反饋式融合模塊(Depth-Color feedback fusion module,DCF),提取深度-紋理在不同尺度下的結構信息,構建深度-紋理的多尺度分層特征表示;應用反饋式融合策略,挖掘不同尺度下深度-紋理隱含的關聯性,生成包含多級感受野的邊緣引導信息.最后,由邊緣引導信息生成的邊緣引導圖像,與單深度圖像重建網絡的重建結果相加,實現深度-紋理的引導重建過程,獲得紋理圖像引導的高分辨率深度圖像的重建結果.

圖1 分級特征反饋融合網絡Fig.1 Hierarchical feature feedback network

2.2 深度-紋理深層特征表示

由于深度圖像和紋理圖像表征的內容不同,采用同一網絡將難以區分所提取的紋理圖像和深度圖像的信息.因此,HFFN 網絡利用單深度圖像重建網絡和深度-紋理融合特征增強網絡,提取低分辨率深度圖像DL和高分辨率紋理圖像YC的深層特征FDL和FDC.子網絡的特征提取模塊均由一個卷積層和M個殘差塊[19]組成,每個殘差塊包含一個線性整流激活函數 (Rectified linear unit,ReLU)和兩個卷積層.

為了降低運算復雜度,特征提取階段的輸入為低分辨率的深度圖像,在特征融合階段,深度圖像和紋理圖像的深層特征會出現空間不匹配的問題.因此,深度圖像的深層特征FDL需經上采樣操作后才能與紋理特征FDC融合,以便學習二者的相關性.單深度圖像重建網絡采用亞像素卷積層[18]H↑上采樣FDL,生成與紋理圖像空間一致的深層特征,構建相應的深度-紋理深層特征表示,如式(1)所示:

2.3 深度-紋理反饋式融合模塊

由文獻[25-29]可知,多級別的感受也可以獲取豐富的層次特征信息.因此,本文構建深度-紋理反饋式融合模塊DCF,提取深度-紋理的分層特征表示,并利用分級特征反饋融合策略,充分融合深度-紋理在不同尺度下的特征,生成包含多級感受野的邊緣引導信息,如式(2)所示:

其中,HDCB表示深度-紋理反饋式融合函數.

該模塊包含多尺度分層特征構建子模塊和特征融合反饋子模塊,如圖2 所示,圖中的數字表示通道的數量.其中,多尺度分層特征構建子模塊提取在不同尺度下的結構特征信息,構建深度-紋理的分層特征表示;融合特征反饋子模塊對不同尺度下的結構特征進行融合反饋,豐富融合特征包含的結構信息.

圖2 深度-紋理反饋式融合模塊Fig.2 Depth-Color feedback fusion module

2.3.1 多尺度分層特征構建子模塊

多尺度分層特征構建子模塊通過并行金字塔結構獲取深度-紋理圖像的多尺度分層特征,以并行的方式構建深度-紋理的分層特征表示.為了避免因層數過高引起深度圖像邊緣結構的退化現象,多尺度分層特征構建子模塊選用三層金字塔(1≤j ≤3)結構.具體地,第j-1 層的分層特征通過卷積提取其邊緣結構信息,并利用最大池化層構建深度圖像和紋理圖像第j層的分層特征和,如式(3)和(4)所示:

多尺度分層特征構建子模塊將并行金字塔每一層構建的分層特征傳遞到金字塔的下一層,以提供不同感受野下深度-紋理的層次特征信息.

2.3.2 特征融合反饋子模塊

如何利用上文構建的多尺度分層特征獲取深度圖像的邊緣引導信息,是重建高質量深度圖像的關鍵.大多數算法[25-27]采用級聯某一尺度下的深度特征和紋理特征的方式生成融合特征,顯然無法有效利用深度-紋理圖像間的結構相似性.因此,本文構建的特征融合反饋子模塊基于分級特征反饋融合策略,在不同層間傳遞結構信息,并利用卷積自適應地分配不同層特征融合時的權重系數,用于提高不同尺度間特征的相容性.

其中,Wr和br分別表示生成邊緣引導信息FDF時卷積的權重和偏置.

應用反饋式融合策略,特征融合反饋子模塊可以挖掘不同尺度下深度特征與紋理特征潛在的關聯性,生成包含多級感受野的邊緣引導信息.

2.4 深度-紋理的引導重建

在構建單深度圖像重建網絡的基礎上,本文算法通過深度-紋理融合特征增強網絡生成深度圖像的邊緣引導圖像,引導深度圖像的重建過程.單深度圖像重建網絡的重建結果DUP如圖3(a)所示,由提取的深度特征生成;深度-紋理融合特征增強網絡的重建結果DF如圖3(b)所示,包含豐富的邊緣信息.

圖3 特征重建結果Fig.3 Feature reconstruction results

HFFN 網絡采用殘差學習的方式將DUP與DF相加,得到深度圖像的超分辨率重建結果DSR,利用邊緣引導圖像進一步增強深度圖像的邊緣細節信息,如式 (7) 所示:

其中,HRL(·)表示高分辨率深度圖像重建函數,HRC(·)表示邊緣引導圖像生成函數.

2.5 實現細節

除標記參數的卷積層以外,HFFN 網絡其他部分卷積核的大小為k=3,通道數為C=64,采用經典的均方誤差(Mean square error,MSE) 作為訓練模型的損失函數,如式 (8) 所示:

其中,Θ表示網絡學習到的參數,H表示重建模型,N表示每批的訓練樣本數,N=16,初始的學習率lr=1×10-4,且在第60 個和第120 個周期時lr減半,共訓練200 個周期.HFFN 網絡采用ADAM 算法[30]進行優化,參數設為β1=0.9,β2=0.999,ε=1×10-8.本文實驗在PyTorch 框架下使用一塊NVIDIA 2080Ti 的GPU 卡完成.

3 實驗

3.1 實驗說明

訓練集:本文采用與文獻[22,25,29]相同的數據集,包含34 對來自于 “Middlebury 2001 Datasets”[31]、“Middlebury 2003 Datasets”[32]和 “Middlebury 2014 Datasets”[33](分辨率最小為432×368、最大為2 300×1 992)以及58 對來自于 “MPI Sintel depth”數據集[34](分辨率為1 024×436)的深度-紋理圖像.其中,82 對深度-紋理圖像作為訓練集,10 對深度-紋理圖像作為驗證集.

測試集:為了評估不同算法的性能,本文從“Middlebury 2003 Datasets”[35]和 “Middlebury 2005 Datasets”[32,36]上選取10 對深度-紋理圖像作為測試集.參考文獻[25-27],測試集分為A (Art、Books、Moebius)、B (Dolls、Laundry、Reindeer)、C (Tsukuba、Venus、Teddy、Cones)三個部分.

數據處理:本文將原始深度圖像DH經雙三次插值算法下采樣得到DL.在訓練階段,選取比例因子分別為2×、3×、4×、8×時,原始深度圖像DH和紋理圖像YC被分割成大小為128、144、128、128的塊,對應的低分辨率深度圖像DL被分割成大小為64、48、32、16 的塊,并利用隨機旋轉和翻轉操作擴大數據集.在訓練階段,HFFN 網絡的輸入為紋理圖像和深度圖像的Y 通道,輸出為單通道的高分辨率深度圖像.在測試階段,采用均方根誤差(Root mean square error,RMSE)和峰值信噪比 (Peak signal to noise ratio,PSNR)評價網絡的超分辨率重建性能.

3.2 消融分析

3.2.1 參數分析

當比例因子為 4×時,本文評估特征提取模塊殘差塊的數目、金字塔層數對HFFN 網絡性能的影響分別如表1、表2 所示.

表1 殘差塊數目對HFFN 網絡性能的影響Table 1 Influence of the number of residual blocks on the performance of HFFN

表2 金字塔層數對HFFN 網絡性能的影響Table 2 Influence of pyramid layers on the performance of HFFN

在表1 中,網絡模型H_R3、H_R5、H_R7、H_R10 分別表示Basic 網絡中有3、5、7、10 個殘差塊,且金字塔層數為3.由表1 可知,隨著殘差塊數目的增加,HFFN 模型重建結果的PSNR 值也隨之增加.同時,殘差塊數目的增加也帶來了網絡模型訓練時間和參數量的增長,如:模型H_R7 和H_R10比H_R5 的訓練時間提高了0.6 h 和1.6 h、參數量提高了0.30 M 和0.74 M.因此,設置殘差塊超參不僅需要考量重建結果的PSNR 值,也需考慮模型的訓練時間和參數量.

在表2 中,金字塔層數為2、3、4 對應的網絡模型分別為H_P2、H_P3、H_P4,殘差塊數目為5.可以看出,模型H_P4 比H_P3 重建的PSNR 值提高了0.08 dB、參數量增加了5.38 M、訓練時間增加了4.8 h;而模型H_P3 比H_P2 重建的PSNR值提高了0.20 dB、參數量增加了1.34 M、訓練時間增加了0.2 h.

因此,在模型性能的驗證階段,本文均衡考慮了HFFN 模型的重建質量、計算復雜度及訓練時間等因素,設置殘差塊數目為7、金字塔層數為3,不僅可以保證深度圖像高分辨率重建質量,還可以控制網絡模型的參數規模和訓練時間.

3.2.2 模型分析

為了驗證HFFN 各部分的性能,本文將模型分為紋理、分層、深層和融合四部分.其中紋理表示引入紋理圖像的先驗信息;分層表示利用金字塔結構獲取多尺度分層特征;深層表示采用深層網絡提取深度-紋理圖像的特征;融合表示加入自適應特征融合算法.基準網絡Basic 包含五層殘差塊的單深度圖像超分辨率重建網絡,結構與文獻[19]類似,相應構建的H_Color、H_CP 和H_Res 網絡的配置及實驗結果如表3 所示.

由表3 可知,對比Basic 網絡、H_Color 網絡、H_CP 網絡和HFFN-100 網絡的重建結果,HFFN-100 網絡的性能最優,說明紋理圖像、并行金字塔結構以及反饋式融合策略在深度圖像超分辨率重建中的有效性;此外,H_Res 網絡與HFFN-100 網絡的實驗結果表明,通過多層網絡提取深度-紋理圖像的深層特征,有利于挖掘深度圖像與紋理圖像隱含的關聯性.

表3 消融分析結果Table 3 Results of ablation study

本文對比Basic 網絡和HFFN-100 網絡在 “Art”上的重建結果,以驗證紋理圖像在深度圖像超分辨率重建中的作用,如圖4 所示.由于缺失紋理圖像提供的引導信息,Basic 網絡的重建結果出現了偽影和噪點,見圖4(b);圖4(c)為HFFN-100 網絡的重建結果,保留了更多的邊緣細節信息.

圖4 “Art”的視覺質量對比結果Fig.4 Visual quality comparison results of “Art”

3.3 實驗結果

實驗對比算法為:傳統算法(Bicubic、GF[6]、TGV[14]、JID[16])和基于深度學習的超分辨率算法(紋理圖像超分辨率算法SRCNN[17]、單深度圖像超分辨率算法Huang[21]、紋理圖像引導下的深度圖像超分辨率算法MSG[25]、DepthSR[29]、MFR-SR[27]、RDN-GDE[26]、PMBA[28]),HFFN+表示在HFFN 算法中引入Self-Ensemble[37]方法.當比例因子為 2×、3×、4×、8×時,深度圖像超分辨率重建的客觀質量對比結果如表4 到表6 所示.實驗結果的最優值用粗體表示、次優值用下劃線表示.

由表4 可知,當比例因子為 2×、3×、4×、8×時,所提算法在 “Books”和 “Moebius”上的重建結果均優于對比算法.其中,HFFN 算法重建 “Books”的RMSE 值比Bicubic 算法降低了0.8 (2×)、1.02(3×)、1.14 (4×)、1.49 (8×);HFFN 算法重建“Books”的RMSE 值比GF[6]算法降低了1.21 (2×)、1.22 (3×)、1.24 (4×)、1.48 (8×);與Huang[21]提出的算法相比,HFFN 算法重建 “Books”的RMSE值降低了0.26 (2×)、0.34 (4×)、0.32 (8×);與PMBA[28]算法相比,HFFN 算法重建 “Books”的RMSE 值降低了0.14 (2×)、0.45 (4×)、0.87 (8×).隨著放大比例因子的增加,本文提出的HFFN 算法明顯優于傳統算法GF[6]、單深度圖像算法Huang[21]和紋理圖像引導的算法PMBA[28],RMSE 值之差也越來越大,驗證了HFFN 算法融合不同尺度下深度-紋理結構相似性的優勢.當比例因子為4×時,各算法在 “Books”上的RMSE 值與運行時間如圖5所示.由圖5 可知,綜合考慮運行時間和重建質量,HFFN 算法取得了最優的結果.

表4 測試數據集A 的客觀對比結果 (RMSE)Table 4 Objective comparison results (RMSE) on test dataset A

圖5 各算法重建 “Books”的RMSE 值走勢圖Fig.5 The trend of the RMSE for “Books”

由表5 可知,與MFR-SR[27]算法相比,HFFN算法重建 “Laundry”的RMSE 值減少了0.29 (2×)、0.38 (4×)、0.42 (8×),與PMBA[28]算法相比,HFFN算法重建 “Laundry”的RMSE 值降低了0.08(2×)、0.44 (4×)、0.93 (8×),與DepthSR[29]算法相比,HFFN算法重建 “Laundry”的RMSE 值減少了0.12(2×)、0.10 (3×)、0.05 (4×);與Huang[21]提出的算法相比,HFFN 算法重建 “Reindeer”的RMSE 值減少了0.25 (2×)、0.15 (4×)、1.16 (8×),與RDNGDE[26]算法相比,HFFN 算法重建 “Reindeer”的RMSE 值降低了0.17 (2×)、0.25 (4×)、0.47 (8×).RDN-GDE[26]算法、MFR-SR[27]算法以及Depth-SR[29]算法都是利用金字塔結構獲取豐富的層次特征信息,而HFFN算法改進了金字塔結構、實現深度-紋理的反饋式融合、有效利用了多尺度特征間的關聯性,其重建結果優于以上對比算法.同時,考慮到模型參數以及運行時間的影響,HFFN 網絡只采用了三層金字塔結構,而DepthSR[29]算法在UNet 結構的基礎上進行了四次下采樣,并且與對應尺度下輸入金字塔提取的特征進行級聯,相比HFFN 網絡獲取了更豐富的層次特征,更有利于大比例因子的重建.因此,當比例因子為 8×時,HFFN網絡重建 “Laundry”和 “Reindeer”的RMSE 值相比DepthSR[29]算法增加了0.02 和0.07.由上述實驗結果可知,HFFN算法的重建結果總體上優于對比算法,驗證了HFFN算法在深度圖像超分辨率重建任務中的有效性.

表5 測試數據集B 的客觀對比結果 (RMSE)Table 5 Objective comparison results (RMSE) on test dataset B

由表6 可知,HFFN 算法重建 “Cones”的RMSE值均優于比較算法.與DepthSR[29]算法相比,HFFN算法重建 “Teddy”的RMSE 值減少了0.27 (2×)、0.22 (3×)、0.16 (4×);與MSG[25]算法相比,HFFN算法重建 “Teddy”的RMSE 值減少了0.1 (2×)、0.28 (4×)、0.49 (8×),上述結果表明了HFFN 算法采用反饋式融合策略,充分融合了不同尺度下的深度特征和紋理特征,其重建深度圖像 “Cones”和“Teddy”上的RMSE 值優于對比算法.由表4 到表6可知,HFFN+算法在測試集的重建結果均優于HFFN算法.因此,采用Self-Ensemble[37]方法可以進一步提升HFFN 算法的重建質量.

表6 測試數據集C 的客觀對比結果 (RMSE)Table 6 Objective comparison results (RMSE) on test dataset C

當比例因子為 4×、8×時,HFFN 與Bicubic、GF[6]、SRCNN[17]、DepthSR[29]、PMBA[28]算法在測試圖像 “Art”和 “Laundry”上超分辨率重建的對比結果分別如圖6 和圖7 所示.

圖6 4 × 尺度下測試圖片 “Art”的視覺質量對比結果Fig.6 Visual quality comparison results of “Art” at scale 4×

圖7 8 × 尺度下測試圖片 “Laundry”的視覺質量對比結果Fig.7 Visual quality comparison results of “Laundry” at scale 8×

由圖6 可知,與基于濾波的Bicubic 算法、GF[6]算法以及基于深度學習的單圖像超分辨率算法SRCNN[17]相比,基于紋理圖像引導的DepthSR[29]算法、PMBA[28]算法和HFFN 算法在重建過程中融合了紋理圖像提供的引導信息,指引深度圖像的重建過程,其重建結果有著清晰的邊緣.

由圖7(d)框中區域可知,DepthSR[29]算法在深度圖像 “Laundry”上的重建結果出現了原始深度圖像上不存在的白色條紋,可能是由于DepthSR[29]算法在解碼過程中只融合淺層的紋理特征,紋理圖像中包含的紋理信息干擾了深度圖像的重建過程;如圖9(f)藍框區域所示,HFFN 算法利用深層網絡充分挖掘了紋理圖像的結構信息,并利用反饋式融合策略獲得了包含多級感受野的邊緣引導信息,重建結果未出現白色條紋,避免了紋理圖像內部紋理信息的干擾.

3.4 計算復雜度分析

本文對比HFFN 與Bicubic、GF[6]、TGV[14]、SRCNN[17]、MSG[25]、PMBA[28]、DepthSR[29]的計算復雜度.在Intel(R)E5-1620v4,3.5 GHz,32 GB RAM、NVIDIA GeForce GTX 2080Ti 12 GB 計算平臺上,各算法將低分辨率深度圖像(264×324)重建為高分辨率深度圖像(1 056×1 296) 的平均運行時間,如表7 所示.

表7 平均運行時間Table 7 Average running time

由表7 可知,基于濾波的Bicubic 算法、GF[6]算法,運行時間分別為0.01 s、0.13 s,相比其他算法運行時間最快、計算復雜度最低;基于優化表示的TGV[14]算法在CPU 上的運行時間達到了893 s,時間消耗最大;得益于GPU 計算資源的優勢,基于深度學習的SRCNN[17]算法、MSG[25]算法、Depth-SR[29]算法、PMBA[28]算法和HFFN 算法的運行時間分別為:0.13 s、0.29 s、1.84 s、0.46 s.在這些網絡結構中,SRCNN[17]只使用了3 層卷積層,計算復雜度最低;DepthSR[29]利用了4 層輸入金字塔提取不同尺度下的結構特征,再與U-Net 結構中對應尺度的特征進行級聯,提取各層的特征信息,增加了模型參數量、降低了運行速度;HFFN 網絡采用了3 層并行金字塔結構、有效利用深度-紋理多尺度間的相關性,在提升深度圖像重建質量的同時,控制了模型的參數量和計算復雜度.

4 結論

本文提出了一種基于分級特征反饋融合策略的深度圖像超分辨率重建算法,并構建了端到端的分級特征反饋融合網絡.在提取深度-紋理圖像的深層特征的基礎上,該算法利用并行金字塔結構構建深度-紋理在不同尺度下的分層特征表示,提取深度-紋理在不同尺度下的結構信息;進而,應用反饋式融合策略,融合不同尺度下的結構特征,生成包含多級感受野的邊緣引導信息,引導深度圖像的超分辨率重建過程.與其他算法相比,實驗結果驗證了所提算法的有效性.