基于像素差分網絡和邊緣方向插值的圖像縮放算法

賴秦榮，狄嵐

江南大學 人工智能與計算機學院，江蘇 無錫 214122

在圖像處理領域中，圖像插值算法一直是圖像處理的難題，該技術的目標是將一張低分辨率圖像通過插值算法處理轉換為高分辨率圖像。目前，圖像插值技術已經廣泛應用于醫學影像診斷、圖像重構、計算機視覺、道路車輛監控等多個領域。圖像插值技術按照插值處理方式差異主要分為線性插值算法與非線性插值算法2 大類。線性插值算法經典的中包括最近鄰插值、雙線性插值算法[1]，這2 種算法處理的圖像邊緣鋸齒現象明顯以及出現邊緣輪廓模糊不清的情況，因此不適合處理有著復雜邊緣細節的圖像。雙三次插值[2]、基于區域關系插值、三次B 樣條插值[3]、蘭索斯（Lanczos）插值[4]等算法有著更為復雜的函數模型，且在算法思想上引入了待插值像素點周圍已知像素點灰度值變化和灰度值變化率的影響因素，但上述插值算法核函數都具有低通濾波的性質，會破壞圖像高頻區域，處理后的圖像邊緣依然會出現模糊失真的現象。為了解決傳統線性插值存在的問題，數字圖像處理領域專家開始研究非線性插值算法，從變換域角度引入了小波變換插值[5-12]，先分離圖像的高頻與低頻信息，然后針對圖像高頻信息進行處理。該算法能較好保持圖像邊緣細節，但存在著插值模型復雜和高頻信息處理時會帶來噪聲等問題。從人類視覺系統角度出發，圖像插值質量的關鍵是圖像邊緣區域信息的有效保持，有許多基于邊緣區域的圖像插值算法[5]，其中有一種新的邊緣定向插值算法(new edge-directed interpolation, NEDI)[13]，其根據經驗閾值將圖像劃分為邊緣與非邊緣區域，利用局部協方差插值模型處理邊緣區域，利用雙線性插值處理非邊緣區域，完成圖像插值得到高分辨率圖像。該算法極大地提高了圖像邊緣質量。但是存在著2 大問題：1）算法通過經驗閾值完成邊緣分割，這導致對于不同圖片邊緣的處理時具有較大隨意性；2）對于邊緣區域的插值處理上，NEDI 算法沒有較好考慮邊緣輪廓的連續性，這導致圖像的邊緣結構沒有很好地保留下來。

針對上述NEDI 算法存在的問題，本文提出一種基于像素差分網絡[14]和邊緣方向插值的圖像縮放算法。1）針對NEDI 算法劃分邊緣時經驗閾值選擇隨意性的問題，本文算法改用像素差分網絡劃分邊緣，替代原有劃分邊緣方法；2）針對保持邊緣輪廓連續性的問題，本文算法通過對邊緣點局部區域內邊緣線方向線性插值保持邊緣輪廓的連續性，同時也保持邊緣結構的完整性。實驗表明，本文提出的算法相較于NEDI 算法對于各種圖片能在保持圖像結構性不變的情況下，獲得較高的峰值信噪比，而與其他圖像插值算法相比，同樣具有較好的評價指標數據。

1 NEDI 算法

NEDI 算法輸入原圖像，通過經驗閾值劃分區域，插值點像素值低于閾值的像素點將分到非邊緣區域，超過閾值像素點分到邊緣區域，邊緣區域采用協方差自適應插值，非邊緣區域采用雙線性插值，最終插值結果合并得到結果圖像。自適應協方差插值算法的示意如圖1。圖1 中C(x,y)為待插值像素點，其余點為原圖像像素點。

圖1 自適應協方差插值算法

圖1 中待插值像素點C的像素點灰度值是加權平均四周相鄰像素點值所得結果。下面為權重系數a的計算流程：原圖像記為X，結果圖像記作Y，Y圖像是X圖像進行2 倍插值后所得，即Y2i,2j=Xi,j，則Y2i+1,2j+1計算為

式中：Y2(i+k),2(j+1)為原圖像像素值，Y2i+1,2j+1為結果圖像中待插值點像素值，a2k+1為權重系數，k與i的取值范圍為[0,3]。

然后根據維納濾波原理[15]計算a2k+1，算出最小均方誤差(minimum mean squared error, MMSE )，線性插值系數為

式中：Y=[y1,···yk,···,yM2]T為圖像中局部窗口為M×M像素向量矩陣組成的，C為4×M2的矩陣，第k列向量yk是沿著待插值像素點對角線方向上4 個最近鄰像素點的值。根據式(1)~式(3)，求得最終的權重系數為

通過上述處理流程，NEDI 算法將一張低分辨率圖轉換為一張高分辨率圖，同時保持了較好的圖像觀賞性。但是根據算法處理流程可以看出，人工選取經驗閾值存在局限性，以及算法并沒有針對圖像邊緣輪廓的連續性進行處理以保持圖像邊緣結構。

2 基于像素差分網絡和邊緣方向插值的圖像插值算法

本文通過對NEDI 算法的分析，采用像素差分網絡劃分邊緣替代經驗閾值劃分邊緣區域與非邊緣區域，對于非邊緣區域選擇雙線性插值算法處理，對于邊緣區域采用邊緣線方向選擇線性插值的方式保證邊緣輪廓連續性，保留圖像邊緣結構。本文算法框架如圖2。

圖2 本文算法框架

2.1 像素差分網絡劃分邊緣

像素差分網絡核心是通過將傳統檢測算子集成卷積神經網絡運算。一方面傳統邊緣檢測算子基于梯度計算像素差編碼用于邊緣檢測的梯度信息，對于不同邊緣采用不同算子可以簡單高效完成邊緣檢測，但另一方面傳統邊緣算子結構淺，無法處理大量圖像特征，而引入卷積神經網絡后可以很好地處理大量邊緣信息，且相較于香草卷積(vanilla convolution)像素差分網絡提出一種通過計算圖像中像素點間的像素差與核權重卷積生成輸出特征的卷積 (pixel difference convolution,PDC)，卷積公式為

式中：xi、為 輸入圖像像素；wi為k×k卷積核權重；P為當前局部卷積中選取的像素差對集合，像素差分網絡中定義了3 種PDC 的計算方式，分別為基于角度差的像素卷積(pixel difference convolution based on angular differences, APDC)、基于中心差的像素卷積 (pixel difference convolution based on central differences, CPDC)、基于徑向差的像素卷積(pixel difference convolution based on radial differences,RPDC)，計算方式如圖3~5。

圖3 基于角度差的像素卷積

圖4 基于中心差的像素卷積

圖5 基于徑向差的像素卷積

以APDC 為例，按圖3 中箭頭方向依次相減得到像素差后乘以卷積核權重，計算結果最終可以轉化為普通卷積。

基于式(4)，在訓練階段可以通過運用2 倍的算力訓練差分卷積，而推理階段的速度與普通卷積神經網絡一致。像素差分網絡的結構如圖6。

圖 6 像素差分網絡結構

像素差分網絡使用了大量深度可分離卷積，整個主干有4 個階段，其中除第1 階段外，每一階段有4 個Block 塊，每個Block 塊中依次進行深度卷積、Relu 以及單點卷積。深度卷積層中采用PDC 對3×3殘差塊中普通卷積進行替換。結束后都會進行一次下采樣(2×2P)，這樣的主干結構沒有過多分支，具有快速推理和易于訓練效果。

在側結構上首先構建多尺度特征提取模塊(compact dilation convolution based module, CDCM)豐富多尺度邊緣信息，接收輸入n×C個通道，產生M(M

圖7 各階段生成邊緣圖示例

2.2 邊緣線插值保持邊緣輪廓的連續性

通過像素差分網絡進行邊緣提取后，把整幅圖像劃分為非邊緣區域和邊緣區域。對于非邊緣區域采用雙線性插值，而在邊緣區域中連續輪廓存在邊緣點構成邊緣線的情況，則對于邊緣線方向采用線性插值實現圖像縮放后的邊緣輪廓具有一定的連續性，對于非邊緣線方向則采用協方差自適應插值，邊緣線方向例子如圖8。

圖8 以C1 為中心的局部領域邊緣線

圖8 中C1為邊緣點，以它為中心的3×3 鄰域內有8 個鄰接點，其中C1、C2、C3構成一條邊緣線，對于這樣的邊緣線方向的點需采用線性插值，計算公式為

式中：F(x,y)為待插值像素點，f(x1,y1)以及f(x2,y2)為原圖像邊緣線方向的像素點，u是權重系數：

通過對邊緣線方向點的插值運算，保證了一定的邊緣輪廓的連續性，同時也保留了邊緣結構的完整性。

基于像素差分網絡保留邊緣結構的圖像插值算法步驟如下：

輸入低分辨率灰度圖像。

輸出高分辨率灰度圖像。

1) 將圖像輸入深度可分離卷積層處理；

2) 利用多尺度特征提取模塊(compact dilation convolution based module, CDCM)豐富多尺度邊緣信息；

3) 根據空間注意力機制模塊來消除特征圖像中的背景噪聲；

4) 利用1×1卷積層進一步將圖像特征量縮小到單一通道圖，通過插值將圖像還原至原來大小；

5) 使用Sigmoid 函數創建各階段邊緣圖，再通過4 個階段產生的單獨通道特征圖與級聯、單點卷積融合后提取最終圖像邊緣；

6) 通過邊緣提取后遍歷判斷所有像素點所處區域，運用雙線性插值算法處理非邊緣區域，運用協方差自適應插值邊緣點區域，最后為采用線性插值算法完成對邊緣線方向點的處理；

7) 合并插值結果，完成圖像插值。

3 實驗與結果分析

3.1 邊緣提取模型選擇實驗

本文通過比較不同邊緣檢測模型性能以及效果來說明最終采用模型為像素差分網絡模型的相關原因。

首先通過在Multicue[16]數據集上，使用像素差分網絡模型(pixel difference networks, PiDiNet)以及部分先進邊緣檢測模型BDCN[17]和RCF[18]進行性能測試，指標數據結果如表1 所示，其中加粗數據為最佳數據。

表1 神經網絡模型指標數據

評價指標以最佳數據集尺度 (optimal dataset scale, ODS)、平均絕對誤差 (mean absolute error, MAE)、最佳圖像尺度 (optimal image scale, OIS)等為主。其中在ODS 和OIS 上數據越接近1 越好，而平均絕對誤差數據越接近0 越佳?？梢詮谋?看出，像素差分網絡在ODS 和OIS 上雖然不是最佳，但在MAE 上要優于其他模型，ODS 和OIS 數據來自于文獻[14]。

其次是通過對不同邊緣檢測模型邊緣提取圖像效果比較，如圖9 所示。BDCN 測試模型基本上能提取出圖像邊緣輪廓，但細節部分不夠清晰；而RCF 測試模型提取邊緣圖較為模糊，邊緣細節缺失多；PidiNet 測試模型相較于前2 種測試模型，在圖像細節上要更加清晰，能體現出圖像邊緣的梯度變化，總體上PidiNet 模型更為優秀。

圖9 神經網絡模型效果比較

最后是通過在NVIDIA RTX 2080 Ti 上比較不同邊緣檢測模型在BSDS500 數據集上的運行效率，即f/s，如圖10。結合表1 和圖9，可以看出像素差分網絡模型在保持不錯的邊緣檢測性能的同時，運行效率上有著明顯的優勢，因此本文算法上最終選擇像素差分網絡模型劃分邊緣來替代NEDI 原有劃分邊緣方法。

圖10 NVIDIA RTX 2080t 上的運行效率

3.2 比較插值算法實驗過程

本文中的比較不同插值算法的實驗環境為Window 10、Intel(R) Core i5-9300H、OpenCv3.4.3、pytorch1.9、Cuda10.2。實驗過程：首先對每一張輸入的圖像進行降采樣處理，降采樣處理的方式中輸入參數cv2.INTER_NEAREST 給resize 函數，對每張輸入圖像進行縮小處理，把圖像的長寬縮小為原圖像的一半；之后每一張圖像采用不同圖像插值算法處理放大一倍。與原圖像對比給定評價指標峰值信噪比（peak signal to noise ratio, PSNR）、結構相似性（structural similarity, SSIM）[19]以及運行時間等結果數據。PSNR 主要反映了插值圖像與原始圖像的相似度，是通過比較插值圖像與原始圖像的差剖面，依據可視誤差得到的數據，其數值越大表示插值效果越好。相較PSNR 而言，SSIM 的評價方式更符合人類視覺系統，判斷標準是圖像差值前的亮度、對比度和結構等3 個方面。加權乘積后獲取子圖部分的相似度，累積全部子圖結構相似度值并取平均得到SSIM 值，其數值越接近1，插值效果越好。

3.3 結果分析

比較不同插值算法的實驗結果分析主要分為2 方面：1) 主觀角度從人眼視覺上對插值結果的對比；2) 客觀角度對PSNR、SSIM 以及運行時間等結果數據對比。圖11 是對甜椒灰度圖和山魈灰度圖局部區域放大圖像。

圖11 原圖像的局部區域放大圖

3.3.1 主觀分析

從主觀分析的角度，針對甜椒灰度圖和山魈灰度圖局部區域放大圖像，將本文算法和最近鄰插值、雙線性插值、雙三次插值、三次B 樣條插值、蘭索斯插值、區域關系插值、小波變換插值、NEDI、BDCN+NEDI 以及RCF+NEDI 等10 種不同插值算法進行了對比，圖12 和圖13 是處理后圖像的局部比對。

圖12 不同插值算法構建甜椒灰度圖的局部圖像效果對比

圖13 不同插值算法構建山魈灰度圖的局部圖像效果對比

從圖12 中可以看出最近鄰算法、蘭索斯算法處理后的局部區域圖像邊緣有明顯鋸齒，而雙線性插值、區域關系插值、BDCN+NEDI、RCF+NEDI處理后的局部區域圖像會出現邊緣模糊不清的情況，小波變換插值處理后局部區域圖像亮度會發生較明顯提高，相較于其他算法，本文算法插值以及NEDI 算法效果主觀上更接近原圖。

而從圖13 中可以明顯看到三次B 樣條插值、RCF+NEDI 以及區域關系插值處理后的局部圖像的眼睛部分模糊，最鄰近算法、雙線性插值、雙立方插值算法、BDCN+NEDI 以及NEDI 算法對毛發的處理效果較為粗糙，毛發細節沒有較好保留，而從視覺上觀察，本文算法在這一點的處理上要好于其他插值算法所表現出來的結果。

3.3.2 客觀分析

從客觀分析的角度，本文實驗部分選取了12幅灰度圖像作為實驗測試圖像(如圖14)，從PSNR與SSIM 評價指標結果數據角度分析。如表2 所示，比較11 種不同算法之間數據異同，其中加粗字體數據為最佳數據，表示該算法數據上好于其他算法。

表2 圖14 中圖像的不同插值算法PSNR 和SSIM 對比

圖14 測試灰度圖像

通過表2 中數據分析可知，本文算法相較于其他算法，在PSNR 和SSIM 結果數據上都有所領先。其中相較于NEDI 算法，本文算法在保持結構相似性的同時，處理后大部分圖像在峰值信噪比數據上有所提升，領先了0.02~0.2 dB，也有部分處理后圖像峰值信噪比數據以及結構相似性數據上存在持平或者下降。

對不同圖片基本上有所提升也說明本文算法具有一定的普適性。因為涉及到具體的應用層面上，時間復雜度是每一個算法不可避免要考慮的問題，所以需要從時間復雜度角度分析數據，本文實驗中以不同插值算法的具體運行時間來表示，如表3 為不同插值算法運行10 次的運行時間的平均值。取10 次運行時間平均值的目的是為了降低實驗中存在的偶然誤差，可以結合表2、表3 中數據看出，區域關系插值、BDCN+NEDI、RCF+NEDI、NEDI 算法的平均運行時間長，而且本文算法在評價指標數據領先的情況下，相較于NEDI算法在運行時間上遠遠降低，這對未來圖像處理領域中實現本文算法的應用提供了良好的基礎依據。

表3 圖14 中圖像不同插值算法10 次運行時間平均值s

4 結論

本文在通過分析NEDI 算法存在的問題基礎上，通過像素差分網絡模型提取邊緣和邊緣線方向插值保證邊緣輪廓來實現了對算法的改進，提出了基于像素差分網絡和邊緣方向插值的圖像縮放算法。通過實驗表明，本文算法能在提高圖像分辨率的基礎上保留圖像所具有的邊緣結構，有較低的時間復雜度，同時對于不同圖像該算法有較好的普適性。雖然算法取得了一定的效果，但未來還需做進一步的研究，主要有以下方面：1）本文實驗中對圖像僅進行了最近鄰降采樣后放大一倍圖像的操作，而在實際中圖像處理方面，需要能做到任意倍數縮放后都能得到高分辨率圖像。2）本文實驗中以像素差分網絡實現邊緣提取后的圖像仍然會有出現邊緣模糊的情況。這些都是后續研究中需要關注和解決的問題。