殘差最小化的遙感影像邊緣銳化

楊心雨，李參海，龔國輝，王晗，金澤

(1.遼寧工程技術大學，遼寧 阜新 123000；2.自然資源部國土衛星遙感應用中心，北京 100048)

0 引言

隨著近年來科學技術的快速發展，越來越多的信息可以通過一定的方式提供給人類使用，最常見的方式有視覺、聽覺、觸覺等。其中圖像視覺所傳遞的信息占據60%以上。然而，我們見到的圖像大多因為成像硬件設備限制或者受限于帶寬而進行壓縮處理，導致圖像分辨率不高，但實際中人們都想要獲得清晰度更高的圖像。在遙感領域的實際應用中，高分辨率的影像所包含的像素密度比較大，擁有更多有用的細節信息。分辨率的高低是圖像信息量大小的一種度量，也是評價影像質量好壞最直觀的評價參數[1]，更是衡量一個國家衛星遙感水平的重要標志[2]，這些信息在遙感、測繪等應用領域中起到了至關重要的作用。影像的分辨率在很多情況下會受到成像系統硬件設備的限制，也就是說，提高空間分辨率最顯著的方法是優化傳感器，但這種方法成本高、技術要求高，實際操作過程中難度較大，所以通常通過軟件方式，不需要對硬件設備進行復雜的技術改進，運用改進的圖像處理算法模型來處理圖像，在低分辨率影像的基礎上進行優化，得到較高分辨率的影像。目前在醫學成像、高清電視、軍事偵察、公關安全監控、圖像壓縮、高分辨率深度圖像獲取等研究領域都有重大的應用價值[3]。所以如何快速、高效地將圖像分辨率提高成為計算機視覺領域的一個重要研究方向，也由此出現了圖像超分辨率(super resolution image reconstruction，SRIR或SR)重建等研究課題。

圖像超分辨率重建技術由Tsai等[4]首次提出，這一技術的主要目的就是將低分辨率圖像轉化成分辨率盡可能高的圖像。經過多年發展，出現了很多優秀的算法模型，其中主要有基于插值的算法[5]、基于學習的算法[6-7]、基于建模的算法[8]，如圖1所示。現有的基于插值的算法包括最鄰近插值、雙線性插值法以及三次卷積插值法等[9]；基于學習的方法可以分為淺層學習和深度學習方法[10]。現階段基于深度學習進行遙感影像重建的方法廣受研究人員的歡迎。Jiang等[11]建立EEGAN網絡模型，用于增強圖像邊緣，降低影像噪聲影像。Ma等[12]將小波變換與遞歸神經網絡Res-Net結合，用于預測高頻分量以及重構圖像。Shao等[13]利用稀疏自動編碼器(CSAE)學習低分辨率圖像與高分辨率圖像之間的映射關系，提高影像質量。基于深度學習的影像超分辨率重建結果質量較高，通常可以得到令研究者滿意的結果，但是這種方法所需要的影像集數據量大，對研究設備要求高，處理速度慢，在一些要求實時處理的項目研究中，這種方法通常無法滿足需求。Anime4K算法是由麻省理工學院研究人員提出，用于動漫圖像分辨率的實時快速優化處理。本文嘗試將該算法應用于遙感影像超分辨率重建，由于直接應用的效果不好，在此算法基礎上進行了改進，提高了對遙感影像的優化效果，并將改進算法與傳統的基于插值的超分辨率影像重建算法進行了對比實驗。

圖1 單張圖像超分辨率重建

1 原理

1.1 超分辨率圖像重建原理

超分辨率圖像重建是指用圖像處理和信號處理的方法，通過算法將已有的低分辨率(low-resolution，LR)圖像轉換成高分辨率(high-resolution，HR)圖像的技術[14]。超分辨率處理技術可分為兩類。一類是參考多幅同一場景的低分辨率圖像合成一幅高分辨率影像，另一類是只參考一幅現有的低分辨率影像，不依賴其他圖像，從單幅低分辨率圖像重建獲取高分辨率圖像。由于圖像分辨率低，所包含的信息相對較少，但是同一場景的多幅圖像所包含的信息必然比一幅圖像包含得多，所以運用多幅低分辨率圖像重建超分辨率圖像的質量更好。然而，實際上多幅圖像進行超分辨率重建的算法對圖像要求必須要有亞像素的偏移才能實現超分辨率重建[15]。運用單幅圖像進行重建的算法對于圖像要求不高，所以其研究價值更大。

1.2 現存的問題與Anime4K模型

傳統的遙感影像邊緣細化算法，例如邊緣銳化，通過計算低分辨率圖像和更低分辨率圖像之間的差異，來獲取低分辨率圖像的殘差，然后將殘差銳化后，再將其添加到低分辨率圖像中，完成對低分辨率影像的優化。但是，使用銳化算法對遙感影像優化時，容易產生振鈴和過沖，影響遙感影像的質量。而基于學習的理論通過使用神經網絡結構、稀疏字典或圖像中自相似性來預測殘差，這種算法相較于邊緣細化算法效果更好，處理之后的影像質量不易受影響。但基于學習的方法速度慢，對設備環境等要求高，實時性差，尤其在遙感領域，遙感影像的數據量龐大，每幅影像中都包含有大量信息，使用深度學習的方法進行影像優化需要耗費大量的時間和數據才可以得出結果，速度慢且成本高，在很多情況下都難以實現或得到高質量的結果。

Anime4K算法是應用在動漫圖像或視頻處理的一種基于超分辨率原理實時處理圖像的方法[16]。動漫圖像紋理少，由線段和陰影組成[17]，Anime4K算法針對這一特點，先對圖像的紋理細節模糊，再對圖像線段進行細化、增強處理，達到對動漫整體優化的目的，如圖2所示。相對于基于學習的影像優化方法而言，這種SISR算法僅基于圖像進行計算，速度快、效率高、更容易實現。相對于傳統邊緣細化算法，能夠解決振鈴和過沖的問題，減少對影像質量的影響，對比原影像與實驗過后的影像，經過Anime4K處理過的影像分辨率更高，可以更高效地獲取所需要的信息。

圖2 動漫優化效果圖

Anime4K算法是基于超分辨率影像重建原理r=HR-LRU來實現的，是一種單圖像超分辨率重建算法。一般來說，對于高分辨率圖像，圖像可以分為低分辨率圖像和殘差兩部分。在數理統計中，殘差是指實際值與估計值之間的差。圖像之間的殘差指的是不同分辨率圖像之間的差值，殘差值越小，高分辨率圖像與低分辨率圖像之間分辨率相差越小，即低分辨率圖像越接近于高分辨率圖像。Anime4K算法為了提高計算速度與算法的性能，根據Sobel梯度最大化與殘差最小化相似的原理，使用Sobel算子計算梯度作為圖像的近似殘差。

為了驗證Anime4K是否適用于遙感影像，本文選取高分二號和資源三號位于同一地理位置的影像圖，在對影像預處理后分別實驗，得到每張圖所對應的殘差值。圖3中高分二號影像分辨率為1 m，資源三號影像圖分辨率為2.1 m，高分二號分辨率高于資源三號分辨率，而高分二號所對應梯度圖中的線條也明顯比資源三號影像梯度圖的線條更細。結果證明，HR=LR_U+r三者之間的關系在影像中是符合的。本文將這一算法應用在遙感影像處理中，優化遙感影像，并檢驗其效果。

圖3 遙感影像及梯度圖

1.3 改進的Anime4K算法

Anime4K算法主要通過改變邊緣殘差線寬來改善圖像效果。由于動畫圖像紋理少、線條多，減少圖像紋理不會降低圖像質量，所以先對圖像進行模糊，這可以在一定程度上消除噪聲，在噪聲減少的基礎上進行最小化殘差，效果更好。但是，遙感影像紋理多，模糊之后會丟失信息，降低影像質量，對后續的地物提取、影像分割等常用的影像應用有較大的影響。基于遙感影像的這一特性，去除Anime4K紋理模糊這一步驟，提出RS-Anime4K算法，重建超分辨率遙感影像。改進后的算法主要通過計算影像亮度圖及殘差圖、細化邊緣及線條，然后將圖像顏色推向邊緣線條，導出影像圖。Anime4K算法使用Sobel算子代替高斯濾波計算殘差，但Sobel算子只有水平和垂直兩個方向的濾波器，在計算梯度時會丟失影像的一些紋理信息，所以本文增加兩個對角線的濾波器，使RS-Anime4K算法抗噪聲能力增強，邊緣信息更完整。從圖4可以看出，Anime4K對遙感影像已經有了一定程度的優化，但是仍然存在著模糊、視覺效果差的問題；RS-Anime4K處理的影像結果更清晰，圖像的邊緣得到細化，亮度提高，視覺效果增強，并且在此基礎之上完成了對圖像的實時快速處理。

實驗證明，Anime4K算法更適用于重視輪廓分明的線條或者犧牲精細紋理的圖像，在遙感影像處理時，會存在一定的局限性，改進后的RS-Anime4K算法更適用于遙感影像。從處理結果可以看出，該方法對線狀地物有更好的優化效果，為了驗證這一假設，在后續實驗中，對資源三號以及WorldView-2遙感影像使用最鄰近差值、雙線性插值、三次卷積插值法、Anime4K以及RS-Anime4K插值重建，對結果進行對比，并且對處理之后的影像進行邊緣提取、閾值分割，來驗證實驗結果的有效性。

圖4 資源三號改進算法前后結果對比

1.4 RS-Anime4K算法實驗流程及技術核心

1)實驗流程。本文實驗使用WorldView-2影像和資源三號影像進行實驗，影像優化的過程主要包括以下步驟。

步驟1：輸入低分辨率影像，遍歷每個像素值。

步驟2：分別獲取其RGB三通道的值，并基于此得到遙感影像各個像素的亮度值。

步驟3：使用四方向Sobel濾波器代替高斯濾波計算梯度，并將其作為圖像的近似殘差值。

步驟4：進行迭代計算對殘差最小化，同時對彩色圖像進行相同的操作。

步驟5：輸出結果影像，如圖5所示。

圖5 RS-Anime4K算法流程圖

2)殘差最小化。根據前文可知，高分辨率圖像由殘差和低分辨率圖像兩部分組成，將殘差變薄、銳化之后，加到低分辨率圖像上，就可以得到一幅比之前分辨率更高的圖像，但是殘差如果出現錯誤，尤其本文使用近似殘差的情況下，更容易引起振鈴或過沖，影響實驗結果。因此，本文使用的方法是在對殘差進行改變的同時，對原有的低分辨率圖像進行相應的改變，使殘差變細的同時，在彩色的低分辨率圖像上進行相同的操作，這樣既可以使得圖像分辨率提高，也不會產生振鈴和過沖。

本文使用Sobel算子計算出每一個像素值八個方向的梯度之后，選取最大的梯度值作為該點的梯度值，并將梯度最大位置的像素值賦值給該像素，具體函數如式(1)所示。

G[i,j]=max(gα[i,j]),α=0,1,…,7

(1)

式中：gα[i,j]表示各像素的梯度值。

3)Sobel算子。高斯濾波是一種經常使用的去噪濾波，用于降低或是消除高斯噪聲，適用于大部分噪聲符合高斯分布的圖像。

在實際應用中，高斯濾波需要遍歷整幅影像的像素值，將各個像素值與其相鄰的其他像素值加權平均后得到的值代替之前的灰度值，速度較慢，且容易引起振鈴和過沖。Anime4K算法選用了Sobel濾波器代替高斯濾波，計算圖像梯度的近似值代替殘差。相比高斯濾波，Sobel濾波器計算簡便，且在改善邊緣時不易造成振鈴和過沖。

Sobel是一種用于邊緣檢測的算子，包括兩個卷積因子，分別為橫向濾波器Gx和縱向濾波器Gy。兩個濾波器均與圖像做平面卷積，得出橫向和縱向的亮度差分近似值，分別提取水平邊緣和豎直邊緣。

Sobel算子計算簡單，但是在計算時只能對垂直或者水平方向上的頻率起作用。RS-Anime4K算法在使用Sobel算子時，增加了對角線上兩個方向，與Gx、Gy共同構成四方向的卷積模板。增加的兩個對角線濾波器分別如式(2)和式(3)所示。

(2)

(3)

4)亮度計算。發光亮度(luminance)指的是投射在固定方向和面積上面的發光強度。彩色圖像的亮度是通過獲取影像各像素值的R、G、B值，將三個值按照比重計算得出，亮度計算如式(4)所示。

lum=0.299*R+0.587*G+0.114*B

(4)

1.5 超分辨率圖像重建質量評價

超分辨率重建后圖像的評價對于算法優劣的評估具有重要意義，具體的可以分為主觀評價方法和客觀評價方法[18]。主觀評價方法難以具體量化，一般通過目視判別的方式，通過人眼主觀進行判斷；而客觀評價方法可以通過信息熵、峰值信噪比(peak signal to noise ratio，PSNR)[19]、結構相似性指數(structure similarity image measure，SSIM)[20]、特征相似性指數(feature similarity index，FSIM)[21]等指標計算影像處理結果與高分辨率參考圖像之間的差值來對實驗結果質量進行量化評估。

1)信息熵。信息熵是基于一定的統計概率模型，用于描述一個隨機過程中離散隨機事件平均信息量的概念。在遙感影像質量分析中，影像信息量的多少可以通過信息熵來表示，在判斷影像質量時，可以作為一種客觀評價方法對實驗效果進行判斷。

2)結構相似性。結構相似性是衡量兩幅圖像相似性的指標，通過亮度(luminance)、對比度(contrast)、結構(structure)三個方面來計算。SSIM是超分辨率影像重建算法中一個重要的評價指標。

3)峰值信噪比。峰值信噪比常用作超分辨率影像重建的定量質量評價指標。通過均方誤差(MSE)進行計算。

2 實驗分析

2.1 超分辨率影像重建對比實驗

本文實驗包括兩部分，第一部分是使用不同超分辨率影像重建算法處理影像結果的對比。Hossain等[22]認為超分辨率影像重建中最鄰近算法、雙線性插值法、三次卷積插值法均有較好的處理效果且計算步驟復雜度低，所以本文選取了這三種經典算法與本文方法進行對比實驗。第二部分是對算法處理結果的進一步驗證，包括影像分割驗證以及影像重建量化指標評價兩部分。

圖6和圖7是資源三號和WorldView-2影像分別使用幾種算法進行超分辨率重建實驗后的對比。

圖6 不同方法的資源三號超分辨率重建影像與高分二號影像對比

圖7 不同方法的WorldView-2超分辨率重建影像結果對比

從實驗結果可以看出，Anime4K算法并不適用于遙感影像，該方法的影像處理效果不如傳統算法，甚至沒有原影像的質量高。而改進后的RS-Anime4K算法對遙感影像的優化取得了大幅度的提升，相較于其他幾種超分辨率重建算法，本文算法重建效果最優，尤其是在圖像邊緣。從兩組實驗結果可以看出，RS-Anime4k算法對道路的優化有明顯的效果，使道路邊緣清晰度更高，這一結論在影像中道路等線狀地物的優化上有較大的應用價值。

2.2 實驗驗證

1)影像分割方法驗證。在遙感影像的處理過程中，影像分割、地物提取等是遙感應用中的關鍵步驟，它會直接影響后續工作的準確度。本文為驗證圖像處理效果，分別選取了基于閾值的分割方法中的固定閾值算法、Canny算子、Laplace算子分別對各影像重建算法的結果進行驗證，如圖8至圖10所示。

圖8 Canny邊緣提取算法

圖9 固定閾值分割算法

圖10 Laplace算子

2)超分辨率圖像重建指標評價。本文計算了WorldView-2影像實驗結果圖的信息熵、SSIM、PSNR。計算PSNR以及SSIM兩個指標時，首先，對WorldView-2影像使用高斯濾波進行卷積計算；然后，對影像進行模糊處理；接著，對模糊之后的影像進行超分辨率影像重建實驗；最后，對結果與原影像進行計算，計算結果如表1所示。

表1 影像處理評價指標

3 實驗結果分析

根據對比資源三號和WorldView-2經過RS-Anime4K算法實驗前后的影像、驗證實驗、影像質量評價量化指標，可以得出以下結論。

1)通過人眼主觀判別可以看出，RS-Anime4K對兩組實驗的影像圖都有著明顯的優化效果，且優于其他幾種影像重建算法。影像分辨率明顯提高，尤其道路、農田邊界等影像邊緣部分。

2)在對幾種重建算法的結果進行影像分割的驗證實驗中，在任意選取的幾種提取邊界、道路的算法中，使用本文算法處理后的影像都得到了相對于其他影像重建算法更好的效果。在利用Canny算子提取邊緣時，RS-Anime4K處理結果影像所提取的邊緣更清晰、更全面。使用固定閾值法提取道路時，本文算法處理后的影像提取的道路更連續、效果更好。使用Laplace算子提取邊緣時，細節提取更完整，與原始影像匹配度更高。但從結果來看，仍然存在一些噪聲誤差。

3)對實驗影像超分辨率重建質量定量評價時，從表1可以看出，本文方法處理之后影像的信息熵的值為7.521 90，信息量顯著提升，并且明顯高于其他幾幅實驗處理影像。比較SSIM以及PSNR時，RS-Anime4K實驗處理影像與原影像圖的SSIM值為0.981 8，PSNR值為26.770 7，兩個指標的值均為幾種算法中最高。而改進前算法的處理結果值要低于其他幾種插值算法，證明RS-Anime4K算法相較于Anime4K算法實驗處理結果得到了明顯提升，同時優于其他幾種插值算法。

綜上，主觀評判與客觀評價結果一致證明了本文算法的科學性、正確性、有效性。與其他幾種超分辨率處理技術相比，本文算法具有更大的優勢和應用價值。

4 結束語

本文根據高分辨率影像的基本特征與超分辨率算法重建影像的特點，針對超分辨率影像重建容易引起振鈴[23]、過沖[24]，及處理速度低等問題，提出了一種基于Anime4K算法改進的RS-Anime4K算法。該算法依據影像與殘差之間的關系進行影像重建，解決了常見算法存在的問題的同時，有效地提高了影像的分辨率。基于實驗結果，首先，通過人眼判別，對比各算法重建影像的結果證明了本文算法的優勢；其次，對實驗處理結果進行影像分割提取實驗，從提取結果可以看出，運用本文算法處理過的影像質量最高，對后續影像的處理、應用有很大的幫助；最后，通過比較三個客觀評價量化指標的計算結果，發現本文的算法同樣優于其他幾種超分辨率重建算法。綜合主觀評判與客觀評價結果，本文算法相較于傳統算法在影像邊緣優化上取得了更加理想的結果，在衛星影像的應用中具有更大的優勢與應用價值。