基于梯度曲面面積與稀疏約束的圖像平滑方法

李 輝，吳傳生*，劉 俊，劉 文

（1.武漢理工大學理學院，武漢 430070；2.東北師范大學數學與統計學院，長春 130024；3.武漢理工大學航運學院，武漢 430063）

0 引言

自然圖像通常包含豐富的紋理細節和邊緣結構等信息，它是反映目標場景視覺信息的一種普遍方式。一般來說，圖像中的邊緣結構是人類視覺感知的主體內容。在一些重要的應用場景下，比如交通部門對路面標志的識別、藝術工作者對墻壁涂鴉繪畫的理解以及設計公司對圖像輪廓的感知等，并不需要豐富的紋理細節。圖像平滑處理作為一項重要的圖像預處理技術，目的在于去除冗余紋理細節的同時可保留顯著的邊緣和輪廓等信息，在高動態范圍（High-Dynamic Range，HDR）圖像壓縮［1］、細節增強［2］、邊緣檢測［3］、色調映射［4］與圖像壓縮偽影的去除［5］等多種成像應用中都發揮著重要的作用。目前圖像平滑技術根據其具體的策略可分為三類，分別是基于均值濾波的方法、基于正則化約束的方法和基于學習的方法。

基于均值濾波的方法考慮空間和強度因素來定義不同類型的內核，從而計算相鄰像素的加權平均值作為平滑輸出。傳統的濾波器包括各向異性擴散濾波［6］、雙邊濾波［7］、導向濾波（Guided Filtering，GF）［1］等。近年來，基于傳統濾波器的改進算法例如雙邊紋理濾波［8］、滾動引導濾波（Rolling Guidance Filter，RGF）［9］、梯度域導向濾波［10］、互導圖像濾波（Mutually Guided Image Filtering，muGIF）［11］、各向異性滾動濾波［12］、各向異性導向濾波［13］等被陸續提出，進一步提升了圖像平滑效果。這些平滑方法本質上是利用局部加權平均策略，可保留顯著的邊緣輪廓，但圖像中的細小結構易受周圍鄰域像素值的影響，往往難以保持完整。

基于正則化約束的方法是運用某種先驗和準則，建立相應的數學模型，通過求解極小化問題，達到保持邊緣和抑制紋理的目的。全變分（Total Variation，TV）正則化［14］通過尋求圖像總變分最小化去除細節和噪聲。加權最小二乘（Weighted Least Squares，WLS）［15］方法對圖像梯度的平方加權求和，具備較好的邊緣保持能力。2011 年，Xu 等［5］提出以稀疏控制為原理的L0梯度最小化（L0Gradient Minimization，L0GM）方法，可有效消除小梯度級紋理細節。在L0GM 的成功應用下，Cheng 等［16］提出改進的L0梯度最小化平滑模型，以提高不同尺度空間的平滑性能。為從紋理圖像中精確提取主體結構，Xu 等［17］提出相對全變分正則項（Relative Total Variation，RTV），能充分挖掘紋理和邊緣的本質區別并建立優化模型。之后，Liu 等［18］擴展了RTV 模型中窗口全變分的范數范圍，改善了RTV 方法的局限性。此外，我們的前期研究從圖像的幾何角度分析紋理特點，在L0GM 中加入表面積最小化約束，保證了各局部區域內的各向同性平滑，具體可參考文獻［19］（以下簡稱Liu方法）。

基于學習的圖像平滑方法主要是利用卷積神經網絡（Convolutional Neural Network，CNN）學習濾波核來改善圖像的平滑質量。Xu 等［20］于2015 年開創性地提出深度邊緣感知濾波器，在深度CNN 框架下訓練圖像的梯度域，以產生精確的梯度邊緣。Liu 等［21］則使用多個空間變異遞歸神經網絡生成平滑圖像。之后，Wu等［22］提出基于數據驅動的端到端可訓練的CNN 引導濾波器，實現了運算速度的提升。此外，基于CNN 構建聯合濾波內核的濾波器［23-24］表現出更為優異的平滑效果。眾所周知，基于學習的方法可獲得令人滿意的平滑圖像，但高度依賴于訓練數據集的多樣性和容量，實現條件成本高。

為更好地解決現有平滑算法在不同尺度上邊緣保持不完全、紋理抑制不徹底以及偽影去除效果欠佳等問題，本文擬構建一個梯度曲面面積與稀疏約束的圖像平滑模型。首先研究圖像梯度域上結構和紋理的幾何特征差異，提出梯度曲面面積約束平滑先驗；然后充分利用圖像的統計特征，結合L0梯度最小化先驗建立自適應的混合正則化約束的平滑模型；最后，高效穩定地求解該模型以輸出高質量的平滑圖像。實驗結果表明，本文算法可有效抑制隨機復雜紋理，并在較大程度上保持了邊緣結構的完整性。

1 本文平滑算法

1.1 正則化約束的圖像平滑模型一般框架

首先，假設f0∈Rm×n表示原始紋理圖像，f表示平滑后的輸出圖像，圖像平滑可歸結為以下通用框架表示的最優化問題：

Xu等［5］基于紋理圖像的統計特征提出L0GM先驗，其數學模型如下式所示：

圖1 圖像平滑實驗結果對比Fig.1 Comparison of image smoothing experimental results

由于隨機復雜紋理的結構特征與圖像的邊緣特征較為相似，僅應用L0梯度最小化先驗易造成過度平滑或欠濾波等問題。為進一步提高平滑質量，我們在之前的研究文獻［19］中提出了曲面面積約束先驗并將其加入到L0梯度最小化框架中，即：

其中：α≥0 為正則化參數；當k=1 時為圖像面積約束項。理論上，對于任意的k＞0，φ(?f)均可作為全變分正則項TV(f)=的廣義延伸。TV 先驗已被廣泛應用于圖像處理領域，但眾所周知，TV 在圖像處理過程中易產生階梯效應。如圖2 所示，將紋理圖像視作二維曲面時，其3D 表面呈現出大量的起伏和折疊，對應圖像中的紋理細節區域。梯度圖的3D 表面可視化對于紋理和邊緣區域表現出的起伏更為明顯。由L0GM［5］和Liu 方法［19］的平滑效果可看出，平滑后的圖像仍存在少量的紋理信息，同時受到了階梯效應和偽影的影響，相對應的幾何曲面的3D表面并不平坦，這就啟發我們可從梯度域的角度對圖像施加曲面面積約束，通過最小化梯度曲面面積的方式更徹底地消除圖像中的紋理細節。

圖2 不同方法產生平滑圖像的表面差異可視化Fig.2 Visualization of surface differences in smoothing images generated by different smoothing methods

1.2 多約束的圖像平滑算法

為更有效地去除紋理細節，抑制階梯效應和偽影，同時防止圖像邊緣受模糊因素的影響，我們基于前期研究成果［19］提出梯度曲面面積約束項，建立混合正則化約束的圖像平滑模型，即：

模型（4）中，‖?f-v‖1是v對于?f在L1范數意義上的逼近，L1范數的應用使得此正則項對于圖像中的噪聲和異常值更具魯棒性。不同于之前文獻［19］的研究將面積約束應用于圖像強度層面，φ(?v)是作用于梯度域的約束，本質上是圖像的梯度曲面面積約束。二階梯度對圖像的邊緣和紋理區域的像素值變化更為敏感，提出的梯度曲面面積約束則具備更強的紋理抑制能力。此外，本文以v間接性地代替?f作為梯度曲面面積約束的懲罰對象，更有助于邊緣結構的精確保持。

為進一步提升紋理抑制和邊緣保持的平衡能力，引入邊緣檢測函數g［25-26］，定義如下：

邊緣檢測函數的應用有助于模型（5）根據輸入圖像的結構特點自適應地調節曲面面積約束懲罰，適當地擴大或縮小平滑模型的擴散強度。具體來說，在輸入圖像的邊緣區域，呈現較大的數值結果，相應的邊緣檢測函數g趨于一個很小的值，此時曲面面積約束的擴散能力減弱，能夠較好地保護邊緣輪廓不受平滑正則項的懲罰，有效保持圖像自身的結構特征；在輸入圖像的相對平坦區域表現出較小的數值結果，相應的邊緣檢測函數g→1，此時曲面面積約束的擴散能力增強，能夠最大限度地去除紋理細節，抑制偽影和階梯效應對平滑效果的影響。

2 數值求解算法

本文提出的圖像平滑模型（5）是一類非凸非光滑的優化問題，常用的數值求解算法難以求得較為理想的數值解。本文采用交替方向乘子法（Alternating Direction Multiplier Method，ADMM）［27］解決此問題，將此無約束問題轉換為有約束優化問題，把整體模型分解為幾個子問題，運用多種求解方式交替迭代尋求每個子問題的閉合解。

首先，引入輔助變量x、y和z將式（5）轉換為以下約束問題：

其中：(?，δ，ε)表示拉格朗日乘子，(β1，β2，β3)為懲罰因子。為使得求解更穩定高效，利用ADMM 算法將此式的優化過程轉化為(x，y)，z和(f，v)三大類子問題交替迭代求解，并在每次迭代后更新拉格朗日乘子(?，δ，ε)。

首先，固定變量zt、ft、vt、?t、δt和εt時，(x，y)子問題分別是典型的帶L0正則化項和帶L1正則化項的最小二乘問題：

其次，固定變量xt+1、yt+1、ft、vt、?t、δt和εt時，z子問題是一類凸優化問題：

利用二階優化算法牛頓法進行求解得到：

由于f和v之間存在耦合關系，需同時在快速傅里葉變換（Fast Fourier Transform，FFT）框架下求解［30］。固定變量xt+1、yt+1、zt+1、?t、δt和εt時，(f，v)子問題如下：

首先求得其一階最優性條件，然后在FFT 框架下采用矩陣的克拉默法則求得在第t+1 次迭代時(f，v1，v2)的閉式解為：

其中：F為傅里葉變換，F-1為傅里葉逆變換，| ?|*為矩陣的行列式。

最后，拉格朗日乘子以如下所示進行每一步的迭代更新：

其中：τ表示迭代步長，默認設置為1。

在高校學生黨建工作中，主要是挑選一些優秀的學生作為黨員的候選者，并對他們進行重點培養。但是，一般黨員培養年限大概在一年左右，一年過后不再繼續對這批學生進行重點培養。因此，高校學生黨建工作缺乏長遠的計劃或目標。在此方面，很多黨建工作者認為，對學生的培養是短期的，以促進學生入黨為目標，對學生入黨后的表現則漠不關心。并且由于高校學生黨建工作對學生的培養是短時間的，因此學生在加入黨組織后，難以形成自律，黨建工作無法發揮長遠的作用。

綜上所述，針對模型（5）非凸非光滑的情況，本文運用了基于ADMM 框架的高效求解優化算法，首先通過引入輔助變量的方法求得原始問題的增廣拉格朗日函數，然后在固定相應變量的前提下分解求解過程，最后分別通過閾值收縮算子、二次牛頓法和傅里葉框架下的線性方程組求解等方法求出每個子問題的閉式解。待更新策略終止迭代時，輸出高質量的平滑圖像。具體算法總結歸納如算法1所示：

算法1 圖像平滑模型（5）的數值求解。

3 實驗結果分析

為分析評價梯度曲面面積與稀疏約束模型的平滑性能，本章將展示不同類型紋理圖像的平滑結果，并與WLS［15］、GF［1］、L0GM［5］、RTV［17］、RGF［9］、Guo［31］、Liu［19］、muGIF［11］等方法進行實驗對比分析。本文實驗均使用Intel Core i5-4210 2.40 GHz 處理器，運行平臺為Matlab R2018。為保證實驗的公平性和科學性，對其他對比方法都進行了參數調優。以下分別從紋理抑制、邊緣檢測、紋理增強和圖像融合等方面分析該方法的有效性與穩定性。

3.1 圖像平滑實驗結果與分析

為驗證本文算法的有效性，本小節分別對真實紋理圖像與合成噪聲/紋理圖像進行定性和定量對比分析。

3.1.1 圖像平滑定性評價實驗結果

本文選取不同類型的紋理圖像進行平滑實驗效果對比：

圖3 中各方法的主要參數值分別 為：GF［1］（r=4，ε=0.42），L0GM［5］（λ=0.15），RTV［17］（λ=0.015，σ=3），RGF［9］（σs=4，σr=0.06，4 次迭代），Guo［31］（α=0.35，th=0.2），muGIF［11］（αt=0.035），Liu［19］（λ=0.04，σ=1），本文算法（λ=0.11，α1=0.001，α0=0.2）。

圖3 邊緣保持實驗結果對比Fig.3 Comparison of edge-preserving experimental results

圖4 中各方法的主要參數值分別 為：GF［1］（r=4，ε=0.22），L0GM［5］（λ=0.35），RTV［17］（λ=0.025，σ=3），RGF［9］（σs=6.5，σr=0.05，5 次迭代），Guo［31］（α=1，th=0.15），muGIF［11］（αt=0.065），Liu［19］（λ=0.06，σ=1），本文算法（λ=0.23，α1=2，α0=0.3）。

圖4 局部區域的紋理消除結果對比Fig.4 Comparison of texture elimination results for localized areas

圖5 中各方法的主要參數值分別為：L0GM［5］（λ=0.05），RTV［17］（λ=0.015，σ=3），RGF［9］（σs=5.5，σr=0.03，5 次迭代），muGIF［11］（αt=0.016），Liu［19］（λ=0.018，σ=1），本文算法（λ=0.09，α1=3，α0=0.1）。

圖5 紋理抑制實驗結果對比Fig.5 Comparison of texture suppression experimental results

圖6 中各方法的主要參數值分別為：WLS［15］（λ=1，α=1.2），GF［1］（r=8，ε=0.12），L0GM［5］（λ=0.015），RTV［17］（λ=0.007，σ=3），RGF［9］（σs=2.5，σr=0.1，5 次迭代），Guo［31］（α=0.18，th=0.1），muGIF［11］（αt=0.0065），Liu［19］（λ=0.006，σ=1），本文算法（λ=0.04，α1=0.2，α0=0.1）。

圖6 紋理圖像平滑實驗結果對比Fig.6 Comparison of texture image smoothing experimental results

圖3 展示了邊緣保持的對比實驗結果，如局部放大圖所示，GF［1］、RGF［9］和Guo［31］可產生較為完整的邊緣輪廓，但平滑圖像仍含有較多的背景紋理細節；L0GM［5］和Liu［19］方法輸出的平滑圖像存在小尺度邊緣信息的損傷及丟失現象，且受到不同程度階梯效應的影響，平滑視覺效果欠佳；RTV［17］和muGIF［11］具有穩定的紋理去除性能，但會以模糊邊緣為代價。而本文算法中的梯度曲面面積約束與Liu［19］提出的曲面面積項相比具備更好的平滑能力，高階變分優勢也更好地消除了L0GM［5］方法易產生的階梯效應，在較大程度上抹平了紋理細節。此外，本文算法的自適應性更有助于保持不同尺度邊緣的完整性和清晰度。圖4 展示了局部區域的紋理消除結果，相較于其他方法的平滑效果，本文算法有效克服了紋理去除不徹底、階梯效應和偽影等問題，使局部區域更為平坦光滑，邊緣輪廓更加精確清晰。圖5 再次證明了本文算法對于紋理抑制的優越性，在其他方法均存在部分紋理未完全消除的情況下，本文算法輸出了最大程度的光滑圖像。

圖6 進一步驗證了本文算法突出的優勢，在平滑過程中，正則化項通常側重于單一的懲罰對象，易使得邊緣保持和紋理抑制無法同時兼顧。圖6（e）所示的RTV［17］方法模糊了局部放大圖右下角的小方塊，圖6（h）所示的muGIF［11］方法的平滑圖像仍存在少量的噪點。相比之下，本文算法中的梯度曲面面積約束項抑制了階梯效應和大量的冗余紋理細節，而引入的邊緣檢測函數保護了較小尺度邊緣不受模糊因素的影響，在紋理抑制和邊緣保持之間達到完美平衡。

3.1.2 圖像平滑定量評價實驗結果

為進一步凸顯本文平滑算法的優越性能，在定性對比分析之后，通過定量分析再次對本文算法進行評價。本節采用4 幅紋理細節較少的卡通圖（將這4 幅圖依次命名為Image1～4）作為實驗對象。首先，分別在這4 幅圖像中添加方差為0.005、0.01、0.02 的高斯白噪聲，再與GF［1］、L0GM［5］、Liu［19］以及muGIF［11］方法進行平滑對比，選取常用的峰值信噪比（Peak Signal to Noise Ratio，PSNR）作為客觀評價標準。

表1 展示了對不同等級的合成噪聲圖像進行平滑處理后的PSNR 值，可以看出與其他平滑方法相比，本文算法有著較高的PSNR，這表明本文的平滑算法可以更好地保持顏色保真度。圖7展示了在方差為0.005噪聲水平下的平滑實驗結果，如圖所示，本文算法對噪點消除得最為徹底，平滑結果質量更高。

圖7 合成噪聲（0.005）圖像平滑實驗結果對比Fig.7 Comparison of image smoothing experimental results with synthetic noise（0.005）

表1 合成噪聲圖像平滑的PSNR對 單位：dBTab.1 Comparison of PSNR for synthetic noise image smoothing unit：dB

此外，為評價平滑算法的紋理抑制性能，將這4 幅圖像分別添加兩種不同的紋理（將這兩種紋理分別命名為紋理1、紋理2）得到合成圖像，再與L0GM［5］、Liu［19］以及muGIF［11］方法進行平滑對比，采用峰值信噪比和結構相似性（structural similarity，SSIM）作為定量評價指標。表2 給出了合成紋理圖像平滑的PSNR 與SSIM 結果對比，可以看到對于不同的紋理類型，本文算法都有較高的PSNR和SSIM值，再次體現出本文算法從顏色和結果上的優勢，如圖8 所示，本文算法在抑制較多紋理的同時更為清晰地保持了圖像邊緣輪廓。

圖8 合成紋理圖像平滑實驗結果對比Fig.8 Comparison of synthetic texture image smoothing experimental results

表2 合成紋理圖像平滑的PSNR 與SSIM結果對比Tab.2 Comparison of PSNR and SSIM results of synthetic texture image smoothing

3.2 圖像平滑應用

3.2.1 邊緣檢測實驗結果

顯著的圖像邊緣對于人類感知圖像內容和計算機識別圖像主體有重要的作用。邊緣檢測已成為提取目標形狀的一個簡單但重要的預處理工具。傳統的邊緣檢測方法易將大尺度紋理視為邊緣，導致邊緣檢測結果難以精確反映圖像的主要結構，如圖9（a）和圖10（a）的邊緣檢測結果所示，直接采用著名的Canny 邊緣檢測器并不能產生預期的檢測結果。通過圖像平滑技術對不同尺度的紋理進行去除，再采用Canny 算子檢測邊緣，則可產生更清晰的主體輪廓。

本節采用兩張紋理圖像（圖像1、圖像2）作為實驗對象，并分別與Liu［19］、RGF［9］以及muGIF［11］進行對比。圖9 中各對比方法的主要參數分別為：Liu［19］（λ=0.02，σ=1），RGF［9］（σs=5，σr=0.02，4 次迭代），muGIF［11］（αt=0.015），本文算法（λ=0.06，α1=0.2，α0=0.1）；圖10 中各方法的主要參數值分別為：Liu［19］（λ=0.045，σ=1），RGF［9］（σs=2.5，σr=0.05，5 次迭代），muGIF［11］（αt=0.04），本文算法（λ=0.155，α1=0.15，α0=0.1）。

圖9（b）和（d）的邊緣受到不同程度上的模糊和損傷，圖9（c）則表現出圖像背景凹凸不平的缺陷，分別造成了檢測邊緣后主體結構不精確與紋理邊緣過于豐富等問題。而圖10（b）～（d）并未徹底地移除冗余的紋理細節，導致邊緣檢測圖像的平坦區域存在部分孤立點，降低了檢測的準確度。對比而言，本文算法更徹底地剔除了干擾邊緣的紋理像素點，并精確保留了圖像主體邊緣信息，生成的邊緣檢測圖像結構完整，輪廓清晰，明顯提升了Canny邊緣檢測器的性能。

圖9 圖像1的邊緣檢測實驗結果對比Fig.9 Comparison of edge detection experimental results for figure 1

圖10 圖像2的邊緣檢測實驗結果對比Fig.10 Comparison of edge detection experimental results for figure 2

3.2.2 紋理增強實驗結果

紋理增強的目的是改善圖像的強度、對比度和視覺外觀，是圖像平滑的一個基本應用。紋理增強的一般步驟是先運用圖像平滑技術輸出原始圖像的結構層，再從原始圖像中減去此結構層，得到包含原始圖像高頻紋理細節的紋理層，之后將紋理層增強并添加回結構層，獲得最終的紋理增強圖像。本文用I表示原始圖像，s表示結構層，d=I-s則表示紋理層，輸出的紋理增強圖像為q=s+5d。圖像紋理增強技術的關鍵是通過較好的平滑算法準確分離圖像的結構層和紋理層。在圖像平滑過程中，如果邊緣受到較小程度模糊的影響，其紋理增強圖像的邊緣則會出現光暈效應，造成增強圖像的視覺質量下降；另一方面，如果未將紋理移除徹底或造成邊緣成分的丟失，其紋理增強圖像則會產生增強結構層而弱化紋理層的視覺效果，與預期的實驗結果存在較大的差距。本節分別與GF［1］、L0GM［5］、Liu［19］和muGIF［11］方法產生的平滑圖像和紋理增強圖像進行對比分析。圖11 中各對比方法的主要參數分別為：GF［1］（r=8，ε=0.152），L0GM［5］（λ=0.025），Liu［19］（λ=0.007，σ=1），muGIF［11］（αt=0.006 5），本文算法（λ=0.025，α1=0.12，α0=0.1）。圖11 的上半部分表示平滑圖像，下半部分表示增強圖像。GF［1］和Liu［19］的實驗結果中主體輪廓和與紋理細節被同時增強，并未從視覺上改善增強圖像的對比度；L0GM［5］方法的色偏現象明顯，特別是增強圖像的下半部分存在較為嚴重的曝光現象；muGIF［11］算法產生了較好的平滑圖像，但邊緣處出現了模糊，導致增強后的圖像邊緣產生了光暈效應。相比之下，本文算法則解決了邊緣模糊的問題并最大限度地移除紋理，生成了高質量的紋理增強實驗結果。

圖11 紋理增強實驗結果對比Fig.11 Comparison of texture enhancement experimental results

3.2.3 圖像融合實驗結果

眾所周知，繪畫、自然圖像和馬賽克圖像通常無法直接用于無縫圖像融合技術，這主要是由于源圖像與目標圖像之間的紋理不兼容。為提高圖像融合的性能，需先有效地去除源圖像中不同尺度的紋理。本節分別應用方法GF［1］、L0GM［5］、Liu［19］、RGF［9］以及本文算法產生平滑圖像，再將平滑后的圖像與目標圖像融合，并對最終的融合圖像進行對比分析。圖12中各對比方法的主要參數分別為：GF［1］（r=4，ε=0.22），L0GM［5］（λ=0.04），Liu［19］（λ=0.02，σ=1），RGF［9］（σs=4，σr=0.05，5 次迭代），本文算法（λ=0.13，α1=0.2，α0=0.1）。如圖12（a）～（d）所示，在源圖像的釘狀紋理信息未能有效抑制的情況下，融合圖像也存在原始井蓋圖像中的紋理，融合痕跡較為明顯。RGF［9］方法抑制了大量的紋理，卻產生了凹凸不平的背景，使得融合協調性欠佳。經本文算法平滑后再融合的圖像只顯示主要文字信息，未出現明顯的井蓋背景紋理成分，可取得令人滿意的圖像融合效果。

圖12 圖像融合實驗結果對比Fig.12 Comparison of image fusion experimental results

4 結語

本文首先分析紋理圖像中邊緣輪廓信息和紋理細節信息的結構特征與幾何特征，然后結合圖像梯度域的稀疏性和二維曲面的面積約束原理，在L0梯度最小化的框架下設計自適應曲面面積約束正則化項，提出曲面面積與稀疏約束的圖像平滑模型。最后利用基于ADMM 的數值求解算法，高效地解決了非凸非光滑的優化求解問題。在紋理抑制、邊緣檢測、紋理增強和圖像融合等圖像處理方面的實驗結果表明，本文提出的圖像平滑模型能夠消除不同尺度的紋理細節，抑制階梯效應和偽影的影響，同時可保持精確的圖像邊緣輪廓，展示出較好的平滑性能和視覺效果。