博弈方法下的圖像去噪與邊界提取

喬 魚，馮象初

(西安電子科技大學 數學與統計學院，陜西 西安 710071)

近年來，博弈論在價格預估[1]、戰略決策[2]、資源優化[3]以及工程建設[4]等多個方向得到了廣泛的研究，并取得了一定的成效。圖像的邊界提取是從圖像中提取目標的過程，是圖像處理中最重要的問題之一。大多數情況下，待處理的圖像被噪聲污染，因為噪聲降低了圖像的質量，直接影響后續的圖像處理工作，所以首先需要對圖像進行降噪處理。一方面，對于去噪來說，需要消除圖像中的不連續的噪聲細節；另一方面，對于邊界提取來說，需要保持圖像的不連續性。因此，對于同一幅圖像，需要進行去噪與邊緣檢測兩種相互對抗的決策，這種情況下很適合使用博弈論來解決圖像的多目標問題。

博弈論是一種數學理論和方法，主要用來分析多個參與者之間決策的相互影響。在計算機和工程界得到了越來越多的關注和應用。芬蘭坦佩雷理工大學的DANIELYAN等提出了一種用于各種成像問題的塊匹配三維(Block-Matching and 3D filtering，BM3D)算法[5]，兩個目標函數采用廣義納什均衡方法建模，進行去模糊和去噪處理。馬里蘭大學的CHEN等研究了用演化博弈的方法[6]，假設每個像素點為參與者，以每個像素周圍的鄰域選擇為策略集，建立了去噪和插值的博弈問題。和CHEN等的假設不同，KALLEL等用經典的Nash博弈方法處理圖像恢復與分割[7]。假定有兩個參與者分別進行圖像恢復與圖像分割的工作，互相以對方的輸出作為自己的參數，通過交替迭代的方法逼近Nash均衡點，以序列的極限點作為雙方最終的結果。

1 半二次正則化模型

近兩年來提出的一些新的去噪算法包含基于偏微分的方法[8]、基于變分模型的方法[9-10]、基于小波變換的算法[11]、基于多尺度框架的模型[12]，以及對深度學習進行改進的方法[13-14]，都取得了很好的效果。這些方法是在一些經典的去噪算法基礎上建立的，比如PERONA和MALIK提出的各向異性擴散模型[15]，也就是著名的PM(Perona-Malik)模型，RUDIN等提出的全變分(Total Variation，TV)[16]模型以及由BUADES等提出的非局部平均(Non-Local Means，NLM)[17]去噪算法。其中，2015年，張瑞等對非局部平均算法進行了研究，利用圖像的稀疏梯度場對非局部平均算法的權函數進行改進，提出了一種基于稀疏梯度場的非局部圖像去噪(Sparse Gradient Non-Local Means，SGNLM)算法[18]。

給定觀測圖像f=f(x)，加性噪聲的形式為f(x)=u(x)+n(x)，其中，u是理想圖像，n是均值為0、方差為σ2的高斯噪聲，x∈Ω?i2，那么一般的圖像去噪可以定義為以下數學形式：

(1)

其中，λ為非負的正則化參數，D是微分算子，φ是關于Du的函數。

GEMAN和REYNOLDS提出半二次正則化(Half-Quadratic，HQ)模型[19]來改進式(1)，當滿足邊緣保持條件時，式(1)的解可以通過引入一個輔助變量b來得到，此時能量函數由非二次能量轉化為增廣能量形式：

(2)

式(2)的解u可通過對應的歐拉-拉格朗日方程得到：

(3)

其中，?Ω是Ω的邊界，N表示邊界處的外法線向量。輔助變量b有如下形式：

(4)

輔助變量b可以標記圖像中不連續點的位置，因此輔助變量b可以看作是輪廓的一個指標。φ是決定圖像邊緣的勢函數，GEMAN和REYNOLDS認為，保邊勢函數的兩個重要特性之一是它的有限漸近行為[19]，而其他作者則提倡采用凸函數作為勢函數[20-21]，與非凸函數相比效果更好[22-23]。由于半二次正則化算法的有效性，直到如今依舊被很多學者用于廣泛研究[24-25]。

2 全局稀疏梯度模型

自邊緣檢測算子提出以來，關于邊緣檢測的方法被各位學者進行了廣泛研究，直到如今依舊有很多新的方法[26-28]。ZHANG等在2017年提出了全局稀疏梯度(Global Sparse Gradient，GSG)模型用于邊界提取[29]。由于全局稀疏梯度模型在圖像含噪聲的情況下，也能很好地提取出圖像邊界，這種方法也被用來與去噪模型相結合，以得到更好的去噪圖像[30]。在文獻[30]中，張瑞等利用全局稀疏梯度模型，提出了全局稀疏梯度耦合的張量擴散圖像去噪模型(Global Sparse Gradient coupled Tensor Diffusion，GSGTD)。這個模型利用全局稀疏梯度構造張量矩陣，由張量矩陣引導擴散方程去噪。

一般來說，自然圖像按片光滑，需要對梯度p施加稀疏性約束，全局稀疏梯度模型利用L1范數來作為正則項。對于數據項，全局稀疏梯度模型采用一階泰勒展式，利用待估計點鄰域內的點來估計它的梯度，并用核函數對這一項進行加權。其具體形式如下：

(5)

S控制衰減速率。顯然距離當前點越接近的點在估計梯度時所做的貢獻越大。可以采用近端向前向后分裂算法求解式(5)[31]。

為了克服噪聲干擾的問題，全局稀疏梯度模型利用像素點周圍更多的信息以及自然圖像梯度場的稀疏性先驗來估計該點的梯度，從而抑制噪聲的干擾，更加準確、魯棒地估計出圖像的梯度場，獲得圖像的邊緣。

3 聯合全局稀疏梯度與半二次正則化的博弈模型

作為經典的圖像重構模型，半二次正則化算法不僅能夠對圖像去除噪聲，而且其引入的輔助變量b可以提取出圖像的邊界，是一個具有突破性的方法。然而變量b中并不能將噪聲完全去除，對于結構復雜，紋理較多的圖像，b不能很好地提取出圖像的邊緣。

上文中提到，全局稀疏梯度算法盡可能多地利用了像素點周圍的信息，從而抑制噪聲的干擾，可以更加準確地捕獲圖像的邊緣。將全局稀疏梯度中的梯度p應用到式(2)中，在去噪的同時，更多地獲取圖像的邊緣信息。考慮到兩個變量對于圖像邊緣有相反的表示，即，當b等于0時，b表示圖像邊緣，而p則相反，故用1/p來代替b。

這樣，就可以得到一個聯合全局稀疏梯度與半二次正則化的博弈(Half-Quadratic Global-Sparse-Gradient，HQGSG)模型。在這個模型中，以圖像去噪與邊界提取作為兩個參與者，半二次正則化模型作為圖像去噪這個參與者的目標函數，而邊界提取的目標函數是全局稀疏梯度模型。在這兩個目標函數中，均包含圖像的強度信息u與邊界信息p，同時，梯度p作為參數影響去噪過程，另一個參數強度u影響邊界提取過程，符合博弈論的定義。

將半二次正則化模型與全局稀疏梯度模型納入博弈模型中，則有

(6)

這種情況下，解決這個博弈問題就是要尋找一個納什均衡點(u*，p*)。可以把納什均衡問題看作一個不動點。假設策略集在某些拓撲結構下是緊湊的，并且與相同拓撲結構相關的準則是下半連續的，納什均衡存在且可解。

總結提出的HQGSG博弈算法如下：

輸入：噪聲圖f，正則參數λ1，λ2，空間步長h，δ，衰減參數S，窗口半徑d，收斂控制參數ε，迭代次數k。

初始化：u0=0；p0=?f；k=1。

迭代：

(1) 給定pk，通過下式更新uk+1：

(2) 給定uk+1由下式求出pk+1：

(3) 如果 ‖uk+1-uk‖2/‖uk‖2<ε且‖pk+1-pk‖2/‖pk‖2<ε那么停止迭代；

否則，繼續迭代。

輸出：(u，p)。

4 實驗結果

在這一節中，將提出的算法與GRHQ[20]、GMHQ[21]、HLHQ[23]、HSHQ[22]、PM[15]、NLM[17]、SGNLM[18]、GSGTD[30]等方法進行比較，并提供許多實驗來說明所提方法的有效性。這里給出其中的house、mon、brain、lena、couple、man、hill、camera共8幅圖像的實驗結果；這8幅圖的結構紋理各異，具有代表性。在每幅圖像中，加入均值為0、標準差為20的高斯噪聲，選取的參數分別是：λ1=12，λ2=0.002，h=1，S=3，d=5，δ=0.015。筆者將從去噪效果、邊界提取效果與算法的收斂性方面對算法的有效性進行分析。

4.1 去噪結果分析

分別分析各種算法對細節不同圖像的影響，針對性地選取house與man兩幅圖像；house圖像細節較少，man圖像細節較多。具體如圖1和圖2所示。

圖1 house圖像去噪結果

圖2 man圖像去噪結果

首先，從視覺上來看，圖1和圖2是圖像采用幾種方法的去噪結果對比，圖中較小的黑色方框是選取的部分細節，右下角較大的黑色方框是對小方框的放大效果。對于house圖像這種大尺度細節較少的圖像，勢函數選取非凸函數能夠較好地提取出圖像的邊界，但對于man圖像這種細節較多的圖像，非凸函數將圖像磨得過于光滑，使圖像丟失了很多細節，并不能很好地提取圖像的邊界。當勢函數選取凸函數時，半二次正則化模型恢復的圖像能提取出圖像的細節信息。同時與PM、NLM、SGNLM和GSGTD方法比較，提出的HQGSG方法去噪結果更加清晰。

其次，用峰值信噪比(Peak Signal to Noise Ratio，PSNR)與結構相似性(Structural Similarity Index Measurement，SSIM)這兩個圖像質量評估標準檢測圖像。表1是圖像的PSNR值，表2是圖像的SSIM值。

表1 圖像去噪結果峰值信噪比比較 dB

表2 圖像去噪結果結構相似性值比較

從數值實驗結果來看，使用非凸函數作為勢函數時，半二次正則化模型的峰值信噪比值較低，使用凸函數時則結果較高。與選取的四種勢函數中最好的結果相比，新方法的峰值信噪比值高出0.02～0.91dB。從結構相似性值來看，半二次正則化模型使用凸函數去噪的結果也優于非凸函數，HQGSGS模型對結構相似性值也有所提升。無論是與經典的算法PM、NLM相比，還是與近幾年提出的SGNLM、GSGTD模型相比，提出的新方法在大部分圖像上都取得了較優的效果。

4.2 邊界提取結果分析

對于圖像的邊緣檢測，一般需要考慮邊緣檢測器是否能夠正確地檢測出有效的邊緣，邊緣定位的精度是否足夠高，檢測的響應是否是單像素的等多種因素。實際上，這些要求往往都很矛盾，很難在一個邊緣檢測器中得到完全的統一，因此目前沒有一個統一的邊界效果判別方法。所以，在判別邊界提取效果時，主要采用視覺效果進行判斷。

圖3和圖4是對HQ、GSGTD與HQGSG方法的邊界提取效果的對比圖，用白色方框選取圖中兩個位置進行比較，每張圖下方對應的兩個小圖是對選取的兩個位置的放大。可以明顯觀察到，在提取出的邊界圖中，使用HQ方法，選取非凸函數作為勢函數時，提邊圖中有許多線狀存在，而選取凸函數時，能很明顯地發現一些塊狀的存在，這些是不必要的。對于細節較多的圖像，這些線狀與塊狀的存在更為明顯，干擾到圖像邊界的觀察。與GSGTD方法相比，HQGSG方法提取出來的邊界更為清晰，細節部分更加明顯。

圖3 house圖像提邊結果及局部細節

實驗結果表明，提出的博弈模型不僅能很好地對圖像進行去噪，同時對于細節多或者少的圖像，在提取出的邊界圖中，邊界都更加明顯。總之，提出的算法在有效去除噪聲的同時，更好地保留了圖像的邊界和細節信息。

4.3 收斂性分析

另一方面，考慮到算法的收斂性，在實驗中，選取1 000作為總迭代次數，以相對誤差作為終止條件，選取精度ε大小為0.1。

‖uk+1-uk‖2/‖uk‖2<ε，‖pk+1-pk‖2/‖pk‖2<ε

用8幅圖像進行實驗，將每一次迭代過程中的u看作一個點，迭代完成會得到一個點列。結果發現，隨著迭代次數的增加，u的相對誤差在逐漸減小，最終小于所選取的精度ε，可見u作為一個點列是收斂的。同樣對于點列p，也是收斂的。可見，提出的模型存在解。

以house圖像為例，在迭代601次時去噪與提邊的相對誤差均小于0.1，達到收斂條件，所耗費的CPU時間為68.30 s。為方便觀察，給出迭代100次以內的相對誤差變化情況，如圖5所示。從圖5中可以看出，去噪的相對誤差在迭代到第11次時突然增加，第12次時增到最大，之后相對誤差逐漸減小，在迭代到23次時，誤差已經很明顯地達到微量值。同樣，邊界提取的相對誤差在第9次時突增，第10次時達到最大相對誤差，之后逐漸減小，在第23次時達到微量值。

(b) p的相對誤差變化曲線

4.4 計算效率分析

考慮計算效率，將提出的算法與半二次正則化模型的4種情況進行比較。由于提出的新模型涉及到兩個模型的計算，可以明顯看到，當半二次正則化模型選取的勢函數為凸函數，也就是GRHQ與HSHQ兩種情況時，計算效率較提出的新模型高，而當半二次正則化模型選取的勢函數為非凸函數時，即GMHQ與HLHQ兩種情況時，計算效率較提出的新模型低。

表3 計算效率比較 s

綜合以上4點，無論是從去噪、提邊效果、收斂性還是計算效率方面，提出的新算法都能夠在一定程度上優化模型。可以發現，當式(2)引入全局稀疏梯度模型的梯度信息對邊界進行優化時，由于全局稀疏梯度模型的梯度算子對噪聲不敏感，在噪聲存在的情況下仍能很好地提取邊界，可以保證圖像在去噪的同時保留更多的邊界信息，因此得到更加清晰的圖像，可見所提算法的有效性。

5 結束語

將多任務圖像處理問題表述為一個具有完全信息的靜態非合作博弈問題，采用博弈論的方法用于解決圖像去噪和邊界提取這兩個對立目標。通過尋找納什均衡點來得到最優的去噪與邊界提取結果。研究了圖像的收斂速度，同時數值實驗證明了該算法在參數和噪聲水平上的有效性和魯棒性。在未來的研究中，需要嘗試將算法展開成迭代形式，將深度網絡嵌入其中，得到去噪網絡和邊界提取網絡的博弈模型。