梯度稀疏性先驗圖像matting算法

李晉江，苑根基，范 輝

1(山東工商學院 計算機科學與技術學院，山東 煙臺 264000 2(山東工商學院 山東省高等學校協同創新中心未來智能計算，山東 煙臺 264000)

1 引 言

圖像matting是將前景對象從給定圖像中準確提取的過程.精確提取前景對象，并與新的背景合成，這在圖像和視頻編輯領域是一項非常重要的技術.在圖像分割中，將圖像簡單處理為二值圖像，每個像素要么完全屬于前景，要么完全屬于背景.這導致毛發或半透明的物體不能被完美的提取出來.圖像matting與圖像分割不同，matting將有可能屬于前景也有可能屬于背景的像素劃分為混合像素，混合像素是前景像素和背景像素的線性組合.Porte和Duff在1984年提出其合成公式為：

I=αF+(1-α)B

(1)

其中，α表示不透明度，可在[0，1]內取任意值.F，B分別為前景和背景像素值.若α=1，則該像素完全屬于前景；若α=0，則該像素完全屬于背景；否則，該像素為混合像素.為了將精確的提取前景對象，需要精確估計混合像素的alpha值.考慮到本文所分析的圖像大部分為RGB圖像，可以得到3個方程和7個未知量.因此，matting問題是一個嚴重欠約束的問題，需要用戶提供大量的先驗信息求解alpha.先驗信息主要以trimap[1]和subscribes[2]的形式提供.

當前景和背景區域的顏色相接近或重疊時，或者圖像具有復雜的紋理特征，matting算法估計的alpha值不夠精確.想要獲得更精確的matting結果，本文對輸入圖像的圖層進行處理，使想要提取的前景圖像與背景圖像之間具有更加清晰的界限，同時抑制背景復雜的紋理.

將輸入圖像分成兩個圖層的組合：

C=L+R

(2)

其中C表示輸入圖像，L和R為組合圖層.L即為所希望的圖層，R中包含想要去除的干擾.想要得到一個前景/背景邊界清晰，結構簡單的圖層L和一個更為模糊的圖像層R.希望在去出紋理干擾的基礎上，同時將前景進行平滑處理.利用景深核h對圖層R進行模糊處理，可以得到：C=L+R*h，圖層R與景深核h一起被卷積為高斯模糊.

圖像分層[3]問題試圖從單個輸入C求出兩個輸出(L和R)，這是一個病態的問題.這同樣需要先驗知識的指導.在圖像去噪領域，利用梯度稀疏性的先驗對于此類病態問題的求解可以取得理想的結果.本文將梯度稀疏的先驗應用于對圖像進行分層，但是兩層圖像的梯度不具有一致性.圖層L是光滑的，因此，圖層R的梯度要大于圖層L的梯度.

本文主要利用梯度稀疏對輸入圖像進行處理，將圖像分為兩層處理，使得一層比另一層更為平滑.可以得到一幅具有更為簡單的結構以及清晰的前景/背景邊界的圖像.實驗證明，將輸入圖像分層處理之后，得到的更為光滑的圖像更具有優勢.本文的方法在處理前景顏色和背景顏色相接近的圖像以及前景對象具有復雜的邊界信息時，利用本文的方法可以得到質量更高的結果.

2 相關工作

在本節中，討論了一些最先進的matting算法以及圖像分層的方法.Matting算法主要分為兩類：基于采樣的算法和基于傳播的算法.

2.1 基于采樣的Matting方法

基于采樣的方法[5-8]將相鄰的前景和背景像素作為樣本來估計未知像素的alpha值.Chuang等人提出貝葉斯matting算法[1]，利用概率的方法解決matting問題.貝葉斯算法將圖像的平滑性作為假設，并假設像素按高斯模型分布，以未知像素為中心，使用一個連續滑動窗口選擇相鄰的前景區域和背景區域，利用采集到的前景樣本和背景樣本構建顏色分布.通過一個良好的貝葉斯框架計算未知像素的alpha值，一般使用最大后驗概率(Maximum a Posteriori,MAP)計算.

魯棒的matting算法[5]從未知像素的近鄰采樣，但是對于背景復雜的樣本，其采集的樣本可能出現錯誤或者缺失.因此，在處理背景復雜的圖像時，魯棒的方法從全局采樣，沿著前景和背景的邊界，為每一對樣本設置一個置信度，置信度根據樣本顏色與未知像素顏色的親和度以及前景和背景樣本之間的距離計算.使用置信度高的樣本估計未知像素的alpha值.

在基于采樣的方法中，貝葉斯方法[1]是假設未知區域是前景對象邊界周圍的窄邊，使用局部顏色模型.全局采樣方法則使用圖像中所有的可用像素作為樣本，不僅需要考慮樣本與未知像素的距離，還要考慮樣本與未知像素的顏色親和度，這樣可以減少有效樣本的損失.采用隨機搜索算法采集樣本，避免了對相似樣本的重復采集，減少了樣本搜索空間.但是全局采樣的方法處理前景和背景顏色接近的圖像時得不到理想的結果，采集到的樣本質量較差，一個未知像素可能是錯誤的前景和背景的線性組合.

2.2 基于傳播的Matting方法

基于傳播的方法不需要明確的前景和背景顏色信息，而是利用圖像的局部統計，定義相鄰像素之間的各種親和力[4]來模擬圖像上的無光澤(matte)梯度，沒有直接計算每個未知像素的alpha值.泊松matting假設前景和背景的強度變化平滑，利用用戶提供的trimap信息，通過計算式(1)的偏導數來估計圖像的無光澤梯度，最小化成本函數計算最終的alpha值，利用泊松方程重建matte.

隨機游走matting算法[9]利用親和力計算最終的alpha值.利用用戶給定的trimap，對于未知區域的每個像素，通過加權邊緣連接到相鄰的像素.如果兩個像素的親和度很高，則兩個像素之間會有較大的邊權，表明兩個像素強耦合，具有相似的alpha值.未知像素的最終alpha值通過該像素隨機游走到前景像素而沒有跨過前景邊界的概率計算的.Geodesic matting利用用戶提供的subscribes，計算subscribes到未知區域像素的geodesic距離，以此區分前景和背景.在Geodesic matting算法中，可以添加subscribes以改善局部區域的結果.但是該方法對于顏色復雜的圖像不能給出準確的結果.

光譜matting算法[10]基于彩色線性模型的假設，利用光譜分割技術從拉普拉斯矩陣中尋找最小的特征向量，然后使用k均值聚類方法將這些特征值聚類.根據這些聚類簇構建前景對象的遮罩.光譜matting的主要問題是需要得到足夠的消光組件，如果得到的影響最終結果的消光組件不足，則會產生錯誤的結果.封閉式matting算法[11]從前景和背景的局部平滑假設推導出一個目標函數.該方法沒有使用任何全局參數，而使用局部估計的均值和方差計算alpha值.如果前景顏色和背景顏色在局部范圍內沒有發生改變，將會得到低質量的遮罩.KNN matting[12]改進了局部matting方法[13]，在HSV色彩空間中得到更好的效果.非局部matting方法需要利用大內核估計alpha值，而KNN matting不依賴于大內核函數，并且在全局范圍內采樣，結果的準確性得到了改善.但是KNN matting依賴于特征向量構建拉普拉斯矩陣，錯誤的特征向量會產生錯誤的結果.

2.3 其他方法

利用深度學習的matting方法可以得到更精確的結果.Cho[14]等人將局部(封閉式CF matting)和非局部(KNN matting)matting算法的結果相結合，利用卷積神經網絡獲得高質量的遮罩.將局部matting和非局部matting的優點相結合，識別不同的局部圖像結構，重建高質量的alpha遮罩.Xu[15]等人提出一種新的基于深度學習的算法，當圖像具有相似的前景和背景或復雜的紋理時，也可以取得高質量的結果.將圖像和相應的trimap作為輸入，利用深度卷積網絡學習并預測相應的alpha遮罩.再利用一個小的卷積網絡對預測的alpha遮罩進行改進，使其具有更準確的邊界.但是利用深度學習的方法需要足夠的數據和先進的硬件支持，該方法的實際應用受到限制.深度學習的matting方法也是利用原始的輸入圖像訓練模型.結構簡單、層次清晰的輸入圖像可以取得高質量的遮罩.

Aksoy等人中[16]基于像素親和力進行摳圖，同時將其擴展到圖像層顏色估計，并利用多個通道增加圖層的顏色質量，取得了不錯的效果.Isola等人利用互信息[17]提取語義有意義的輪廓并推導像素間的親和度，此方法可以找到具有復雜紋理的圖像的目標邊界；Rhemann等人提出將alpha先驗建模為具有相位空間變換的點擴散函數[18]，同時給出了一個有效的解卷積的方法.在圖像去噪領域[19，20]，從原始圖像中把噪聲圖像分離出來，從而得到清晰的圖像.考慮基于邊緣的圖像分解方法，最早的算法是一個簡單的啟發式Retinex算法，此后的很多工作都遵循此算法[21].大多數反射消除算法需要多個圖像的輸入，對于單幅圖像的處理比較困難.

圖像分層主要包含固有圖像的分解以及反射干擾的去除.對固有圖像的分解，比較好的方式是利用概率模型，假設圖像中存在一個稀疏的反射集合，稱為全局稀疏性[22，23].但這與本文所使用的稀疏先驗并不相同，并不適用于梯度直方圖.全局稀疏性是直接應用于允許的反射率值.在去除反射干擾[24，25]時，只是用單幅圖像取得的效果不理想.大部分情況下需要用戶提供先驗信息.受到圖像分層的啟發，本文將圖像分層應用于matting領域，對算法提取到的圖像做分層處理，以得到前景目標光滑的圖像，同時將背景復雜的紋理信息簡單化，使背景的結構盡可能的簡單.使圖像的前景顏色與背景顏色對比明顯，對于細節的處理，可以達到更為理想的效果.將輸入圖像分為兩層圖像，使復雜的背景結構大大簡化.在將圖像分層處理時，并不需要多個輸入圖像，只是在單個圖像上進行簡單的處理，但是最終取得的結果具有足夠的競爭力.

3 本文的方法

主要利用KNN Matting方法驗證本文的方法.KNN Matting基于非局部的準則，不需要假設顏色線性模型，也不需要復雜的采樣策略，只需要在稀疏的用戶交互的基礎上，利用K近鄰算法來匹配非局部的近鄰.KNN Matting首先需要提取特征向量，而特征向量主要由顏色空間和像素點的空間位置坐標組成，KNN Matting能輕易地擴展到處理SVBRFD或更高維度的顏色空間.

3.1 非局部原則

在這里簡要介紹一下非局部準則.利用非局部原則的方法類似地使用顏色相似性和空間相近性來確定不同像素的alpha值應該如何相互關聯.KNN matting[12]使用k個最近鄰像素匹配非局部區域，利用預處理共軛梯度法計算閉合形式解.當圖像邊緣附近的前景和背景顏色相差較小或者圖像結構復雜時，得到的結果質量會有所下降.所謂非局部原理，就是假設一個去噪像素i是由與它有類似特征的像素與一個內核函數κ(i，j)權重的加權和，在文獻[13]中描述如下：

(3)

(4)

(5)

其中，X(i)是像素i的特征向量，dij是像素i與j的距離，‖·‖g是一個中心加權的高斯范數，h1和h2為依據經驗設置的常數.與式(3)類比，alpha的期望值為：

(6)

其中，α為輸入圖像所有alpha值的向量.非局部原則同樣適用于式(6)，當給定的條件分布E[αi|X(i)=X(j)]=αj成立時，具有相同特征的像素使用同一個alpha值.非局部原理基本取代了應用于小窗口的局部線性模型，但當使用大內核函數[26]時，得不到想要的結果.由式(6)可得，Dα≈Aα，其中，A是一個N×N的關系矩陣，D=diag(Di)是一個N×N階的對角矩陣，N為圖像中像素點的總和.于是有(D-A)α≈0orαTLcα≈0，其中，Lc=(D-A)T(D-A)，稱為聚類拉普拉斯矩陣.這基本上解決了二次最小化問題minα∑Aij(αi-αj)2.

3.2 圖像分層

在KNN matting提取的圖像層上施加梯度稀疏先驗.假設L比R平滑，那么大梯度屬于R.將其建模為概率模型[3]：

(7)

(8)

其中，x是梯度值，z是歸一化因子，σL和σR是兩個窄的高斯下降非常快的值，在PR中添加最大算子，以防止尾部概率接近于零.想要得到更為平滑的圖像L，即將聯合概率P(L，R)最大化，通過最小化負對數概率實現.假設兩個圖像層和濾波器的輸出都是獨立的，使用兩個方向不同的一階導數濾波器和一個二階拉普拉斯濾波器

(9)

同時增加稀疏懲罰函數ρ，可以得到：

(10)

(11)

(12)

使用一個二維傅立葉變換(2D FFT)Γ將Fj卷積對角化，找到最優的R：

R=Γ-1(A)

(13)

其中，*表示共軛，τ為增加算法穩定性的參數.再將R標準化，即最小化目標函數：

(14)

mi，ni為指示函數，當Ri+tubi時，ni等1，否則都等于0.這樣，可以得到一個前景和背景分界清晰，結構簡單的圖層L和一個更為模糊的圖層R，接下來的工作就在圖層L上進行.

3.3 KNN Matting

得到的L前景和背景之間的區分更為明顯，KNN方法從圖層L提取特征向量：

X(i)=(cos(h)，sin(h)，s，v，x，y)

(15)

其中，h，s，v表示HSV空間的各個分量，x，y表示像素點i的橫坐標和縱坐標.給出內核函數為：

(16)

其中，X(·)為特征向量，T為權值系數.則閉合形式解為：

(17)

其中，N為拉普拉斯矩陣，D為對角矩陣，γ為約束項系數.對優化函數進行最小化處理，可得：

(18)

其中，γ|v|是一個常量，H=2(N+γD)是一個半正定矩陣.對g(x)求導并令結果為0即為最優解：

H-1c=(N+γD)-1(γv)

(19)

本文算法描述如下.

輸入：原始圖像C及其Trimap，初始參數λ、權重β，學習速率η，最大迭代次數n.

輸出：alpha圖像

1.當i

3.利用式(13)計算圖像層R

4.然后利用式(14)標準化圖像層R

5.對β進行更新，β=η*β

6.得到優化后的圖像層L，L=C-R，結束當前循環

7.當i

8.利用式(15)從圖像層L中提取特征向量

10.進行最小化處理，即對式(18)最小化.然后對其求導，可得最優解為：

H-1c=(N+γD)-1(γv)，結束循環

4 實 驗

4.1 定性分析

選取兩幅比較典型的圖像進行細節比較.如圖1所示.使用alpha matting網站提供的數據集驗證本文方法的結果.使用CF matting方法、LB Matting方法[29]和KNN Matting方法與本文的方法相比較.為了展示matting結果的細節，選擇了具有代表性的區域放大進行比較.將白色方框和黑色方框表示的區域放大進行比較，如圖1第2、3列所示.

在白色方框表示的區域中(圖1中第二列)背景信息較少，傳統的matting方法不能獲得足夠的背景信息，將該區域全部處理為前景(如圖1(c)(d)所示).而本文的方法可以獲取更為全面的信息.可以將毛發細節更多的保存下來.與傳統的KNN Matting相比較，本文的方法表現出更為優秀的結果.

在黑色方框表示的區域中(圖1中第三列)，將邊緣毛發放大比較.本文的方法表現出更具競爭力的結果.CF和LB的matting方法將邊緣處細小的毛發信息完全丟失，將其處理為背景.而KNN Matting方法對于邊界的處理也較為粗糙，前景目標的邊緣信息存在丟失現象.本文的方法對于細小毛發的處理更為細致.

對于圖1中第4列表示對于多孔洞圖像的處理.CF和LB的matting方法只能提取較大孔洞，對于細小的孔洞，因為缺乏背景的信息，則將其全部判定為前景.KNN matting與本文的方法差距不大，可以將孔洞較好的保存下來.本文的方法與其它matting算法相比較，不僅能將圖像的細節信息完整的保留下來，而且與Ground Truth圖像最為接近.

圖1 細節比較

對于樣本缺失的圖像，本文的方法也能進行較好的處理.如圖2所示，白色大圓標記的旗幟部分沒有有效的樣本，CF Matting方法和LB Matting方法不能得到高質量的結果.KNN matting方法取得的結果要好一些，但對于小圓標記的旗幟上的圖案處理較差，且大圓標記部分出現明顯的邊緣.本文的方法得到的結果最接近基準圖像.

圖2 有效樣本缺失比較

對于結構簡單，背景信息并不復雜的圖像，各類matting算法所取得的結果差距不大.如圖3所示，本文的方法對不同圖像的處理都可以取得不錯的效果.圖3中第2、3列表現出本文的方法對于處理邊緣細小毛發的優勢.本文的方法可以抑制背景復雜的紋理信息，可以獲得更為清晰的前景和背景的界限.本文的方法得到的結果與Ground Truth圖像最為接近.

圖3 自然圖像摳圖比較[28]

選取了幾種基于傳播的摳圖方法與本文的方法相比較.在取得更好的圖像層的基礎上，在對于孔洞的處理上，本文的方法與其它方法相比較差異不大.但本文的方法在處理細小的毛發方面有出色表現.如圖1中第2、3列對目標毛發的處理，其毛發區域前景顏色和背景顏色相接近，本文的方法使前景和背景的顏色區分更為明顯，可以取得更精確的結果.

4.2 定量比較

圖像的組成比較復雜，單憑視覺去判斷優劣不夠精確.本文采用文獻[30]提供的方法對matting結果進行評估.只展示了部分圖像的比較結果(選取圖1和圖3的圖像作為比較數據集).通過計算不同matting方法得到的結果的絕對誤差和(Sum of Absolute Difference，SAD)以及平均平方誤差(Mean Squared Error，MSE)對結果進行評估.圖4表示比較數據集中的圖像在不同算法下的MSE(圖4(a))和SAD(圖4(b))評價.縱坐標表示誤差度，橫坐標表示圖像編號.在結構簡單、背景信息并不復雜的圖像中，本文的方法與KNN matting得到的結果比較接近，但是本文的方法更占優勢.在處理圖像的細小邊緣時，本文的方法與Ground Truth圖像最為接近.可以發現，本文的方法在比較數據集圖像上取得的結果均優于其它matting算法.

圖4 測試集比較

實驗均在同一環境下進行，電腦配置如下：i5-3230 CPU，4GB內存，NVDIA GT630M顯卡.

5 結 論

本文在經典的matting算法的基礎上，利用梯度稀疏對提取的圖像進行分層處理.在依賴于顏色相似性或者空間相接近的像素相似性度量中，alpha從已知區域向未知區域的傳播更加可靠.在基于采樣的matting算法中，利用局部窗口進行采樣，可以獲得更可靠的顏色樣本數據.在對圖層進行處理時，本文采用與圖像去反射、去噪類似的方法，將圖像的背景模糊處理，使前景目標凸顯并將前景對象光滑處理.本文的方法在處理前景顏色和背景顏色相近的圖像或者具有復雜結構的圖像時表現出較大的優勢.特別是對于細小毛發的處理，本文的方法可以得到更為優秀的結果.對于具有復雜紋理的圖像，本文的方法也可以得到更具競爭力的結果.與傳統的matting方法相比較，即使對于結構簡單的圖像，本文的方法取得的結果也優于其它方法.