一種結合視覺顯著性與譜摳圖的自然圖像摳圖方法

段廷燕 張中蔚

摘 要：結合顯著性算法和譜摳圖算法，提出了一種從圖像中獲取完整前景的方法。首先利用譜摳圖算法將圖像分為若干摳圖成分，同時利用顯著性算法得到顯著圖；然后根據顯著圖得到初始標注信息，將標注結果反饋給摳圖算法；最后用枚舉法計算摳圖成分的最佳組合，得到摳圖結果。人工可以對摳圖結果進行實時修改和反饋。結果表明，結合顯著圖的標注信息和人工標注信息，只需簡單的點選像素便可很快得到較好的摳圖結果。

關鍵詞：譜摳圖 顯著性 摳圖成分 標注信息

中圖分類號：TP391 文獻標識碼：A 文章編號：1003-9082（2019）03-000-02

引言

摳圖技術的關鍵是如何精確地將一幅圖像中前景和背景分離出來。利用該技術，可以產生各種各樣、豐富多彩的圖像。例如個人寫真、婚紗攝影等，人們將自己拍攝出來的照片，使用摳圖技術對照片進行處理，然后合成到另一個背景圖像中，給我們的生活帶來另一番視覺感受。但是，在對自然圖像進行摳圖時，圖像中的有些前景或背景區域的邊界部分可能非常細小，甚至有些可能細小到一個像素，如頭發絲、葉子等。這些區域人工涂鴉標注極其困難，使得精確摳圖實現難度增加。目前對結構復雜的自然圖像摳圖的效果并不理想，而且獲取大量監督信息費時費力。因此，如何獲得高質量的監督信息至關重要。

自然圖像摳圖的方法有很多，常見的有封閉式摳圖[1]、貝葉斯摳圖[2]、魯棒摳圖[3]等。這些方法計算摳圖結果耗費時間很長，而且不能將結果實時反饋給用戶。對于毛發等細節區域，涂鴉標注的方式對普通用戶來說難度較大，進而會造成交互次數和耗時增加。想要得到理想摳圖結果需要獲取盡量多的標注信息，而像素級別的標注方式在增加樣本量上并不是最好的選擇。2008年由Levin等提出的譜摳圖[4]法較好的解決了上面問題。譜摳圖法通過構建拉普拉斯矩陣求出最小的Z個特征向量，再對這些向量進行線性變換得到個摳圖成分，這部分運算可以作為預處理步驟，不占用用戶的關注時間。計算好圖像的摳圖成分后，用戶標注時只需點選或者涂鴉摳圖成分中的任意像素即可標注整個成分。因而在細節區域的標注變得簡單了，且可以很快獲取大量標注樣本。但該方法當摳圖成分數目較大時，用戶仍然有較大的標注工作量。

從生物特性上來講，人類的視覺和感知系統會下意識的優先選擇他們感知到的信息中最感興趣的部分，顯著區域是圖像中最能引起用戶興趣、最能表現圖像內容的區域[5]。換個角度說，多數情況下，顯著性高的區域即為用戶最感興趣的區域（想要摳出的前景部分）。因此，視覺顯著性可以為摳圖算法直接提供樣本信息，進一步減少用戶的工作量。

本文在譜摳圖基礎上引入視覺顯著性檢測，通過計算摳圖成分的顯著性指標直接提供標注信息給摳圖算法，獲得初始摳圖結果；然后，通過用戶反饋進行結果實時修正和反饋。其中計算摳圖成分和視覺顯著性都可以預先進行，不占用用戶關注時間。

一、模型介紹

對于一幅自然圖像，首先用顯著性算法得出顯著性結果圖并將其歸一化到[0，1]區間，使用譜摳圖法計算得到的摳圖成分；然后根據顯著圖提供標注信息給摳圖算法，并結合摳圖成分計算得到標注成分圖；最后根據枚舉法計算摳圖成分的最佳組合得到結果α圖。如果對結果不滿意，人工可以根據結果α圖提示重復標注摳圖成分直到得到滿意的摳圖結果為止。具體流程如圖1所示：

1.計算摳圖成分

在一般的摳圖算法中，假設輸入圖像中的每個像素Ii是前景色Fi和背景色Bi的線性組合[6]，如公式（1）所示。到目前為止有很多摳圖算法以公式（1）為基礎。

二、實驗結果與分析

實驗環境：處理器：Intel（R） Xeon（R） CPU E5-2687W v3 @ 3.10 GHz（2處理器），內存：208G內存，系統：64位Windows操作系統，系統環境：Matlab R2016b。

1.摳圖流程

選擇原圖（如圖2（a）所示）進行處理，計算出顯著圖（如圖2（b）所示）。根據預設的區間值對顯著圖進行標注得到標注結果圖（如圖2（c）所示），結合顯著性標注結果和譜摳圖算法得到初始α圖（如圖2（d）所示）。從初始α圖中可以看出人物面部和衣領部位結果有偏差，選中這兩個部位的摳圖成分進行標注得到人工標注結果（如圖2（e）所示）。將人工標注結果反饋給摳圖算法得到最終結果α圖（如圖2（f）所示）。

從上面結果可以看出，用顯著圖對圖像進行初始化可以得到很大部分的初始信息。得到的初始結果邊緣部分已經處理完成，只需對中間幾個成分進行標注。從結果來看，進行一次人工標注后，結果α圖已經可以得到完整的摳圖結果。

2.計算效率

為了計算運行效率，選擇阿爾法數據庫[8]中27幅低分辨率的圖像進行處理。目前至少有50種摳圖算法以該數據庫的圖像進行算法評估。在預先計算好圖像的摳圖成分和顯著圖的情況下，對阿爾法數據庫中的圖像處理時間進行統計。用戶標注后結果反饋的平均響應時間如圖3所示。

三、總結

首先用譜摳圖算法計算出摳圖成分，通過顯著性算法得到顯著圖。然后使用顯著圖標注的信息計算第一次摳圖結果。如果對結果不滿意，根據第一次摳圖結果選取錯誤區域進行人工標注。標注時只需點選摳圖成分中一個像素點即可獲取整個摳圖成分的值，標注信息反饋給摳圖算法計算出新的結果圖。重復人工標注過程，直至得到令人滿意的結果圖。結果表明結合譜摳圖和顯著性方法進行摳圖，能夠有效減少人工標注信息的成本和時間。

參考文獻

[1]Levin A，Lischinski D，Weiss Y.A closed-form solution to natural image matting[J].in IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）：228-242.

[2]Chuangl Y Y，Curlessl B，Salesin D H，et al.A Bayesian Approach to Di-gital Matting[C].Computer Vision and Pattern Recognition，2001，2（1）：264--271.

[3]Wang J，Cohen M F.Optimized color sampling for robust matting[C].Co-mputer Vision and Pattern Recognition，2007：1-8.

[4]Levin A，Rav-Acha A，Lischinski D.Spectral matting [J].IEEE transactions onpattern analysis and machine intelligence，2008，30（10）：1699-1712.

[5]馬陳.基于無監督摳圖模型的顯著性區域提取算法研究[D].合肥工業大學，2014.

[6]Porter T，Duff T.Compositing digital images[C].ACM Siggraph Computer Graphics，1984，18（3）：253-259.

[7]Fu，H.，Cao，et al.Cluster-Based Co-Saliency Detection[J].IEEE Transactions on Image Processing，2013，22（10）：3766-3778.

[8]http：//www.alphamatting.com/

作者簡介：段廷燕（1992—），女，貴州師范大學碩士研究生，研究方向：圖像處理與應用。

張中蔚（1993—），男，云南大學碩士研究生，研究方向：圖像分析與處理。

王安志（1986—），男，貴州師范大學講師，研究方向：機器學習與計算機視覺。

蘇彩霞（1983—），女，貴州師范大學講師，研究方向：遙感圖像處理。

范郁鋒（1982—），男，貴州財經大學助教，研究方向：遙感圖像計算機處理與解譯。