基于顯著目標移動的自動摳圖方法

陳志華， 朱楠楠， 肖小龍， 張 靜,， 袁玉波

（1. 華東理工大學計算機科學與工程系，上海 200237；2. 南京大學計算機軟件新技術國家重點實驗室，江蘇 南京 210093）

基于顯著目標移動的自動摳圖方法

陳志華1， 朱楠楠1， 肖小龍1， 張 靜1,2， 袁玉波1

（1. 華東理工大學計算機科學與工程系，上海 200237；2. 南京大學計算機軟件新技術國家重點實驗室，江蘇 南京 210093）

摳圖技術是一種常用的提取圖像中精確目標區域的方法，在圖像編輯中有著重要的應用，現有的大多數摳圖技術依賴于人工交互，本文提出一種基于顯著目標移動的自動摳圖方法。首先對輸入圖像進行區域分割；然后計算各個區域的顯著性值，并建立區域之間的顯著性引力模型；在此基礎上進行基于顯著目標移動的迭代，從而獲取圖像的顯著區域；之后對顯著圖進行分割并且進行目標區域形態學運算，生成三分圖；最后利用基于學習的摳圖算法，提取圖像目標。實驗結果表明，本文方法不需要人工交互和其他的輔助信息，目標摳取效果良好。

圖像顯著性；顯著目標移動；自動摳圖

摳圖技術是數字圖像處理和圖像克隆中的關鍵技術，是將圖像中感興趣的部分提取出來的一種技術[1]。該技術廣泛應用于照片編輯和影視特效處理等[2]。近年來摳圖問題得到計算機視覺領域研究人員的廣泛關注和深入研究，先后提出了基于統計學習[3]、基于圖表示[3]和基于泊松偏微分方程[4]的摳圖算法。這些算法能夠摳取較高質量的圖像/視頻摳圖，但仍然存在一些需要深入研究的問題和亟待改進的地方。例如，基于統計學習的摳圖算法會得到帶有少許顏色粘貼的摳圖結果，對細微的細節摳取不太理想；基于圖表示的摳圖算法過多地依賴于用戶交互；基于泊松偏微分方程的摳圖算法對前景和背景的要求比較苛刻。

本文提到的顯著目標是指圖像中顯著性值最高的區域。文中的創新點在于提出基于顯著目標的移動算法，實現摳圖技術上的自動化操作，省略三分圖獲得時的大量人工交互工作和其他輔助信息的輸入。算法如圖1所示，具體步驟如下：

(1) 在三分圖之前，對待輸入的圖像進行了預分割，在分割之后的區域內，根據顏色信息對圖像進行量化；對圖像進行顯著性計算，加入位置權重信息進行多次迭代，以求得更加準確的顯著圖；

(2) 對顯著圖進行Mean Shift分割，得到二值分割圖；對二值分割圖做形態學的閉運算，得到三分圖[5]；

(3) 最后對圖像做摳圖運算。

圖1 基于顯著目標移動的自動摳圖算法流程

1 相關工作

前景摳圖的含義就是把原圖像中感興趣的部分合成到目標圖像中去。從用戶的交互角度來看，圖像摳取方法可以分為帶有交互方法和非交互方法。基于分割算法的摳圖方法[6]，不論是Graph Cut分割法[7]還是Mean Shift分割法[8]，都是二值的硬分割方法，僅將圖像的前景和背景進行二值分割，摳圖效果不是很明顯。一般的數字摳圖在分割邊緣區域除了前景分量還會包括部分背景分量，公式如下：

對于每一個像素 I，都有對應的前景分量 F，背景分量B和相關的透明度值α，前景摳取根據當前像素的灰度值去求3個未知分量的值，這是一個嚴重的病態問題。最早的摳圖技術，要求背景是藍色的，這就使得未知分量減少一個，此方法被稱之為“藍屏摳圖”。早期的藍屏技術被廣泛應用于電影后期制作，但是場景中如果出現藍色或與人體皮膚相近的顏色時，效果不佳。

現有的摳圖方法大致可以分為以下幾類：

(1) 基于采樣的摳圖技術。文獻[7]和[9]提到的貝葉斯摳圖和魯棒式摳圖都可劃歸這類方法。這類方法需要用戶給定三分圖：確定的前景區域ΩF，背景區域ΩB以及未知區域ΩU。假設圖像是局部連續的，即圖像的前景和背景在局部變化很小，用周圍樣本點的前景和背景對當前未知像素點的前景和背景進行近似估計，然后通過得到的前景和背景計算得到透明度值。但是，只有在用戶提供較精確的三分圖時，才會得到較好的摳圖效果。而三分圖的獲得需要大量的人工交互[9]。

(2) 基于傳播的摳圖技術。文獻[3]和[10]提到這類技術的具體思想。這類方法大多不需要用戶輸入三分圖，只需要輸入少量的線條標記，用以標注確定的前景和背景區域。準確地獲得相鄰像素與采樣像素點的相關性是傳播算法能夠高效實現的關鍵。

(3) 采樣與傳播相結合的方法。文獻[11]和[12]發展到這類方法后，用戶的交互越來越靈活，除了之前三分圖的方法，還有Grab Cut方法[3]中提出的用戶交互方法，它只需要用戶畫一個矩形框包圍前景物體就可以了。現有的基于采樣的摳圖方法缺點在于，過多的關注于采樣點之間的距離約束。

上述的摳圖算法摳取效果常常受到三分圖的精度影響。而三分圖的獲得需要較多的人工交互。因此，研究者相繼提出了一些自動摳圖方法。McGuire等[13]提出一種針對動態場景的自動摳圖方法，稱為散焦摳圖。其利用分光鏡搭建一個由3個攝像頭傳感器組成的系統，對同一場景攝取聚焦前景、聚焦背景以及全景深聚焦等3張圖片，然后通過聚焦面分析場景物體的相對深度，從而自動計算出粗略的 Trimap圖。Sun等[14]也提出了一種閃光摳圖。該方法指出，如果場景內的背景物離得足夠遠，那加閃光的圖片和不加閃光的圖片，差異主要集中在前景物體區域。所以閃光摳圖先攝取同一場景的加閃光和不加閃光的兩幅圖片，之后通過計算兩幅圖的差估計每個像素點屬于前景的似然概率，最后經過迭代法求得最大似然值。此外，利用照相機陣列和深度傳感器的摳圖方法。這些自動摳圖方法都需要額外的設備，對獲得的單張彩色圖片進行處理，難以運用到實際自然背景的圖像摳取。

本文則是重點研究利用基于顯著目標移動的方法，獲取顯著圖，在此基礎上獲取三分圖，不需要過多的人工輸入和其他輔助，從而實現摳圖技術的自動化。

2 顯著目標移動方法

在沒有任何場景內容和先驗知識的情況下，圖像的視覺顯著性檢測使得圖像的自適應處理成為了可能。因此，有效的圖像顯著性檢測是很多重要的圖像視頻處理算法的基礎。本文在獲得三分圖的方法上，引入了顯著性圖像，其目的在顯著圖的基礎上獲得一個精確度較高的三分圖[15]，減少以往實驗過程中人工交互。

現有的圖像視覺顯著性檢測算法大多是從像素點的角度去考慮計算機視覺的顯著性。這些算法的結果往往使得顯著圖過分強調了顯著物體的邊緣特性，卻沒有均勻的突出顯著物體。但是，顯著圖的實際應用，不僅僅需要的是顯著物體的簡單輪廓或者邊緣信息。基于區域對比的顯著性算法，則側重于從區域或類物體的角度去考慮如何計算圖像的視覺顯著性。基于區域對比的顯著性檢測合理性在于：

(1) 同質區域內的顏色差異性小，極有可能屬于同一物體，因此受到關注的程度是一樣的，也就是應當獲得相同的顯著值。而區域之間的顏色差異性可能會比較大，極有可能不是同一物體，受到的關注度也就不一樣，從而獲得的顯著值也就不同。

(2) 通過分割區域計算顯著性區域，能夠更好地保持顯著物體的輪廓及邊緣特性，還能夠更好地應用到基于顯著圖的應用。

區域對比更加符合人類視覺系統的認知情況，它能更加準確、均勻的突出顯著物體。受到萬有引力模型的啟發，本文提出了利用顯著性引力模型計算獲得新的顯著區域。所謂引力模型，假設圖像中心為初始視覺關注點，也為初始像素點。賦予每一像素點一個位置權重，而權重的大小由像素點與初始像素點之間的距離決定。距離相近的像素點，被認為它們在一個區域內，且顯著效果相似，那么就給它一個較大的權重值；距離較遠時，被認為其可能不在一個顯著區域內，那么就給予一個較小的權重。這種初始像素點對其他像素點的權重大小影響作用，可看成一種引力作用。在這種引力計算作用下，顯著區域總是被周圍顯著值較大的顯著區域取代，視覺關注點也會因此轉移，以此迭代下去，最終，獲得顯著區域較為準確的顯著目標，如圖2所示。判斷引力大小的因素有兩點：像素點的顯著性值和它到視覺關注點的距離。所以定義顯著性引力計算公式如下：

其中，Fi表示像素點，pi與初始像素點OF之間的顯著性引力，Spi表示像素點pi的顯著值，SOF表示初始像素點的顯著值，Gs表示顯著引力常量R=1/r2,r=D(pi,OF)表示像素點pi到視覺關注點OF之間的歐式距離。

圖2 引力建模

運用本文的顯著目標移動算法獲得的顯著圖，如圖3所示。

圖3 顯著目標移動算法獲得的顯著圖

3 三分圖計算

本文運用顯著目標移動算法獲得了顯著圖。為了計算出所需的三分圖，針對獲得的顯著圖進行Mean Shift分割，分割結果能明顯地表現為前景區域ΩF、背景區域ΩB。前述中提到分割邊緣部分除了前景分量外，還有少量的背景分量。所以，本文方法是對分割圖像進行形態學的閉運算[16]。先對二值分割圖像進行一次寬度為b1的前景膨脹dilate運算，使邊緣處某些連通的區域連通；再對二值分割圖像進行一次寬度為b的腐蝕erode運算；兩次操作的差即為求得的未知區域 ΩU。形態學運算公式如式(3)：

圖4為包含前景、背景和未知區域的三分圖。

圖4 形態學運算結果

4 目標摳取

基于學習的摳取技術(leaning based digital matting)[12]是本文選取的主要軟摳取技術。該技術假設在一個很小的窗口內，未知像素和已知像素存在一個線性關系，通過半監督學習確定未知像素屬于前景或背景。在軟摳取時，把α值的估計問題看成是一個學習問題，用已知像素點的α值去估計未知像素的α值。

對于一幅圖像，看成有無數個像素點組成，Ω={1,…,n}，n是像素點的總數。給定一個標注的像素集Ωl?Ω，Ωl中像素的α值是已知的。那未知像素集Ωu=Ω-Ωl，α值的估計計算就是確定未知的像素集Ωu的像素是屬于前景還是背景。

在上節中，計算求得一幅三分圖。三分圖的特點是，有標注的絕對前景ΩF和絕對背景ΩB，以及未知區域 ΩU。在基于學習的摳圖方法中，假設未知區域的像素點和標注的前景或者背景像素點存在某種函數關系，可以用已知的前景或者背景像素點去計算未知的像素點。

在用局部學習的方法估計α值時，對于任意像素i∈Ω，定義其α值為αi，且能被區域Ω內的其他像素點的值αj以線性組合的方式預測，其中{αj}j∈Ni，鄰近像素Ni?Ω。以像素i為中心的7×7的局部窗口內，選擇像素i的鄰近像素。通過計算最小成本函數，得到最優的α值。

根據式(4)[11]可知，所有的像素點符合線性組合→，定義所有的像素點的α值，則=[α1,α2,…,αn]T，各個像素點與i的系數為ξi=[fi1,…,fin]T， ξi的值相當于 Ni內相鄰像素與i的關系系數值fi，其余的值為0。如式(5)[12]：

重寫式(5)，以一個新矩陣F代替{ξi}i∈Ω:F=[ξ1,…,ξn]，得到式(6)[11]：

如果知道了F，一個經典的求解估算α值的方法，就可通過求解最小化問題得到式(7)[11]：

αl定義的是在 Ωl的被標記的像素點的變量α值，αl*定義是已經知道的，被標記的像素點的α值，如圖5所示。

圖5 目標摳取結果

圖6是本文的目標摳取對比圖，其中，圖6(a)因為加入了顯著圖，減去人工交互工作，在時間上比圖 6(b)要高效；在摳圖效果上，本文方法也比圖6(c)好。

圖6 目標摳取對比圖

5 實驗結果與分析

本文算法在計算顯著圖的過程中，通過引入顯著性引力模型，逐步迭代求得顯著圖。通過實驗與CA[5]，FT[17]，HC[18]和 RC[18]算法結果進行比較，發現該方法在提取顯著目標方面更加準確有效。由圖7所示，CA算法得到的顯著圖過分強調了圖像的邊緣信息，不能準確地突出圖像的顯著物體。FT算法和HC算法采用了全局對比方法計算圖像的顯著圖，盡管比較準確地突出了顯著物體，但同時也將部分非顯著區域錯劃成顯著區域。RC算法利用區域對比的方法計算顯著圖，有效地改善了FT算法和HC算法的缺陷。僅僅考慮區域對比，而不考慮視覺關注點的作用，還是會使得部分非顯著區域被計算成顯著區域。本文提出的顯著目標移動算法，利用顯著引力模型獲得真正的視覺關注點，因此最后計算得到顯著圖效果較好。

圖7 本文與各種典型顯著性檢測算法的效果比較

根據所得到的顯著圖，可通過計算獲得正確的三分圖，提高了目標提取的精度，并且不需要人工干預。部分實驗結果如圖8所示。

6 結 論

本文實驗通過顯著目標移動的顯著性計算，獲得均勻的突出物體的顯著圖，使得在三分圖計算時，求得更加準確的三分圖，在目標摳圖實驗中，摳圖效果更加明顯。因為文中提出的是基于顯著引力模型的摳圖方法，所以顯著性的檢測在本文中極為重要。獲得較準確的顯著性檢測圖，是本文的重要工作。在多次實驗對比中，本實驗方法更適用于顯著物體比較突出的圖像。對于部分帶有細微毛發的圖像，其摳圖效果也相應會有影響，這也是需要進一步完善的地方。下一步的工作方向是將本文的方法進行改進與拓展，運用到視頻目標自動摳取。

圖8 實驗結果圖

（致謝：衷心感謝應方立博士在實驗過程和改進方法上提供了寶貴的意見。）

[1] Grady L, Schiwietz T, Aharon S, et al. Random walks for interactive alpha-matting [C]//Proceedings of VIIP 2005, Benidorm, Spain, 2005: 423-429.

[2] Porter T, Duff T. Compositing digital images [C]. Proceedings of ACM SIGGRAPH, Minneapolis, USA,1984, 18(3): 253-259.

[3] 沈 洋, 林 曉, 謝志峰, 等. 交互式前景摳圖技術綜述[J]. 計算機輔助設計與圖形學學報, 2014, 26(4): 511-519.

[4] Pérez P, Gangnet M, Blake A. Poisson image editing [C]// Proceedings of ACM SIGGRAPH, San Diego, CA, USA, 2003: 313-318.

[5] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection [C]//Proceedings of IEEE International Conference Computer Vision and Pattern Recognition, San Francisco, CA, USA, 2010: 2376-2383.

[6] 郭 洪, 張清志. 增強圖像細節和去噪能力的改進形態學分水嶺算法[J]. 圖學學報, 2013, 34(3): 7-11.

[7] Rother C, Kolmogorov V, Blake A. Grab cut interactive foreground extraction using iterated graph cuts [J]. ACM Transactions on Graphics, 2004, 23(3): 309-314.

[8] Comaniciu D, Meer P. Mean shift: a robust approach toward feature spaceanalysis [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[9] Chuang Yungyu, Curless B, Salesin D H, et al. A bayesian approach to digital matting [C]//Proceedings of IEEE CVPR, Kauai, Hawaii, USA, 2001: 264-271.

[10] Levin A, Lischinski D, Weiss Y. A closed form solution to natural image matting [C]//Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on, New York, USA, 2006: 61-68.

[11] Wang Jue, Maneesh A, Cohen M F. Soft scissors: an interactive tool for realtime high quality matting [C]// Proceedings of ACM SIGGRAPH, San Diego, CA, USA, 2007: 9:1-9:6.

[12] Zheng Yuanjie, Kambhamettu C. Learning based digital matting [C]//IEEE 12th International Conference on Computer Vision, Kyoto, Japan, 2009: 889-896.

[13] McGuire M, Matusik W, Pfister H, et al. Defocus video matting [C]//Proceedings of ACM SIGGRAPH, Los Angeles, CA, USA, 2005: 567-576.

[14] Sun Jian, Li Yin, Kang Singbing, et al. Flash matting [C]// Proceedings of ACM SIGGRAPH, Boston, MA, USA, 2006: 772-778.

[15] Rhemann C, Rother C, Rav-Acha A, et al. High resolution matting via interactive trimap segmentation [C]// Proceedings of IEEE CVPR, Anchorage, Alaska, USA, 2008: 1-8.

[16] 李海洋, 文永革, 何紅洲, 等. 基于隨機權重粒子群和K-均值聚類的圖像分割[J]. 圖學學報, 2014, 35(5): 755-761.

[17] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]//Proceedings of IEEE International Conference Computer Vision and Pattern Recognition, Miami, FL, USA, 2009: 1597-1604.

[18] Cheng Mingming, Zhang Guoxin, Mitra N J, et al. Global contrast based salient region detection [C]// Proceedings of IEEE International Conference Computer Vision and Pattern Recognition, Colorado Springs, CO, USA, 2011: 409-416.

An Automatic Matting Method Based on Moving Saliency Objects

Chen Zhihua1, Zhu Nannan1, Xiao Xiaolong1, Zhang Jing1,2, Yuan Yubo1

(1. Department of Computer Science and Engineering, East China University of Science and Technology, Shanghai 200237, China; 2. State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing Jiangsu 210093, China)

Matting technique is a popular method to extract objects from an image precisely. It takes important advantages in image editing. Most of the existing matting techniques rely on human interaction. In this paper, a novel automatic matting method is proposed and it is based on moving saliency objects. Firstly, the input image is segmented into several regions, its saliency values are calculated, a saliency gravitation model between regions is established, and the moving rules of saliency regions are constructed to obtain an accurate saliency map. Secondly, the saliency map is obtained and morphological operators are employed to correct the object regions. The corresponding trimap is generated automatically. Finally, the object regions are extracted by using learning-based matting algorithm. The experimental results show that the proposed method is more accurate and effective without human interaction or other auxiliary information.

image saliency; moving saliency regions; automatic matting

TP 391

A

2095-302X(2015)03-0425-07

2014-10-08；定稿日期：2014-10-24

國家自然科學基金資助項目(61370174，61402174)

陳志華(1969-)，男，江西萬年人，副教授，博士。主要研究方向為圖像/視頻處理、計算機圖形學、計算機視覺。E-mail：czh@ecust.edu.cn

張 靜(1978-)，女，河南三門峽人，副教授，博士。主要研究方向為計算機視覺、圖像處理，多媒體信息檢索。E-mail：jingzhang@ecust.edu.cn