深度圖像的分層圖割算法研究

俞江明，趙杰煜，汪國鋒

1.寧波大學信息工程與技術學院，浙江寧波 315211

2.浙江省福利彩票發行中心，杭州 310000

深度圖像的分層圖割算法研究

俞江明，趙杰煜，汪國鋒

1.寧波大學信息工程與技術學院，浙江寧波 315211

2.浙江省福利彩票發行中心，杭州 310000

1 引言

圖像分割作為圖像理解和識別的基礎在計算機視覺中有重要的作用，但由于圖像的復雜性，沒有很好的通用的圖像分割算法能解決所有的問題，即便如此還是有前赴后繼的國內外學者投入到圖像分割的研究隊伍當中。在近幾十年的研究當中，圖像分割已經取得了非常大的進展。

在以往的圖像分割算法中，有基于區域顏色信息的分割[1-2]，也有基于邊緣信息的分割[3-4]，但由于利用的信息太少，都不太能達到理想的分割效果。

基于圖割的算法由于其非常巧妙地結合了區域顏色和邊緣信息而在最近成為了研究的熱點，圖割算法應用于圖像是有Greig等[5]人在1989年完成，后續的研究也有如文[6]應用于二值圖像，但其在很長時間沒有得到重視，直到本世紀初Boykov等人[7]明確了圖割算法應用于圖像上圖的定義以及權值的確定，并且在基于增廣路算法的最大流算法基礎上提出了更為高效的求解最大流的算法[8]，他們開創性的工作引發了再一次的圖割熱，基于圖割的算法層出不窮[9-10]。

Rother等人在文獻[11]中用迭代圖割算法來減少用戶交互，只需三四次迭代即能得到精確的分割結果。由于其非常耗時的缺點，后續的以迭代圖割為基礎的研究通常是在不降低分割精度的前提下來提升分割的速度，取得了比較好的效果，如文獻[12-13]把分水嶺算法過分割的缺點和圖割算法耗時的缺點結合，用分水嶺算法的結果作為圖割算法的超像素，很好地彌補了兩種方法各自的不足。文獻[14-15]結合多尺度的金字塔結構來減少圖割算法的混合高斯EM算法的數據規模，采用三到四層塔結構，正好接近于Rother等[11]人的迭代算法步驟數，在減少初始化時間的情況下，沒有降低最后的分割精度。但其采用最高像素值來抽取金字塔上層的像素不利于噪聲的去除。圖割算法應用于圖像的另一個分支這是加入形狀先驗，分割邊界除了要是梯度最大化之外還要符合形狀先驗的約束，如文獻[16-17]中的Kolmogorov等人，但是由于其能量函數不再符合文獻[18]的能求得全局最優解的要求，只能通過近似方法來求得圖像分割的邊界，往往非常耗時。

本文在前人[14-15]的基礎上采用分層的金字塔模型，在提取上層像素中采用下層對應的像素的中值，能有效地解決噪聲問題。深度信息的利用也不像Boykov等人[7]那樣采用直接合并的方法，而是引入平衡因子來決定想要利用的深度信息相對于顏色信息的重要程度，深度信息的建模采用直方圖建模，引入直方圖的目的是為了計算平衡因子的方便，而且深度信息是一維信息，直方圖建模是非常快速的。本文的基于深度圖像的分層迭代圖割方法取得的結果優于迭代圖割算法而所需的時間卻大大縮短。

2 圖割理論基礎與改進

2.1 能量函數

圖割理論應用于圖像處理，要求是交互式的圖像分割，交互式圖像分割給了用戶希望劃分的目標的先驗信息，這些先驗信息往往可以增加圖像分割的準確度，減少分割難度。用戶給定一些像素作為希望分割的目標，一些像素作為圖像的背景，把這些信息當做圖像分割的先驗信息，即硬約束。其余部分的像素就自動分割出來，只需求得符合這些硬約束的圖像分割中最優的那個分割即可。

首先定義分割為一個圖像的分割邊界，要求得到圖像的最優割，需要定義懲罰函數，懲罰函數也可稱作能量函數，最優割對應著能量函數最小值。能量函數可以分為兩個部分，一個代表割的邊界信息，叫做邊界項，另一個代表割的區域信息，叫做區域項，這兩項同時對應著圖像的軟約束和硬約束。硬約束就是用戶已經給定的先驗知識，軟約束是保證同一前景或同一背景的相鄰像素間的平滑性而引入的。

假設一幅圖像用數學表示為：oi(i=1,2,…,N)，其中oi表中圖像中的第i個像素，像素按圖像的行排列，N表示圖像中像素的個數。用li表示第i個像素所對應的標簽，li取值范圍為li∈{0,1}，通過MAP-MRF可以得到圖能量函數的表達式如下：

式（1）中能量函數E中的R(L,O)即對應了割的區域信息，而B(L)則代表了一個割的邊界信息，λ≥0為區域似然項R(L,O)相對于邊界梯度項B(L)的相對重要程度。區域項R(L,O)表示了把一個像素賦給前景或背景的懲罰。在實際的操作中，往往首先用用戶給定的硬約束，即哪些像素屬于背景，哪些像素屬于前景，根據這些像素分別建立前景和背景的概率模型，而R(L,O)就表示觀察的像素值oi與前景或背景概率模型的符合程度，如果觀察值oi與前景概率模型很相似卻給了背景的標簽則懲罰值會很大，反之則會很小。平滑項B(L)表示了一個圖像分割L的邊界性質。g(li,lj)表示了對相鄰像素oi，oj之間的不平滑的懲罰，懲罰項可以采用很多形式，比如梯度，或者是方向梯度等等[7]。

區域似然項R(L,O)是圖像中的觀察像素值與前景和背景概率模型的相似程度，在公式（2）中通過f(oi|li)可以得知給標簽li值0則表示觀察值和背景概率模型是符合的，如果給標簽li值1則表示觀察值與前景概率模型是符合的。

在Boykov等人[7]的圖割算法中利用直方圖作為概率模型，并且認為他們的方法可以推廣到N維圖像，但是事實上直方圖在對高于二維的數據進行建模時將變得非常困難，在文獻[11]中已經提到，他們在彩色圖像中采用的是混合高斯模型，并且減少了用戶的交互。本文由于引入了深度信息概率模型的選擇將對分割的有效性產生重大影響，考慮到深度信息是一維的可以采用快速的直方圖建模，顏色文理信息仍然采用混合高斯模型，兩者之間的權衡用平衡因子α來表示。假設用P(oi|F)表示前景概率模型，P(oi|B)表示背景概率模型，則根據上面描述可以定義加入深度信息的概率模型如下：

其中ci表示圖像像素的RGB觀察值，di為從圖像的深度信息，θF為前景混合高斯模型的參數，θB為背景混合高斯模型的參數，?F為前景直方圖概率模型的參數，?B為背景直方圖概率模型的參數。其中Pr(ci|θF)和Pr(oi|θB)表示的前背景混合高斯概率模型的具體公式如下：

其中zi為維度為C的單位向量，假設圖像深度信息的最大值為D，則zi中第[di·C/D]為1，表示di屬于直方圖中的哪一個類別，表示用戶標定的數據統計的直方圖類別概率，nk表示第k類的樣本個數，E為樣本總數。這樣基于深度的直方圖概率模型通過樣本概率的形式可以簡單地用數學公式表示出來。以上就是全部的概率模型公式，其中的顏色部分利用了和文獻[11]中類似的混合高斯模型，事實上他們已經通過實踐確定用直方圖來建立高維的概率模型是很難實際操作的，對于深度的建模，采用的是直方圖建模，因為混合高斯求解的時候要用到EM算法，而EM算法是循環迭代的算法，其時間復雜度較高，但是直方圖卻能在很短時間內建立一維數據的概率模型，對于深度信息的建模是非常合適的，并且在本文的方法中對于深度的直方圖建模的α的確定也是有利的，本文的α就是在直方圖概率向量的基礎上來確定的。總之，選擇直方圖來概率建模不僅耗時較少，而且有利于本文的深度信息與顏色信息之間重要性的平衡。

2.2 權值確定和圖結構

在圖割算法中，一般把圖中的每個像素看成數據結構中圖的節點，通過前面的馬爾科夫隨機場的馬爾科夫性質假設每個像素的標號只受相鄰像素的標號的影響，本文采用的是8鄰域系統，所以像素之間的邊的連接如圖1所示。

圖1 鄰域系統

在圖1的基礎上加入兩個額外的節點一個是source節點一個是terminal節點，簡稱S節點和T節點，S代表目標，T代表背景，并把圖中所有的像素節點與這兩個節點相連接。

在圖割算法的圖模型中，圖中的節點包括每個像素對應一個節點外加兩個終結節點，一個是S節點，一個是T節點，S節點又叫目標節點，找到最小割以后與S仍然相連的節點即為所要提取的目標物體，相應的T節點又叫背景節點，執行最大流算法找到最小割以后與T仍然相連的就是背景。

圖中的邊如前所述，也可以分為兩類邊，一類是n-link，為圖中相鄰像素節點之間的連接邊，一類是t-link，為像素節點與終結節點之間相連邊，圖2表述了以上的節點和邊。

圖2 圖割算法圖結構

如圖所示的兩類邊如果細分可以分為三類，一類是與S相連的t-link，一類是與T相連的t-link，這兩類邊的賦值與2.1小節的概率模型相關，采用與文獻[5]類似的log-likelihook函數，n-link采用ad-hoc函數，其中深度信息在ad-hoc中的引入也采用概率模型類似的方法，引入平衡因子α，來平衡深度信息在懲罰項中的重要性。剩下的問題將是如何確定α，由于引入了直方圖來對深度信息建模，看到由直方圖組成的概率向量能清楚地表達深度信息的分布，而這種分布之間的差異可以用向量之間的距離來表達。

圖3即為一個關于深度信息的概率直方圖，前景和背景的概率直方圖類似。給出的是前景深度的概率直方圖。

圖3 深度信息直方圖

不同的圖形即表示不同的類，柱狀的高低則表示概率大小，這樣由概率組成的向量可以完全表示直方圖的形狀，向量之間的距離可以表示直方圖之間的差異程度，而且在概率直方圖中可以直接來用于α值，即：，由如上公式可知0≤α≤1，并且α值越大則說明前背景之間的深度信息差異越大，僅僅依靠深度信息即能有效地把目標分割出來。

對于圖割來說權值確定是非常重要的，怎樣有效地利用不同的信息以及這些信息之間有效地結合在一起從而達到對圖像的有效分割，各種顏色、文理、深度以及區域邊界之間的結合和平衡的掌握對于一個圖像分割的方法來說非常重要。如前所述，已經對于兩種t-link和一種n-link的值的確定已經基本了解，t-link采用log-likelihoods函數，n-link采用ad-hoc函數，但是與S節點相連的t-link和與T節點相連的t-link都是采用log-likelihoods函數，它們的概率模型訓練的參數卻不一樣，即雖然它們有相同的概率模型，都是混合高斯模型和直方圖模型結合的概率模型，但是人為先驗卻是不同的，用戶交互時已經把需要的前景像素和背景像素基本確定，所以以兩種不同的權值來定義這兩類t-link，具體的權值如表1所示。

表1 各種邊的權值

通過α可以有效地結合顏色紋理和深度信息，使圖像在前背景顏色相似卻深度不同的情況下能有效地利用深度的不同，即α值的偏大而偏重利用深度信息，這對于自動的圖像分割是非常有效的，能自動確定圖像分割時所利用的深度信息和顏色信息的比重，從而得到精確分割。

2.3 分層求解

通過實驗發現圖割算法求解是非常緩慢的，而圖割中時間的消耗主要在于混合高斯概率模型的EM迭代算法，這種循環迭代的耗時是非常不可容忍的，因為在迭代圖割算法中前幾輪迭代中用戶給出的前景信息大概只是包括了前景信息，同時也包含了背景的信息，同時前幾輪的分割也沒有達到精確的分割，分割的目的是在最后一步分割中得到理想的分割要求，了解到這樣后，由于通過大量實驗絕大部分情況下，圖割算法只需迭代三到四輪后就可以得到用戶理想的要求，很多國內學者了解到此種情況后，紛紛用多尺度的方法來加快EM概率建模的過程，把圖像金字塔建立三四層高度使得和迭代圖割算法的迭代次數相當的情況下，可以有效地減少得到理想圖割效果的時間，并且不降低分割的精度，這是肯定的，因為既然圖割算法的大部分時間花在概率建模上，在初始的階段又不需要精確的概率模型。通過多尺度來降低建模的樣本數量當然可以有效地減少分割所消耗的時間。

如文獻[14-15]就是通過多尺度來研究迭代圖割加快算法的一個例子，他們通過取四鄰域中的最大值作為圖像金字塔上層的像素來對上層進行概率建模，這種取最大值的方法對于圖像有噪聲的情況下是非常不利的，他們的分割加快算法明顯忽視了圖像噪聲的情況，并且對于沒有噪聲的情況下，去最大值也是很牽強的。本文采用了多尺度的思想，但是幅度更大，不是通過四鄰域來對圖像像素進行抽取，而是通過四領域，這種大幅度的抽取過程可以通過桶排序來有效地抽取典型樣本，從而有效地避免噪聲點和不重要的樣本點，另一層原因是在深度信息往往含有很多噪聲點，這些點的深度信息由于透明或者別的什么原因而無法獲取，如果利用去掉最大和最小的顏色和深度都典型的樣本點，然后用樣本點的深度信息，來對那些無法獲取深度信息的噪聲點的信息進行替換，則可以取得一舉兩得的好處。通過對小樣本的一遍掃描即可排除那些噪聲點也不會對分割時間產生很大的影響，消耗時間和文獻[14]是一樣的。文獻[16-17]中的分水嶺算法在分水嶺的過分割的基礎上，把分水嶺的分割結果當做圖割算法的超像素，雖然也能做圖像分割，但是分水嶺方法無法適用于深度圖像。

本文采用2×2小塊作為上層圖像像素的抽取單位，通過找出2×2像素中顏色絕對值和最大和最小的像素點，并且找到深度信息最大和最小的像素點，排除這些像素點后，如果剩余的點還有，則用剩余的點代表這4個點，如果沒有剩余的點，則忽略深度信息的最大和最小點，用顏色信息所剩余的兩個點作為抽樣點來進行上層圖像的搭建，通過此方法得到的樣本像素點可以充分代表圖像的本質信息而不會受噪聲點以及深度信息無法獲取的點的影響。

2.4 能量最小化

對于圖割算法來說，最重要的就是圖結構以及圖中邊權值的確定，求解可以采用最大流/最小割算法。文獻[8]對于圖割算法求解的最大流/最小割算法進行了實驗性的研究，發明了一種雖然在理論上時間復雜度比一般最大流算法的時間復雜度O(ne2)高的算法，它的理論最大復雜度為O(|c|ne2)，其中|c|為割的數量，但在實際的實驗過程中由于圖割算法圖的特殊性，導致這個算法可以比一般的算法節省幾倍的時間，它是通過在圖的兩端構建樹并擴展和領養孤兒節點來增加圖中的通路，并最終求得最大流。本文采用了文獻[8]類似的方法來求解最大流。

3 改進圖割實施流程

本文的方法是融合深度的分層圖割算法研究，此算法的精髓在于用直方圖來對深度信息建模，并且引入平衡因子α來對圖像的顏色紋理信息和深度信息之間的協調因子，當前景和背景的深度信息相差明顯時，α因子就接近于1，也就是說僅僅依靠深度信息就能夠很好地分割出圖像中的目標，當前景和背景的深度信息相差不大時，α接近于0時，就利用顏色和紋理信息來對圖像進行分割。除了引入深度信息，對于分層的引入也能夠加快圖割算法的步驟，因為如文獻[11]中所述圖割只有在最后一次循環時才得到精確的分割結果，所以前幾次的前景和背景的分層提取并不影響最終的分割結構。

下面詳細闡述算法的總體流程，首先的第一步是用戶用鼠標拖出一個矩形框，在矩形框中的像素為可能前景，但是在概率建模的時候先當這個矩形框內的為前景，至少它包含了前景的像素，在循環迭代的過程中，一次一次地以上一次的分割結果作為下一次的概率建模依據就能逐漸接近于用戶想要的概率模型。在矩形框外的就是絕對背景用它作為背景概率建模的樣本數據。以用戶的矩形和圖像作為本算法的輸入，接下去就是執行本算法，算法的第一個基本初始化工作時建立三層金字塔，以2×2為提取像素的基本單位，在源圖像的基礎上以2×2為單位提取這當中的樣本像素，掃描這4個像素找出其中的顏色絕對值最大的和最小的像素，并且同時掃描深度圖像也找出深度的最大值和最小值，在去除這四個像素的基礎上，用隨機算法在剩下的像素中隨機選擇一個像素用作多尺度圖像分割上層的概率建模樣本，同理可以在提取一次建立三層的圖像金字塔。當這些初始化工作做好之后，在最上層用EM算法對顏色進行混合高斯建模，并通過一遍掃描深度圖建立深度信息直方圖，即概率向量，再同時結合用戶給定的矩形框，當然在金字塔上層時矩形框也要相應的縮小，建立前景概率模型和背景概率模型，用得到的概率模型結合表1建立起圖割算法的圖結構，建立圖結構時是用原始圖像來建立的，也就是說執行最大流算法時在原圖上進行，在第二次迭代中通過第一次得到的分割結果，再通過2×2的樣本抽取方法，在圖像金字塔的中間層建立起概率模型，再在原始圖像上通過重新建立起來的圖結果執行最大流算法得到分割結果，最后就一直在原始的圖像上建立概率模型和執行最大流算法分割。雖然只進行了3層的多尺度的結合，但是對于迭代圖割算法的結合是非常到位的，因為通過大量實驗得到在大部分的情況下，圖割的執行基本上3～4次就能得到理想的分割效果，下面以更加簡潔的語言及步驟來解釋本文算法的流程：

（1）對于圖像像素，用戶通過框定矩形得到圖像的可能前景和絕對背景。

（2）通過2×2的樣本抽樣建立起三層的圖像金子塔，抽取方法如上所述，去掉極端值隨機選擇算法。

（3）在最上層圖像上進行EM混合高斯和直方圖概率建模得到前景和背景的概率模型，概率模型公式如下：

（4）建立圖割圖結構執行最大流改進算法。

（5）執行邊界映射到第二層繼續概率建模。

（6）建立圖割圖結構執行最大流改進算法。

（7）分割結構在原圖上建立概率模型。

（8）執行步驟（6）直到分割滿意為止。

以上就是本文提到的深度圖像分層分割的全部算法流程，其優點在于利用直方圖來對深度信息建模，并通過引入平衡因子α來對顏色紋理信息和深度信息之間進行自動的取舍，并用分層提取的方法避免噪聲和有效地加快圖割算法的執行時間。在前人研究的基礎上可以說做了很大的改進，改進的方式在于引入了深度信息，可以利用更多的信息來進行圖像分割后，怎樣平衡這引入的信息和原來信息之間的重要性程度將是非常關鍵的，在以往的前人的研究中都只是單純當做新的一維的信息而加入到混合高斯模型中去建立四維的混合高斯模型，這種不加區分的加入雖然也能取得一定的效果，通過引入平衡因子則更加有效。下面將給出本文方法的實驗結果和對實驗結果的分析。

4 實驗結果與分析

利用本文算法來對圖像進行分割，在時間和分割進度上來對標準的圖割算法進行對比，在分割精度基本不變的情況下大大縮短了分割所需的時間，并且可以在顏色信息無法正確區分的情況下依然對圖像進行正確的分割。

由于本算法實行的是深度圖像的分割，而一些圖割算法的標準圖沒有深度信息，所以本文采用隨機生成灰度圖的方法來自動生成深度信息來對標準圖形進行分割，由于是隨機生成的，所以前景和背景的深度信息直方圖即概率向量基本相同，這導致平衡參數α非常小，所以本質上來說主要看的還是顏色紋理信息，并不影響分割精度，接下去就把這種用自動生成的深度圖的方法應用于圖割算法的標準圖中來對耗時和分割結果進行對比，目標是在耗時下降的情況下，分割的精度上卻沒有下降。

有圖可知，在圖4（a）的原始圖像輸入和用戶矩形輸入的情況下，本文的算法可以建立起圖像金字塔模型，每層圖像都是前一次的分割結果的輸入，第一次的輸入是用戶輸入的矩形，由圖4（b）可知圖像的概率模型是在圖像金字塔基礎之上的，每次的分割結果都用黑線來表示，在黑線內部為用作前景概率建模的像素樣本，在黑線以外的是用作背景概率建模的像素樣本，由于深度信息采用的是隨機生成的灰度圖，實驗得到的三次結果的α都很小，每一次α≤0.01基本不起什么作用，所以可以看出基本還是顏色的混合高斯模型在起作用，但是時間卻大大縮短，下面給出三次迭代的時間消耗比。

圖4 算法精度對比

由圖5和表2可知算法在前面階段上的耗時減少了將近一半，在總體上的算法執行時間也節約了30%，但是圖像分割最后的精度卻沒有受到任何影響。

圖5 算法時間對比

表2 算法耗時比

下面再用真正的深度圖像來作為算法輸入，比較兩算法的性能。

圖6 （a）RGB圖像

圖6 （b）深度圖像

圖7 深度圖像分割結果比較

圖7左邊為迭代圖割算法的分割結果（深度信息單純作為第四維信息）右邊為算法分割結果由實驗結果發現此時的深度信息在實驗過程中將起決定性作用，事實也是這樣通過追蹤α的值可知，在三次迭代中α的值都大于0.7由此可知完全可有深度信息作為圖像分割的依據，由圖7可知單純把深度作為第四維信息加入到混合高斯建模中是行不通的，這樣完全不知道深度信息的重要性。通過實驗得知算法可以自動判斷深度信息的重要程度，從而來對深度圖像進行正確分割，在深度信息明顯時利用深度信息，在深度信息不明顯時則利用顏色信息來對圖像進行分割。

5 結論

雖然本文改進了迭代圖割算法的執行效率，對深度圖像的深度信息進行了有效的利用，但是本文的方法也有很大的局限性，且并沒有確切給出σ的計算公式，在迭代圖割算法中利用了矩陣來求σ的值，本文也只是在其中加入深度信息，單純地利用四維矩陣求出了σ的值，在以后的研究中，將對這里做改進，以期能更好地理解圖割算法的意義和圖割算法的性能。

[1]Reese L J.Intelligent paint：Region-based interactive image segmentation[D].Brigham Young University，1999.

[2]Najman L，Couprie M，Bertrand G.Watersheds，mosaics，and the emergence paradigm[J].Discrete Applied Mathematics，2005，147（2/3）：301-324.

[3]Mortensen E N，Barrett W A.Interactive segmentation with intelligent scissors[J].Graphical Models and Image Processing，1998，60：349-384.

[4]Lindeberg T，Li M X.Segmentation and classification of edges using minimum description length approximation andcomplementaryjunctioncues[J].ComputerVision and Image Understanding，1997，67（1）：88-98.

[5]Greig M D，Porteous B T，Seheult H A.Exact maximum a posteriori estimationfor binaryimages[J].Journal of the Royal Statistical Society，1989，51（2）：271-279.

[6]Shi J，Malik J.Normalized cuts and image segmentation[C]// CVPR，1997：731-737.

[7]Boykov Y，Jolly M.Interactive graph cuts for optimal boundary ®ion segmentation of objects in N-D images[C]//ICCV，2001.

[8]Boykov Y，Kolmogorov V.An experimental comparison of min-cut/max-flow algorithms for energy minimization in vision[C]//EMMCVPR，2001.

[9]Delong A，Veksler O，Boykov Y.Recursive MDL via graph cuts：Application to segmentation[C]//ICCV，2011：890-897.

[10]Jegelka S，Bilmes J.Submodularity beyound submodular energies：Coupling edges in graph[C]//CVPR，2011：1897-1904.

[11]Rother C，Kolmogorov V，Black A.GrabCut：Interactive foreground extraction using iterated graph cuts[J].ACM Trans on Graphics，2004，23（3）：309-314.

[12]劉榮，彭艷敏.基于分水嶺與圖割的自動分割方法[J].北京航空航天大學學報，2012，38（5）.

[13]Couprie C，Grady L，Najman L，et al.Power watershed：a new image segmentation framework extending graph cuts，random walker and optimal spanning forest[C]//ICCV，2009.

[14]徐秋平，郭敏，王亞榮.基于多尺度分析與圖割的快速圖像分割算法[J].計算機應用研究，2009，26（10）.

[15]Li Y，SunJ，TangCK，etal.A multilevelbanded graphcutsmethodforfastimagesegmentation[C]// Proc of ICCV，2005：259-265.

[16]Vicente S，Kolmogorov V，Rother C.Graph cut based image segmentation with conectivity priors[C]//CVPR，2008.

[17]Vicente S，Kolmogorov V，Rother C.Joint optimization of segmentation and appearance models[C]//ICCV，2009.

[18]Rother C，Kolmogorov V，Boykov Y，et al.Interactive Foreground Extraction using graph cut[R].Microsoft Technical Report，2011.

YU Jiangming,ZHAO Jieyu,WANG Guofeng

1.Research Institute of Information Science and Technology,Ningbo University,Ningbo,Zhejiang 315211,China
2.Zhejiang Provincial Welfare Lottery Center,Hangzhou 310000,China

Based on the iterative graph cut method,this paper uses image pyramid to accelerate the speed of segmentation and introduces a balance factor to determine the significance between the color and depth information.This method can segment the depth image easily and precisely with the pyramid and the balance factor.The balance factor is the measure of the discrimination for the color and depth information.If the depth information is sufficient to distinguish the object from the background,then the depth information plays a more important role in the segmentation process,otherwise the color information takes more important role.By using the image pyramid our method can interact with the iterative graph cuts and greatly reduces the processing time without influencing the segmentation precision.

iterative graph cuts;balance factor;Gaussian mixture;depth histogram

以深度圖像為分割對象，在迭代圖割算法的基礎上，通過引入分層機制加快圖割執行速度，并通過引入平衡因子來平衡顏色紋理和深度之間的重要程度，從而有效地對深度圖像進行分割。利用平衡因子可以在深度信息能夠明顯區分前背景的情況下，重點利用深度信息來分割圖像，反之則重點利用顏色和紋理信息。而在迭代圖割算法中，分層機制的引入能夠在不降低分割精度的情況下有效地減少圖割算法的執行時間。

迭代圖割；平衡因子；混合高斯；深度直方圖

A

TP393

10.3778/j.issn.1002-8331.1212-0363

YU Jiangming,ZHAO Jieyu,WANG Guofeng.Depth image segmentation using layered graph cuts.Computer Engineering and Applications,2014,50（22）：183-188.

國家自然科學基金（No.61175026）；浙江省自然科學基金重大項目（No.D1080807）；國家國際科技合作項目（No.S2013GR0113）。

俞江明（1987—），男，碩士研究生，主要研究領域為圖形圖像處理，模式識別；趙杰煜（1965—），男，博士，教授，主要研究領域為圖形圖像處理；汪國鋒（1971—），男，工程師，主要研究領域為計算機網絡和數據庫。E-mail：yjm_luohua@sina.com

2012-12-30

2013-03-04

1002-8331（2014）22-0183-06

CNKI網絡優先出版：2013-03-29,http://www.cnki.net/kcms/detail/11.2127.TP.20130329.1540.002.html