梯度約束SLIC的快速視頻目標提取方法*

桂 彥，湯 問，曾 光

1.長沙理工大學 計算機與通信工程學院，長沙 410114

2.長沙理工大學 綜合交通運輸大數據智能處理湖南省重點實驗室，長沙 410114

1 引言

視頻目標提取是將視頻中用戶感興趣的物體（即視頻目標）從視頻的其他部分（即背景）中分離開，已提取的視頻目標可應用于影視后期制作、運動識別、三維建模、虛擬現實和語義分割等領域。交互式的有監督視頻目標提取是目前用于解決該類問題的主要方法，可分為基于傳播框架的視頻目標提取[1-4]和基于圖切割的視頻目標提取[5-10]兩大類。現有基于圖切割的視頻目標提取方法允許用戶交互修正提取結果，可操作性強，且在時間效率和提取精度上是令人滿意的。因此，本文側重于研究基于圖切割的視頻目標提取方法。

由于視頻具有數據量大的特點，直接基于像素級構建的三維無向圖的結點和邊的數量都異常巨大，這將導致視頻目標提取的效率大大降低。為提高效率，現有方法通常采用分水嶺算法[11]、均值位移算法[12]、超像素分割方法[13]等對視頻幀進行預處理，并將視頻目標提取建立在視頻幀的過分割（oversegmentation）結果基礎上，這有效地減少了計算代價。然而，在處理復雜自然視頻時，如視頻中包含顏色相近似的視頻目標和背景區域、視頻目標邊界模糊、光照變化和陰影等。上述預處理方法的效果并不理想，這容易產生錯誤的視頻目標提取結果。另一方面，基于圖切割的視頻目標提取方法通常采用光流法[14]估計視頻目標的運動。然而，若視頻片段中存在多光源、噪聲干擾、視頻目標劇烈運動等情況，現有光流算法[14]難以準確地跟蹤視頻目標，這會破壞視頻目標在視頻幀間的時空一致性，從而導致視頻目標提取結果中出現部分殘缺等瑕疵。因此，如何確保視頻目標提取結果的時空一致性是亟待解決的關鍵問題。

本文提出了一種基于梯度約束SLIC的快速視頻目標提取方法。首先，通過利用梯度約束SLIC算法對所有視頻幀進行預處理；然后，在視頻預處理結果上構建三維無向圖，并進一步優化圖割模型，以最終實現快速且高質量的視頻目標提取。本文方法在segtrack數據集、youtube-objects數據集上進行了相關實驗，并對比了經典的視頻目標提取方法。實驗結果表明，本文方法通過利用改進的超像素分割方法，改善了視頻預處理效果的同時有助于進一步加快視頻目標提取方法的運算效率。本文方法通過引入保持視頻目標時空一致性的高階項，從而極大地改善了視頻目標提取的質量。

2 相關工作

視頻目標提取一直是計算機視覺領域的一個研究熱點及難點問題。Bai等人[1]提出了一種基于測地線框架的視頻目標提取方法，用以有效避免運動背景的干擾。為改善提取質量，Bai等人[2]提出了一種基于局部分類器的視頻目標提取方法，該方法通過在第一視頻幀的視頻目標邊界上設置一系列重疊的局部分類器，用以向后續視頻幀傳遞視頻目標的邊界信息。Zhong等人[3]對定向局部分類器進行改進，解決了視頻目標因運動劇烈造成的時空不連續性問題。考慮到視頻目標和背景通常具有不同的運動特征，Fan等人[4]提出了一種基于掩膜圖傳播以及雙向運動插值的視頻目標提取方法。該方法通過分別對齊視頻目標和背景，并使用兩個分離的最近鄰域（split nearest-neighbor fields）分別跟蹤視頻目標和背景區域。上述這些基于傳播框架的視頻目標提取方法在提取視頻目標時，通常需要借助局部分類器跟蹤局部視頻目標區域，因而，用戶需要消耗大量時間進行局部分類器的部署以及各分類器的訓練。為獲得理想的視頻目標提取結果，用戶需要對第一視頻幀的前景目標進行精確提取，以及用戶需要對錯誤的視頻目標提取結果不斷進行交互修正。因此，相對于基于框架傳播的視頻目標提取方法，快速提取高質量的視頻目標更適合采用基于圖切割的視頻目標提取方法進行解決。

在對基于圖切割的視頻目標提取方法的研究中，Li等人[5]提出了一種基于三維圖切割（3D graph cut）的視頻目標提取方法。該方法采用分水嶺方法[11]對視頻進行預分割；通過增加跨時空域的基于顏色特征度量的能量項，可在連續的關鍵幀對中運用三維圖切割方法進行視頻目標提取。Wang等人[6]提出了一套交互式視頻目標提取系統。首先，該方法通過采用均值位移（mean-shift）算法[12]對視頻進行層次化分解；然后，在現有的圖割模型中引入了新的局部能量項，這有助于從背景中分離視頻目標。然而，該方法不能很好地處理視頻目標遮擋的情況。Huang等人[7]提出了一種新的基于超圖（hypergraph）的視頻目標提取方法。該方法將視頻目標提取問題轉化為關于超圖內所有超邊的標簽分配問題。此外，該方法需要采用基于光譜的多尺度圖像分割方法[15]對所有視頻幀進行預處理。Tong等人[8]提出了一種漸進式視頻目標提取方法，該方法根據用戶的交互不斷將交互結果傳遞至后續視頻幀，以及該方法通過采用三維多層窄帶圖割策略加快了視頻目標提取的效率。Zhang等人[9]提出了一種基于跨時空域的視頻目標提取方法，這使得該方法在少量用戶交互輸入下適用于同時提取視頻中多個重復場景目標。為提高運算效率，上述這些方法分別采用分水嶺算法、均值位移算法等預處理視頻數據。然而，由分水嶺算法得到的結果存在嚴重的過分割現象，且運算效率較低；而使用均值位移算法生成的子塊區域非常不規則，這些都會影響后續視頻目標提取方法的質量和效率。

Ren等人[13]首次提出了超像素分割方法。使用超像素分割方法生成的超像素在良好保持圖像局部特征的同時，還能夠有效地表達目標區域的邊界信息。因此，相較于分水嶺、均值位移等圖像過分割算法，超像素分割方法更適用于視頻數據的預處理。而在視頻目標提取方法中，如果使用超像素替代像素點構建三維無向圖，則圖中的結點和邊的數量都會明顯減少，這有助于提高后續視頻目標提取的效率。其中，為增強不同視頻幀間視頻目標區域的連通關系，Grundmann等人[16]提出了一種層次化的視頻目標提取方法，該方法根據視頻預處理結果生產的子塊區域構建不同階層的區域圖，從而可采用基于最小生成樹的方法進行視頻目標提取。此外，該方法利用光流法估計視頻目標在下一視頻幀的大致位置，以此作為視頻目標的位置先驗信息，并用于后續的視頻目標提取。Papazoglou等人[17]提出了一種快速且全自動的視頻目標提取方法。該方法利用Turbopixel算法[18]對視頻片段進行預處理，且利用光流算法對視頻目標在視頻中的位置進行粗略估計，由此，該方法可借助動態更新的外觀模型與位置先驗修正粗略的視頻提取結果。Jain等人[19]提出了一種基于超體素的半監督視頻目標提取方法。該方法首先將連續視頻幀內的超像素聚合成三維超體素，然后通過同時度量超體素內超像素之間的外觀相似性和運動相似性以建立連通關系，這能夠準確地將視頻目標的邊界信息傳遞給后續視頻幀。Giordano等人[20]提出的視頻目標提取方法適用于提取具有復雜場景的視頻片段中的一個或多個視頻目標。該方法采用SLIC算法[21]對視頻片段進行預處理，且利用基于外觀和視覺組織的先驗信息優化能量函數，從而通過最小化能量函數實現視頻目標提取。Tsai等人[22]提出了一種同時估計光流和分割視頻目標的方法，在預處理視頻幀基礎上，該方法迭代地優化估計的光流并以此更新視頻目標分割結果。

雖然上述基于超像素級的視頻目標提取方法均借助了超像素分割方法提高運算效率，但超像素分割方法的分割質量與運算效率相互制約，而這會直接影響視頻目標提取方法的提取質量與運算效率。現有光流算法不能魯棒地估計復雜自然視頻中目標的運動信息，而錯誤的視頻目標運動信息會導致視頻目標提取結果的時空不一致性。針對以上問題，本文采用改進后的SLIC超像素分割方法對所有視頻幀進行預處理，且通過結合外觀特征與運動特征構建魯棒的相似外觀度量機制，同時引入基于超像素的高階項，以獲得理想的視頻目標提取結果。

3 基于梯度約束SLIC快速視頻目標提取

3.1 算法概述

本文提出的基于梯度約束SLIC的視頻目標提取方法的總體框架如圖1所示，主要包括視頻預處理、三維無向圖的構建和視頻目標提取三個階段。在視頻預處理階段中，在所選視頻關鍵幀上分別標記視頻目標和背景區域；同時，通過使用梯度約束SLIC算法對所有視頻幀進行預處理，此時，每一視頻幀的過分割結果中超像素數量是相同的。在三維無向圖的構建階段中，主要是以視頻片段中的所有超像素作為三維無向圖的結點，以及超像素之間的空間和時間鄰接關系就是三維無向圖中連接結點對之間的邊。而在視頻目標提取階段中，本文根據構建的三維無向圖進一步改進基于馬爾科夫隨機場的能量函數[23]，其關鍵在于結合外觀特征和運動特征重定義能量函數中的平滑項，以進行更準確的外觀相似性度量；并在此基礎上引入高階項以保持視頻目標提取結果的時空一致性。最后，本文方法采用最大流/最小割算法最小化能量函數，通過獲得全局最優解以實現快速且高質量的視頻目標提取。

3.2 基于梯度約束SLIC的視頻預處理

由于采用原SLIC算法[21]預處理視頻幀時較大程度上受緊密度值的影響，為獲取理想的視頻預處理結果，用戶則需要逐視頻幀設置合適的緊密度值，這增加了視頻預處理的時間消耗。本文通過在原SLIC算法中引入梯度約束項以進一步優化像素聚類過程，即根據局部區域的顏色特征和梯度，對相應超像素的邊緣進行修正，使其更貼近實際輪廓。采用本文改進的超像素分割方法對視頻幀進行預處理的步驟如下：

步驟1初始化聚類中心。在每一視頻幀上（圖2（a）），以為步長柵格化視頻幀且初始化K個聚類中心φj={φ1，φ2，…，φK}（圖2（b）），每個聚類中心擁有唯一的標簽。其中，N為視頻幀的總像素數目；K為用戶指定的超像素數目。

步驟2重置聚類中心。對于每一聚類中心φj，在其3×3的鄰域內將其重置為φj′，該重置聚類中心為該鄰域內具有最小梯度的像素點的坐標位置（圖2（c））。

Fig.1 Algorithm flow chart for gradient-constrained SLIC based video object segmentation圖1 基于梯度約束的SLIC視頻目標提取算法流程圖

步驟3像素聚類。對于視頻幀上每一個像素點i，通過為像素點i賦予與其特征距離D(i，j)最近的重置聚類中心φj′的標簽，從而實現像素聚類。為得到更加精確的像素聚類結果，本文在原特征距離的定義中引入了梯度約束項dt，這有助于根據梯度修正超像素的邊緣和形狀，從而提高超像素分割的精確度。基于梯度約束項的特征距離定義如下：

Fig.2 Video frame preprocessing圖2 視頻幀預處理

其中，dg(i，j)=?i?cosθ為超像素邊緣上的所有像素點的約束力，其中?i為像素點i的梯度；θ為像素點i的梯度方向與其至重置聚類中心φj′方向的夾角；E(i)=dse-?i/α用于調整像素點i到聚類中心φj′的特征距離，以控制生成的超像素的形狀：若像素點i到聚類中心φj′的歐氏距離ds越小，則E(i)取值偏小，算法傾向于為像素點i分配重置聚類中心φj′的標簽；反之，則傾向于分配匹配聚類中心的標簽；α和λt為常數項，本文在所有實驗中分別取α=15和λt=0.5。引入梯度約束項dt的主要作用是提高各超像素的邊緣與實際輪廓的貼合度，且確保超像素的緊密度，以改善超像素分割方法的分割質量，這有助于提高后續視頻目標提取的準確率。

步驟4迭代優化聚類結果。在上述像素聚類結果中，本文使用Sigma濾波[24]消除孤立的噪聲點，這是為了避免超像素結果中出現顆粒狀區域。在本文提供的所有視頻預處理結果中，改進的視頻預處理方法在迭代5次后即可取得理想的超像素分割結果，因此本文設置達到最大迭代次數（=5次）為像素聚類迭代過程的終止條件。

3.3 三維無向圖的構建

在對所有視頻幀進行預處理之后，本文將待分割的視頻段構建為三維無向圖G=(ν，ε)，用于表達視頻片段中超像素間的連通關系。其中，結點集ν包含預處理視頻片段后生成的所有超像素；邊集ε包含連接直接相鄰結點對的邊集εI，以及連接不直接相鄰但具有相似外觀特征的結點對的邊集εT，且其中的每一條邊都有對應的權值。另外，每個結點都與虛擬的兩個終端結點S和T建立連接邊。

直接相鄰的邊集εI（圖3中紅色的邊）由連接同一視頻幀中直接相鄰兩個結點之間的邊和連接前后兩視頻幀中空間位置相鄰的兩個結點間的邊組成。本文結合像素覆蓋率和中心坐標間的空間距離度量前后視頻幀中相鄰結點對的鄰接關系：給定兩個結點p∈fi和q∈{fi-1，fi+1}，若這兩個結點對應超像素的中心坐標距離小于用戶指定的閾值，則建立連接邊＜p，q＞∈εI。其中，N為當前視頻幀包含的超像素個數，K為當前視頻幀的總像素數目。為構建具有相似運動特征的邊集εT，本文需要確定同一視頻幀或不同視頻幀（圖3中藍色的邊）中不直接相鄰但具有一定相似特征的結點對的鄰接關系：若兩個結點p和q對應超像素的中心坐標距離大于閾值R且運動特征相近似，則建立連接邊＜p，q＞∈εT，其中基于運動特征的相似性度量將在后續式（6）中進行詳細說明。通過確定各結點對之間的連通關系后，本文在兩關鍵視頻幀之間構建三維無向圖，如圖3所示。

3.4 快速視頻目標提取

在此基礎上，本文將視頻目標提取問題轉換為三維無向圖G的最優二值標簽分配問題，即通過利用最大流/最小割算法最小化能量函數E(l)，可為每一個結點分配唯一的標簽l∈{0,1}，從而確定每一結點是屬于視頻目標區域（l=0）或是屬于背景區域（l=1）。需要指出的是，已被用戶標記覆蓋的結點具有絕對的標簽值。根據構建的三維無向圖G，基于馬爾科夫隨機場的能量函數E(l)定義如下：

其中，Dp(lp)為數據項，用于計算結點p分配標簽lp∈{0，1}時的能量懲罰；Vp，q(lp，lq)為基于外觀特征的平滑項，用于度量直接相鄰的結點在分配不同標簽時的能量懲罰；Up，q(lp，lq)為時空平滑項，用于度量不直接相鄰但具有一定相似運動特征的結點在分配不同標簽時的能量懲罰；Hυ(lυ)為高階項，用于增強連續視頻幀中超像素之間的連通關系，其中，υ是由視頻片段中具有較強時空一致性的超像素組成的超像素集；X為整個視頻片段中所有超像素集的集合。對于數據項Dp(lp)的計算，根據用戶在關鍵幀上的交互輸入，采用高斯混合模型（Gaussian mixture models，GMMs）[25]分別估計視頻目標和背景的顏色模型，以計算任一結點屬于視頻目標或背景的可能性。其中，前景和背景高斯混合模型均由5個單高斯分布組成。如下，本文將詳細闡述其他各能量項的定義。

平滑項Vp，q(lp，lq)：當視頻中的前景目標和背景的顏色相近似時，單一的顏色特征并不能準確度量前景目標與背景的差異。由此，本文通過結合顏色特征與紋理特征度量直接相鄰兩結點之間的外觀相似程度，平滑項Vp，q(lp，lq)的具體定義如下：

其中，β為常數項，用于控制結點之間在分配不同標簽時的外觀差異容限；δ(p，q)用于度量直接相鄰結點p和q之間的外觀差異，其中，‖Zp-Zq‖和 ‖Tp-Tq‖分別用于度量相鄰結點p和q在顏色特征和紋理特征上的差異。本文采用Gabor濾波[26]進行紋理特征提取，提取的紋理特征向量Tp是由m個尺度和n個方向（通常取m=4，n=6）上的均值μm，n和標準差σm，n組成的特征向量。值得注意的是，本文取每個超像素聚類中心的區域內的平均Gabor特征向量作為結點p的紋理特征，其中S為預處理方法中聚類中心φj之間的步長；λ為調節顏色特征與紋理特征比重的參數。另外，顏色特征與紋理特征都是歸一化的。由平滑項Vp，q(lp，lq)計算得到的能量懲罰對應圖3中標記了紅色的邊的權值。

時空平滑項Up，q(lp，lq)：本文采用光流法跟蹤前景目標在視頻片段中的運動軌跡，然而，當視頻中存在目標劇烈運動、非剛體運動以及光照變換等不利因素時，不穩定的光流估計會影響視頻目標提取結果的質量。由此，本文結合顏色特征與運動特征定義時空平滑項：

其中，?(p，q)用于度量時空結點對的外觀相似程度；fp和fq為結點p和q對應的光流向量。φθp，q為光流向量fp與fq之間夾角的余弦值；λ為常數項，用于平衡顏色特征和運動特征之間的重要程度。此外，為確保準確跟蹤視頻目標，本文計算光流向量fp與fq的置信度，并剔除閾值外的不可靠的光流。置信度定義如下：

高階項Hυ(lυ)：在能量函數E(l)中，兩平滑項Vp，q(lp，lq)和Up，q(lp，lq)的主要作用是保持提取結果中視頻目標的時空一致性。然而，時空平滑項Up，q(lp，lq)很大程度上依賴于準確的光流估計，因此上述兩平滑項僅能保持提取結果中相鄰視頻幀中前景目標的時空一致性。由于視頻目標內局部區域之間的運動特征往往存在較大差異，這將導致錯誤的標簽分配，從而容易產生視頻目標殘缺等不理想的提取結果。為增強視頻目標區域的連通關系，文獻[19]在能量公式中引入高階項以實現高質量的視頻目標提取。該方法中定義的高階項是建立在利用文獻[15]生成的超體素的基礎上的，且超體素內部的結點之間的連通關系是相對固定的。然而，在處理復雜場景的視頻片段時，利用文獻[15]生成的超體素中往往會出現視頻目標區域和背景區域劃分為同一個超體素的情況，此時，文獻[19]中定義的高階項將無法用于修正上述的錯誤結果。在本文中，通過度量用戶標記的超像素與跨時空鄰域的超像素在運動特征以及位置上的差異，在無向圖中建立連接具有較強連通關系的超像素的邊，以此形成跨時空的超像素集υ。具體地，對于關鍵幀fi上用戶標記為視頻目標/背景的超像素plp=0/1，若其他視頻幀中存在超像素qlq=0/1，且與已標記超像素plp=0/1的中心坐標距離和對應光流向量的夾角均小于用戶給定的閾值，則判定超像素plp=0/1與超像素qlq=0/1具有較強的連通關系，且認為其是屬于視頻目標/背景的超像素集υl=0/1的。高階項Hυ(lυ)定義如下：

其中，N(lυ)表示超像素集υ內具有“弱勢”標簽的超像素的個數。若超像素集內100個超像素中有94個超像素的標簽為“0”，6個超像素的標簽為“1”，則標簽為“1”的超像素處于“弱勢”。此時，對應的N(lυ)取值為6。J為用戶設置的截斷參數，主要用于調整超像素集υ內超像素間的連通關系。Uυ為將超像素集υ中所有超像素劃分為視頻目標或背景的能量懲罰總和。相對于文獻[17]，本文通過為連續視頻幀中具有較強連通關系的視頻目標區域賦予高階項Hυ(lυ)，這能夠減少這些區域在最小化能量函數時所需的能量懲罰，從而確保它們在視頻目標提取結果中的時空一致性。因此，這一定程度上避免了視頻目標提取結果中出現前景目標殘缺等瑕疵。

4 實驗結果分析與討論

本文方法是在2.5 GHz處理器、8 GB內存的PC機上使用VS和OpenCV等開發工具實現的。為驗證本文方法的實用性與高效性，本文在Segtrack數據集和Youtube-objects數據集上進行了大量相關實驗驗證，并從提取質量和時間效率兩方面對比了現有經典的視頻目標提取方法。另外，選取視頻素材進行實驗時充分考慮攝像機是否固定以及背景是否變化等情況，從而確保獲得的實驗結果能夠在質量與效率上客觀評價本文方法。

4.1 視頻預處理

圖4給出了本文改進的SLIC算法與原SLIC算法[21]在MSRA10K_Imgs_GT公共數據集（圖4（a）和圖4（b））和video Segmentation Data公共數據集（圖4（c）和圖4（d））上的實驗對比。其中，第一行給出的待處理的視頻幀具有光照變換明顯、前景目標形態不規則且內部區域顏色分布復雜等特點。第二行是使用原SLIC算法得到的視頻幀的超像素分割結果，這些超像素結果中出現了多種顏色信息（圖4（a））、邊緣過于鋸齒化（圖4（b））、超像素包含超像素（圖4（c））和形狀不規則（圖4（d））等瑕疵。這是由于原SLIC算法直接在聚類中心的鄰域內進行k-means聚類，沒有對超像素的輪廓進行約束，這容易生成形狀不規則的超像素；且k-means聚類算法對異常值較為敏感，這將使得聚類過程結束后產生孤立的噪聲點。如圖4第三行所示，本文改進后的SLIC算法能夠獲得較好的超像素分割結果，其關鍵是在像素聚類過程中引入了梯度約束項，這不僅能夠使超像素的輪廓更貼近實際目標的邊緣，還能夠使得生成的超像素的形狀更加均勻。同時，在每次像素聚類迭代后，本文使用Sigma濾波器去除噪聲點以進一步改善超像素分割結果的質量。

圖5給出了與視頻預處理方法的實驗結果對比。對于處理具有復雜形狀的前景目標（圖5（a）第一行），使用分水嶺算法獲得的實驗結果中存在嚴重的過分割現象（圖5（b）第一行）；而在采用均值位移算法獲得的實驗結果中，圖像子塊區域形狀、面積差異過大（圖5（c）第一行），這兩種方法均無法獲得理想的視頻幀預處理結果。而超像素分割方法旨在于生成形狀趨于均勻且能夠保留一定圖像局部特征的超像素，因此有效避免了上述兩種方法的不足。實際上，不同超像素方法所產生的結果也會存在差異：ERS（entropy rate superpixel）算法[27]通過構造隨機游走的熵率項，使得超像素具有良好的邊緣貼合度，但該算法生成的不規則形狀的超像素可能成為后續視頻目標提取的一個隱患（圖5（d）第一行）；RSP（regular super-pixel）算法[28]過于強調保持超像素的拓撲結構，因而生成的超像素的邊界不能貼合復雜形狀目標的真實輪廓（圖5（e）第一行）；LSC（linear spectral clustering）算法[29]相對于上述兩種超像素分割[27-28]算法較好地實現了超像素在拓撲結構與邊緣貼合度的平衡，但該算法依然會生成形狀不規則的超像素（圖5（f）第二行）。對于包含具有前景目標是非剛體運動的視頻（圖5（a）第二行）和具有不同光照效果的視頻（圖5（a）第三行），本文的預處理方法能夠生成較理想的超像素分割結果，如圖5（g）第二行和第三行所示。

Fig.4 Comparisons on results of video frame preprocessing圖4 視頻幀預處理結果對比

4.2 視頻目標提取

4.2.1 Segtrack數據集實驗結果

Fig.5 Comparison of methods for video preprocessing圖5 視頻幀預處理方法對比

Fig.6 Comparison of experiment results on Segtrack（monkeydog）圖6 Segtrack數據集實驗結果對比（monkeydog）

Fig.7 Comparison of experiment results on Segtrack（girl）圖7 Segtrack數據集實驗結果對比（girl）

Segtrack數據集包含有猴子、狗、女孩、鳥、降落傘、獵豹和企鵝7個視頻，并包含有準確分割這些視頻的真值圖像。雖然這些視頻是普通分辨率的，但視頻內容復雜，如具有視頻目標與背景顏色接近、視頻目標非剛體運動、攝像機快速運動等情況。這增加了視頻目標提取的難度。圖6和圖7分別給出的是對猴子視頻片段和女孩視頻片段的前景目標提取結果，這兩段視頻片段均包含非剛體運動的視頻目標以及復雜的背景，且分別與文獻[5，17，19，22]進行了實驗結果對比。從圖6中可以看出，文獻[5]（圖6（c））獲得的提取結果中存在視頻目標缺失（第三行）和嚴重欠分割（第五行）等瑕疵。這是由于單一利用顏色特征難以準確區分具有顏色相近似的視頻目標與背景。文獻[17]（圖6（d））通過結合顏色特征與運動特征用以提取視頻目標，然而，由于該方法無法準確估計視頻目標的非剛體運動，因此極大地降低了前景提取精度。文獻[19]（圖6（e））提取的視頻目標仍存在局部缺失的情況（第三行），主要原因在于視頻目標提取的質量過分依賴超體素的邊緣貼合度。此外，對于處理具有復雜場景視頻時，文獻[19]在預處理階段生成的三維超體素并不能準確表達視頻目標的邊界信息。文獻[22]通過迭代更新視頻中猴子的運動信息，從而能夠獲得較理想的視頻目標提取結果（如圖6（f）所示）。本文使用基于梯度約束的超像素分割方法逐幀進行預處理，生成的超像素邊緣貼合度較高。此外，本文基于多特征融合度量視頻目標與背景的差異，在提取具有非剛體運動的視頻目標時也能得到較好的結果（如圖6（g）所示）。

圖7給出的是處理女孩（girl）視頻片段獲得的視頻目標提取結果。在文獻[5]給出的結果中，存在嚴重的視頻目標內部區域缺失和目標邊界鋸齒化等現象（圖7（c））。文獻[17，19]使用超像素分割方法進行視頻預處理，一定程度上避免了內部區域缺失的現象，但是不準確的光流估計導致視頻目標提取結果中存在邊緣區域缺失（圖7（d）和圖7（e））。雖然文獻[19]引入高階項以確保視頻目標的時空一致性，提取結果相對于文獻[17]有所改善，但依然無法滿足高質量目標提取的要求（圖7（e）第二行）。對于視頻中快速跑動的女孩，文獻[22]仍不能準確地對女孩的運動信息進行估計，因此，分割結果中存在視頻目標局部缺失的瑕疵（圖7（f）第二行和第五行）。從圖7（g）可以看出，本文能夠獲得高質量的視頻目標提取結果。

4.2.2 Youtube-objects數據集實驗結果

Youtube-objects公開數據集是由Youtube上收集的超過10種分類（包括飛機、貓和狗等）的視頻集組成的。其中每個類別包含9到24個視頻片段，且不同的視頻片段中視頻的分辨率、視頻目標的運動和攝像機的運動等各不相同。該數據集通常用于目標識別與跟蹤，最近才被用于評價視頻目標提取方法的性能。相應地，視頻目標提取相對于Segtrack數據集難度更大。圖8和圖9分別給出了本文方法與上述四種視頻目標提取方法[5，17，19，22]的實驗結果對比。從圖8中可以看出，文獻[5]、文獻[22]與本文方法的視頻目標提取結果（圖8（c）、圖8（f）和圖8（g））去除了馬群腿部下方的陰影區域；而文獻[17]與文獻[19]對應的結果中由于保留了陰影區域從而導致不理想的提取結果（圖8（d）和圖8（e））。當視頻中的陰影區域隨著視頻目標一起運動時，文獻[17]難以準確區分視頻目標區域與背景區域的運動。而文獻[19]是一種半監督式的視頻目標提取方法，其中視頻目標提取的質量過于依賴視頻首幀的準確分割程度。然而，盡管文獻[5]的提取結果較為理想，但由于背景中部分區域的顏色與視頻目標的過于接近，這容易將屬于背景的部分區域誤劃分為視頻目標區域的，從而產生了錯誤的視頻目標提取結果。文獻[22]能夠獲得較理想的視頻目標分割結果（圖8（f））。本文通過結合外觀特征與運動特征進行相似性度量，并通過計算光流向量的置信度以剔除錯誤的光流估計結果，這同樣能夠改善最終視頻目標提取的質量（如圖8（g）所示）。

圖9給出的是另一視頻片段（貓）的實驗結果。從圖9（a）可以看出，該視頻片段存在大量與視頻目標相似的背景區域（如具有不同紋理的毯區域），這對視頻目標提取造成了一定的影響。在文獻[5]中，用戶需要對視頻目標區域與背景區域進行大量的交互標記，且提取結果顯然很不理想（圖9（c））。文獻[17]通過估計光流信息準確捕捉了視頻目標的運動軌跡，并結合顏色特征與運動特征實現了較為理想的視頻目標提取。然而，由于攝像機是不斷運動的，不準確的光流估計難以正確區分背景區域與視頻目標區域的運動，從而該方法將視頻中出現的水盆也劃為背景（圖9（d）第三行）。文獻[19]中利用三維超體素增強了連續幀中特征相似區域的鄰接關系，并且該算法也利用了顏色特征與運動特征進行外觀相似性度量。然而，該方法也沒有將視頻片段中出現的水盆正確劃分為背景，主要原因是該方法仍受到不準確光流估計的影響（圖9（e）第四行）。文獻[22]能夠估計準確的光流信息，但由于缺乏有效的外觀相似性度量機制，這使得該方法仍不能正確區分貓和地毯區域（圖9（f）第二行）。本文方法提出了魯棒的相似外觀度量機制，即通過結合顏色特征與紋理特征區分視頻目標區域和背景區域，從而改善了視頻提取結果的質量（圖9（g））。

Fig.8 Comparison of experiment results on Youtube-objects（horse）圖8 Youtube-objects數據集實驗結果對比（horse）

4.3 視頻目標提取時間效率

Fig.9 Comparison of experiment results on Youtube-objects（cat）圖9 Youtube-objects數據集實驗結果對比（cat）

Table 1 Statistics about runtime of video object extraction表1 視頻目標提取時間消耗統計

表1給出了上述視頻目標提取方法在處理各視頻片段并獲得最理想前景提取結果所需的預處理時間消耗和總時間消耗。在表1中，文獻[5]在預處理的過程中耗時最多，盡管前景提取階段耗時較少，但該方法不能滿足快速視頻目標提取的要求。文獻[17]采用的預處理方法在處理視頻幀時雖然用時較少，但在后續視頻目標提取階段中需要耗費更多的計算時間，這是因為該方法為每一視頻幀分配一個動態外觀模型，而訓練這些動態外觀模型需要耗費大量的時間。文獻[19]以預處理生成的超體素為結點構建三維無向圖，這使得三維無向圖中的結點數量遠少于其他方法，因而該方法在前景提取過程中需要的時間消耗最少。然而，超體素的生成需要消耗較多的時間，這一定程度上也影響了最終視頻目標提取的效率。文獻[22]采用了與文獻[19]相同的方法預處理視頻數據，然而，該方法在提取視頻目標時則消耗大量的時間。其主要原因在于該方法不僅建立了超像素與超像素之間的相鄰關系，還建立了像素與像素、像素與超像素之間的空間域和時間域上的相鄰關系，計算代價高。本文方法使用改進的超像素分割算法進行預處理，并在此基礎上改進能量函數，這不僅能夠實現在少量的用戶交互下進行快速的視頻目標提取，而且還能快速地處理具有高分辨率的視頻片段。

4.4 高階項結果對比

為驗證本文引入的高階項是優于文獻[19]的，本文選取Youtube-obejcts數據集中的視頻段進行實驗結果對比。其中，從左至右分別為未引入高階項、文獻[19]和本文方法的視頻目標提取結果，如圖10所示。在圖10給出的視頻片段中，馬的四肢運動幅度較大且背景是變化的。在未引入高階項時，獲得的視頻目標提取結果中出現了目標區域缺失和錯誤前景提取等瑕疵（圖10第二列）。文獻[19]在引入以超體素為基礎的高階項后，視頻目標提取結果的質量相對于圖10第二列給出的結果有了一定的改善，這是因為跨時空域的超體素避免了來自背景區域不準確光流的干擾。然而，文獻[19]中使用的是內部連通關系相對固定的全局超體素，高階項并不能修正視頻目標區域和背景區域被劃分為同一個超體素的情況，因而產生了不理想的視頻目標提取結果（圖10第三列）。而本文方法使用各視頻幀上的超像素構建局部高階項，以確保超像素具有較好的邊緣貼合度，這使得高階項能夠更準確地修正各超像素集在能量函數中的能量懲罰，從而改善了視頻目標提取結果的精確度。如圖10第四列所示，相對于文獻[19]（圖10（c）第一行和第四行），本文去除了視頻目標的前腿間夾雜的背景區域（圖10（d）第一行和第四行）。

5 結束語

Fig.10 Comparisons on results of video object segmentation without/with high order potential圖10 高階項的視頻目標提取結果對比

針對如何實現快速且高質量的視頻目標提取問題，本文提出了一種基于梯度約束SLIC的快速視頻目標提取方法。在使用原SLIC超像素分割方法進行視頻預處理的基礎上引入梯度約束項，這在提高后續視頻目標提取效率的同時也改善了視頻目標提取的質量。同時，本文通過結合外觀特征與運動特征精確度量視頻目標與背景的差異，因而本文能夠處理具有目標劇烈、非剛體運動，視頻目標與背景顏色相近似等內容復雜的視頻片段。另外，本文通過引入高階項保持前景提取結果中視頻目標的時空一致性，從而有效地避免了提取結果中出現視頻目標局部缺失等瑕疵。

本文方法的不足之處在于本文方法的視頻目標提取結果的質量一定程度上依賴于視頻幀預處理的質量，若視頻目標具有細長且突出的結構（復雜且重疊的樹枝、昆蟲的觸角和腿等），視頻幀預處理方法生成的結果也很難表達這些結構的特征信息。因此，本文下一步將考慮優化特征度量機制，以進一步提高視頻目標提取的精度與時間效率。