基于自適應SLIC的人體標準姿勢圖像分割①

任 義，李 重，劉 恒，陽 策

1(浙江理工大學 理學院，杭州 310018)

2(浙江理工大學 信息學院，杭州 310018)

圖像分割作為模式識別與圖像分析的基礎，一直是數字圖像處理和計算機視覺等領域中的挑戰課題，具有重要的研究意義.而人體圖像分割作為圖像分割的一個具體問題，在三維人體重建，人體運動跟蹤，場景解析等領域中有著重要的應用價值[1].

關于圖像分割的算法有很多，除了一些傳統方法(如閾值法、邊界檢測、區域法)外，現階段比較流行的圖像分割算法有基于像素聚類的分割方法，基于圖論的分割方法和基于深度學習框架的分割算法.基于像素聚類的典型分割方法如:Aguilar WG 等人[2]提出的Meanshift 算法，該算法將圖片映射到一多維特征空間中，在該空間中選擇一些區域進行矢量操作，并將操作的結果記為Meanshift 向量.通過對若干個Meanshift向量的有限次迭代使算法收斂到圖像中概率密度最大的點，稱為模點.通過對模點的聚類完成圖像分割，但該方法在圖像對比度較差時，易產生欠分割現象；因此，Levinshtein 等人[3]在Meanshift 算法基礎上提出了Turbo-Pixels 超像素生成算法，該算法相較于Meanshift 算法引入了緊湊度約束，通過對初始種子點的膨脹操作，在圖像的不同區域之間通過曲率演化檢測出邊界，該方法分割的超像素塊緊湊、邊界光滑，并有效抑制了Meanshift 算法中的欠分割現象；Wu HS 等人[4]提出簡單線性聚類(Simple Linear Iterative Clustering，SLIC)方法分割圖像，該方法將圖片分割成多個大小均勻的超像素塊，用超像素塊代替大量的像素來表達圖片特征，由于設定的超像素塊個數是人為定義的固定值.顯然，不合理的固定值會造成分割出的超像素塊無法貼合色塊邊緣等問題.

以圖論為代表的分割算法典型如，Chan TF[5]提出的基于Snack模型的圖像分割算法，它以構成一定形狀的控制點為輪廓線，通過控制點的移動完成輪廓線的形變，最終達到預設的能量函數極小化，完成圖像分割，但當初始輪廓曲線距離真實邊界較遠時，能量函數易陷入局部極小點造成分割誤差；Ngo TA 等人[6]提出的Level Set 方法，該方法借鑒了Snack模型中能量函數的思想，但其將低維度的曲線嵌入到高維度的曲面中進行表示，使得分割結果與初始輪廓曲線無關，但該方法在輪廓兩邊灰度相似的情況，分割精度較差；Kim G 等人[7]提出了Grab Cut 算法，該算法通過交互方式分割前景、背景，再對前景、背景所屬的顏色空間建立高斯混合模型(Gaussian Mixture Model，GMM)，用GMM 參數迭代學習完成能量函數最小化，因而該方法可以更好地對彩色圖像進行分割，但由于該方法的時間復雜度較高，因而分割效率較低.

隨著深度學習的流行和普及，基于深度學習框架衍生出的眾多語義分割算法也成為圖像分割算法中的重要一類.如Shelhamer E[8]提出的全卷積神經網絡(Fully Convolutional Networks，FCN)該算法相比于傳統卷積神經網絡[9](Convolutional Neural Network，CNN)拋棄了全連接層，因而可以接受任意大小的輸入圖像，同時采用Skip 結構，結合了神經網絡中的深層、淺層信息以確保算法的魯棒性，但FCN 通過上采樣分割出的圖像比較模糊，對圖像中的細節不敏感[10]；多示例學習(Multiple Instance probLem，MIL)是一種弱監督學習方法[11，12]，該方法中的每個樣本包含多個示例，定義分類器對多個包組成的訓練集進行學習，從而能夠對訓練集以外的包的進行正確的預測.但該方法在訓練樣本集時，需要在示例尺度下進行標記，這是一件費時費力的工作，而且當樣本量不大時，不同的分類器分類結果差異明顯，獲得的分割結果并不可靠.因此該方法對于小樣本的分割問題適用性不高.

本文提供了一種基于自適應SLIC的人體圖像分割算法.首先從圖片各角點開始，在小尺度范圍內進行CV 分割[13].每次分割收斂時設置聚類中心，通過不斷迭代動態地設定聚類中心的位置和個數，提高超像素塊位置和個數的準確性.并結合人體平均模版在圖像中標記感興趣的人體區域，利用模版標記的內外區域信息對該區域進行k-means 聚類分割，提高在復雜背景下的識別準確性.

1 本文算法描述

本文提出了一種基于自適應SLIC的人體圖像分割算法，其主要算法流程如下:

(1)借鑒Active Shape Model[14](ASM)算法思想，選取N個樣本，手工標記人體輪廓，計算人體樣本的平均模板.

(2)將待分割圖像均分為4個部分，從每個部分的角點開始取極小的區域進行動態的CV 分割.每次CV 分割能量函數收斂時，記錄當前區域重心為一個聚類中心.

(3)將步驟(2)中得到的聚類中心作為SLIC的初始種子點，進行簡單線性聚類.

(4)根據用戶在圖片上標記的手腳輔助標記，將步驟(1)中得到的模板進行縮放和平移后標記在圖片上，用以表明感興趣的超像素塊區域Ω.

(5)得到感興趣區域Ω 后.由于區域外的超像素塊必為背景塊.因此可根據區域外的超像素塊特征，對區域Ω 進行k-means 聚類分割，分離Ω中屬于背景的位置，完成人體分割.

2 基于CV 能量函數的自適應SLIC 算法

2.1 SLIC 算法簡介

SLIC 是2012年由Achanta 提出的，該方法將圖像根據相似函數，分割為大小均勻、邊界相連的超像素塊.超像素塊的個數需要指定固定值K，SLIC 算法的目標是將一張N×M的照片分割成K個超像素塊.初始時在圖片上均勻地設置K個種子.再對圖像中的每個像素進行聚類，聚類中心即為該像素點周圍的種子點[15]，通過迭代最終分割圖像為多個超像素塊.

2.2 基于CV 分割能量函數的自適應SLIC 算法

SLIC 算法需要給定超像素塊的個數K值，且初始聚類中心均勻分布在圖像上.圖1 為傳統SLIC 分割結果的部分，顯然由于K值是固定的，使得每個超像素塊的大小限定在一定的范圍內，這對于圖像中復雜程度不同的區域顯然是不合理的.

圖1 傳統SLIC 分割結果部分

為了解決上述問題，我們引入CV 分割能量函數動態地設定初始聚類中心的位置、個數，使得SLIC 算法的初始種子點盡量位于不同色塊之中，且初始種子的個數與整幅圖的色塊數目大致相同.算法過程如下:

(1)為了加快聚類速度充分利用多核CPU 性能，本文將圖片按長寬中心均勻分成4個矩形.每個矩形以4個角為圓心，2r為半徑作圓弧l2，在l2圍成扇形區域O中以r為半徑作弧l1.弧l1將區域O分為包含圓心的部分O1，不包含圓心的部分O2.即O=O1+O2，如下圖2所示.

圖2 選擇初始區域

(2)因為這里的r取值較小，因此我們可將區域O1作為灰度均勻的部分，而O1作為O的一部分，我們希望將O2中與O1灰度接近的像素歸類至O1.為此，我們引入CV 分割能量函數:

其中，L(l1)是弧l1的長度，A(in(l1))為區域O1的面積，I(x)為待分割區域O，in(l1)，out(l2)分別為區域O1，O2.u，v≥0，λ1，λ2是各個能量項的權重系數，C1，C2為O1，O2區域的平均灰度.顯然:

其中，Hε(φ)是單位階躍函數:

式(1)目的是為了迭代尋找最優劃分l1，使得O被活動輪廓線l1劃分為目標區域O1和背景區域O2.可以看出，當活動輪廓線l1沒有位于O1、O2區域的邊界時，F(C1，C2，l1)不能達到最小值[16].為了得到公式(1)的最小值，我們采用水平集函數進行迭代求解.

設 φ為根據活動輪廓線l1構造的的水平集函數，并將其作為內正外負的距離函數，即φ(in(l1))＞0，φ(out(l1))＜0 .引入歐拉-拉格朗日方程推導上述能量函數，得到以水平集函數表達的偏微分迭代方程:

(3)從式(4)可看出，每次在O中迭代求解l1，即由I(x)計算水平集函數 φ.因為區域O的半徑2r較小，O外的部分也有可能屬于O1.因此當O2中的每個像素點，若在迭代時歸類于O1，則需要將O的邊界擴大以使得水平集函數在迭代時始終不會因為找到邊界而停止.即當調整弧l1上的像素點時，外側弧l2也需要做相應調整，以保證弧l2與弧l1始終保持r的距離.設第n-1 次迭代時，區域O記做In-1(x)，水平集函數記做φn，迭代完成后水平集函數記做φn，則在迭代完成后:l1，所以乘以縮放系數.

上式中L(l1)和L(l1)分別為l1，l2的長度，因為調整弧l1時，區域O的外邊界l1相應的調整的范圍需要大于

(4)在每一次迭代后，若區域O與O1不再變化，則迭代結束，計算O1的質心作為一個初始聚類中心.此時，在圖中除去O1的部分繼續從角點開始，設置新的O1，O2進行上述操作的迭代，直至原圖全部迭代完全.

經過上述步驟，可得到若干聚類中心.將其作為SLIC 算法的初始聚類中心.以每個聚類中心相鄰的色塊作為搜索空間進行聚類，完成超像素塊分割.如圖3為改進后的SLIC 與傳統SLIC 算法對比.

圖3 傳統SLIC 算法與改進后的SLIC 算法對比

3 融合模板的超像素塊聚類

3.1 獲取標準人體模板

類似于ASM 算法的訓練階段，本文通過100 組標準人體圖像訓練獲取人體初始模板.為了論文討論方便，我們采用標準姿勢站立的人體正面圖片.對于人體目標圖像共選取65個特征點，如圖4，配準后的人體集如圖5.獲得的人體標準模板在進行聚類前，需要對手臂腳部等位置需進行縮放、平移和旋轉已完成對模板的大致校準[17]，經過以上步驟獲得的平均模板可以適應人體的不同姿勢，從而可以標記感興趣的人體前景區域.

3.2 基于超像素塊的k-means 聚類

在2.2 節中我們已經將原圖轉化為多個大小不同的超像素塊，每個超像素塊內部的灰度變化較為平緩，將每個超像素塊作為k-means 聚類的一個節點.對于二維圖片上的超像素塊，我們僅僅能利用到每個超像素塊內部的顏色、位置等無語義信息.因此我們利用3.1 節中構建的人體平均模板.在k-means 聚類分割前，將模版貼合至圖像上以標記出圖像中我們感興趣的前景目標區域.由于模版將整張圖片分為內外兩部分，我們可利用內外區域的超像素信息對感興趣的區域進行k-means 聚類分割，通過這種引入人體模版的方法提高聚類精度.

具體做法如下:

(1)由于平均模板僅僅能限制住人體的大致范圍，對于一些幅度變化較大的位置，難以定位.因此我們在人體的雙手手掌及腳部加上標記點，將平均模板進行平移縮放，手臂和腿部進行旋轉以完成對平均模板的校準，模板貼合至人體輪廓后的效果如圖6.

圖4 人體標點示意圖

圖5 樣本配準后樣本集示意圖

圖6 平均模板覆蓋感興趣的人體區域

(2)上述步驟后，我們得到了感興趣的區域Ω，在該區域內有若干個超像素塊，將每個超像素塊作為kmeans的聚類節點.將超像素塊內部區域的RGB均值及重心的橫縱坐標組成5 維向量，各節點間該向量的歐氏距離作為相似性度量.由于目標是將區域Ω中非人體部分剔除，因此只需進行2均值迭代聚類即可.經過聚類后，得到只含有人體體型部分的超像素塊，實驗結果如圖7.

(3)在得到了完全貼合在人體圖像上超像素塊后，為了得到圖像上的人體輪廓邊緣，我們需要對超像素塊的邊緣進行融合.對于已去除背景的Ω中的像素點q，其只有以下3 種情況:

①q屬于某一個超像素塊內部.

②q位于一個超像素塊的邊緣上.

③q位于兩個及兩個以上的超像素塊邊緣上.

圖7 經過k-means 聚類后的超像素塊

觀察圖7 我們發現，人體輪廓的邊緣像素點僅出現情況②上.因此在聚類后的區域Ω中，提取所有滿足②的點將其構成人體邊緣輪廓，則此時輪廓內部的區域為人體圖像，外部為圖像背景，完成人體標準姿勢圖像分割.

4 實驗結果與分析

為了驗證本文算法的有效性，我們對不同環境下的人體圖像進行了分割實驗.算法在四核3.2 GHz，8 GB 內存，Windows 7 系統的PC 機上，使用C++編程實現.同時，我們將本文方法與一些常用分割算法進行了比較.以下各組圖片，從左至右依次為譜聚類[18]、Grab Cut、FCN、MIL 與本文算法的實驗結果.其中對于FCN，MIL 算法的訓練階段，我們從公開PASCAL VOC2012 和MIT_SceneParsing 數據集共挑選了4500 張符合要求的人體照片作為訓練集.

第一組實驗我們選取背景較為簡單的人體圖片，且被拍攝者的衣著顏色單一.實驗結果如圖8所示.由結果可看出，譜聚類和Grab Cut 在無語義的情況下，腿部區域被歸類至同一色塊中無法區分.FCN、MIL 與本文算法都對腿部區域做了區分，但FCN 在腿部輪廓的邊界處理上不夠平滑，出現曲線抖動的情況，MIL 算法對于陰影區域的劃分不夠準確.而本文算法邊界的提取較為準確，輪廓邊緣光滑.

圖8 樣本背景簡單下的算法效果比較

第二組實驗我們選取了背景與人體膚色較為接近的樣本圖片，且被拍攝者雙臂與水平呈一定角度.實驗結果如圖9所示.由結果可看出，傳統譜聚類、FCN 和MIL 對于邊界的定位出現了不準確的情況，尤其是傳統譜聚類，對于灰度接近的色塊區分能力較差.FCN 定位的邊界仍然出現了輪廓的抖動，MIL 對于陰影區域的劃分與第一組實驗結果類似，錯誤地將邊界定位在灰度變化最大的位置.由于Grab Cut 和本文算法均采用了人工交互的方式粗定位了前景目標的大致位置，抗干擾能力強，此種情況下的分類均較為準確.

第三組實驗我們選取了背景色塊豐富的樣本圖片.實驗結果如圖10所示.由結果可看出，傳統譜聚類、Grab Cut 在輪廓邊緣的定位上受到多個背景色塊的干擾而造成整體的輪廓偏差.但Grab Cut 在人工的交互位置，如手掌，腳部等位置的定位較為準確.FCN、MIL 和本文算法在實驗中的輪廓均較為準確.但在細節處，FCN 將部分綠草定位為人體輪廓，而MIL 丟失了人體的頭發部位的色塊信息.

由上述三組實驗我們可看出，針對人體圖像，本文算法相較與常用的圖像分割算法在精度上有了較好的改進，在各算法的分割結果中，本文算法獲得的人體各個部位輪廓線更加貼合人體體型的真實邊緣.在不同環境下，圖像分割的效果穩定，獲得的人體輪廓邊緣差距較小，算法魯棒性高.同時為了比較本文算法的分割效率，我們也給出以上各算法間的時間對比，見表1.

圖9 樣本背景顏色與前景目標相似下的算法效果比較

圖10 樣本背景色塊復雜下的算法效果比較

表1 不同分割算法的運行時間對比

針對上述圖像，本文算法運行時間比譜聚類、Grab Cut、MIL 方法快，但比FCN 方法慢.考慮到FCN 方法在樣本訓練占用較多時間，而本文算法不需要樣本訓練和監督學習，可以減去這些方面的時間開銷，人體分割所運行的整體時間滿足實驗要求.

綜合上述實驗效果和分析，我們發現本文算法的精度和時間復雜度上相比于傳統譜聚類、Grab Cut 算法有所改進.并且在保證精度的情況下，避免了FCN，MIL 等算法中耗時的樣本訓練工作，更適合樣本量小的分割工作.

5 總結與展望

本文提出了一種自適應的SLIC 人體圖像分割算法，該算法針對圖片復雜程度不同的區域可動態地設置聚類中心，使得分割出的超像素塊更準確的貼合圖中的色塊.并且結合了人體平均模板提高了算法的抗干擾能力.實驗證明，本文算法能夠在保證效率地情況下較好地分割不同背景下的人體標準姿勢圖像.

本文在進行聚類分割前需對圖片進行交互式標記，如何自動化的優化相關參數，提升方法的泛化能力值得進一步改進和探索.同時在現有工作中，人體圖像分割結果是通過k-means 聚類得到的，而k-means 聚類對于初始聚類中心的選擇較為苛刻，不同的聚類中心會產生不同的結果.如何采用更好的聚類方法提高分割精度也將是今后的主要工作.