人體輪廓機器視覺檢測算法的研究進展

馮文倩， 李新榮， 楊 帥

(1. 天津工業大學 機械工程學院， 天津 300387； 2. 天津市現代機電裝備技術重點實驗室， 天津 300387)

基于機器視覺的非接觸式人體圍度測量，具有快速高效的優勢，是服裝定制行業未來發展的技術支撐。非接觸式人體圍度測量分為三維測量和二維測量。非接觸式三維人體圍度測量速度快，精度高，但是所需掃描儀器價格昂貴，在服裝行業中很難被廣泛應用；非接觸式二維人體圍度測量是通過拍照獲取人體正側面圖像，在二維圖像的基礎上進行人體輪廓檢測與特征部位尺寸提取，借助手機就能完成測量以及服裝樣式的選取，從而實現遠程服裝定制，是未來服裝定制行業的發展趨勢。當前服裝定制市場主要是通過三維掃描儀檢測人體輪廓；而基于二維圖像的人體輪廓視覺檢測多是基于理論層面的研究，缺乏實際應用，因此，有必要對基于二維圖像的人體輪廓視覺檢測的方法進行分析與探討。

先前有學者對輪廓檢測的算法進行了論述，主要介紹了每種算法的原理及特點，內容相對基礎[1]，而近幾年不斷有學者提出輪廓檢測的新方法[2-4]，如：以雙邊濾波器取代高斯濾波器的Canny算子邊緣檢測方法、融合神經網絡的輪廓檢測算法以及二進小波與形態學結合的算法，這些算法在很大程度上解決了輪廓邊緣不清晰、定位不精確以及對噪聲敏感的問題。當前輪廓視覺檢測方法主要有基于邊緣算子、基于數學形態學、基于水平集算法的主動輪廓模型方法，還有學者將Otsu算法(最大類間方差法)、K-means聚類的方法應用到輪廓檢測當中[5]。基于邊緣算子的輪廓檢測方法是最傳統的一種方法，其能夠依據物體的輪廓特征，去除多余的邊緣，并對邊緣進行修補，定位較準確，但是檢測到的輪廓邊緣不連續，且該方法對噪聲較敏感。Navdeep等[6]提出改進的局部二值模式(LBP)方法，以像素差矩陣代替原本的固定加權矩陣，性能優于邊緣算子。基于數學形態學的檢測方法去噪能力較好，邊緣連續，但是定位不夠精確，輪廓邊緣不清晰。劉曉剛等[7]提出的采用多尺度多結構的數學形態學的輪廓提取方法，解決了傳統的邊緣算子檢測時輪廓邊緣出現斷裂的問題。基于水平集算法的主動輪廓模型方法主要應用于圖像分割當中，而對圖像進行分割之后，所分割的邊界就是物體的輪廓[8]。劉其思等[9]在基于變分水平集的算法上對服裝圖案的輪廓進行提取，該方法能夠有效地對圖案進行分割，提取出的輪廓邊緣清晰，有利于提高服裝企業的工作效率。

對于人體圍度尺寸測量來說，需要獲取肩寬、手臂、胸圍、腿圍等部位的準確數據，所以要求所檢測的人體圖像輪廓清晰完整，且定位準確；但在人體輪廓檢測時會受到背景和穿著的影響，易檢測到錯誤邊緣。本文通過效果圖對比，對這幾種輪廓檢測算法進行了系統的分析比較，并對其在人體輪廓檢測方面的實際應用進行了展望。

1 邊緣檢測算子

1.1 邊緣檢測算子簡介

通過邊緣檢測算子對目標輪廓進行檢測，就是基于圖像的亮度及顏色特征，對變化明顯的點進行標記，以此完成邊緣點的檢測。但是由于圖像模糊、存在大量噪聲，給獲取完整和連續的目標輪廓帶來了很大困難。通常選擇一階和二階導數來檢測邊界不連續的效果。邊緣檢測可借助微分算子利用卷積來實現，常用的算子有Laplacian算子、Sobel 算子、Roberts 算子和Canny算子等[10]。

通過python中的opencv模塊，采用4種邊緣算子分別對人體輪廓邊緣進行檢測，效果如圖1所示。可以看出， Lapacialn算子和Roberts 算子提取出的輪廓邊緣不清晰，且不連續，噪聲較大；Sobel算子檢測到的圖像較清晰，但對于小細節部分的邊緣檢測不到。與前面3種邊緣檢測算子相比，Canny 算子能夠檢測到圖像中真正的的弱邊緣，并且輪廓相對清晰，定位準確，但也會受到噪聲的影響。Canny 算子相對于其他算子，應用較為廣泛，本文只針對Canny檢測算子在輪廓提取中的應用進行深入探討。

圖1 不同邊緣算子的檢測效果Fig.1 Detection effect of different edge operators. (a) Laplacian operator; (b) Roberts operator; (c) Sobel operator; (d) Canny operator

1.2 基于Canny邊緣算子的輪廓檢測算法

Canny邊緣算子檢測物體輪廓，即先用高斯濾波器對圖像進行平滑處理，防止噪聲干擾，再用一階微分計算圖像的梯度幅值及方向，對梯度幅值進行非極大值抑制，通過設置雙閾值檢測物體輪廓的邊緣，從而有效地去除圖像的偽邊緣，精準定位到真正的邊緣，以便提取準確的目標物體輪廓信息[11]。

在實際應用中，Canny邊緣算子采用一階微分計算梯度幅值和方向，計算簡單，但也存在著不足，其抗噪性能比較差，邊緣不連續。為了解決噪聲干擾問題，很多學者對其進行了研究。Zhang等[12]通過采用自動各向異性高斯核平滑圖像來減少噪聲，并提出多方向角點檢測算法；Qin等[13]用中值濾波替代傳統Canny算法的高斯濾波，改進梯度幅度的計算方法，并通過迭代選擇閾值，與傳統Canny算法相比，該方法可提高抵抗隨機噪聲的能力，同時更準確地檢測邊緣。Xu等[14]用基于B樣條的拉著拉斯算子(LOBS)算法計算梯度來確定目標圖像邊緣，非邊緣區域能得到有效去噪，邊緣區通過設置閾值達到去噪目的。以上方法雖有效抑制了噪聲，但也消除了部分灰度值高的邊緣像素點。

此外，Canny邊緣算子檢測的輪廓邊緣存在邊緣點斷裂的情況，傳統的方法是通過人工設定雙閾值來解決該問題，但這種方法使得Canny算法易丟失局部特征邊緣信息。對于閾值設定的問題，有很多學者提出了改進算法，Xu等[15]提出基于塊類型和圖像塊梯度局部分布自適應計算閾值；楊靜嫻等[16]基于機器視覺，先通過Otsu算法確定最佳閾值，再用Canny算法提取白酒的酒花輪廓；齊英蘭[17]采用最大類間方差法自適應地確定高低閾值，克服弱邊緣丟失的問題。此外，李東興等[18]采用數學形態學濾波技術對圖像進行平滑處理，取代了傳統的高斯濾波，有效地提高邊緣的連續性，并能檢測到很多邊緣細節。龐明明等[19]提出一種融合模糊局部二值模式的Canny邊緣檢測算法(FLBP-Canny算法)，將模糊數學和局部二值模式相融合，結合Canny算子提取目標輪廓，不僅增強了目標輪廓，而且在很大程度上改善了Canny 邊緣檢測出現的輪廓邊緣點斷裂問題，形成了封閉的輪廓邊緣曲線。此外還有很多國外學者[20-22]提出了改進的邊緣檢測算法。

綜上，以中值濾波替代傳統Canny算法的高斯濾波、用Otsu算法來確定最佳閾值和融合模糊局部二值模式的Canny邊緣檢測等方法，均能改善Canny邊緣算子的檢測效果，提取到邊緣連續且相對清晰的人體輪廓圖像。

2 數學形態學

2.1 數學形態學原理

數學形態學是使用數學的方法，把圖像看作是許多點的集合，用集合論的觀點來研究圖像中物體的形態和結構的圖像處理方法。一般先對圖像進行增強處理，再對圖像進行形態學計算，從而將前景目標與背景分離，提取出輪廓。數學形態學的基本運算包含膨脹、腐蝕、開運算和閉運算4種，開運算就是先腐蝕再膨脹，閉運算就是先膨脹再腐蝕，通過組合這4種基本運算可得到其他復雜的形態學運算，李怡燃等[23]就是根據圖像特點，使用形態學算子時，將膨脹運算和開運算進行加權求和，有效地克服了圖像的雙邊緣現象。

2.2 基于數學形態學的輪廓檢測算法

數學形態學的方法相比于邊緣檢測算子，能夠有效去除噪聲，且邊緣點連續，能形成封閉的輪廓；但是對復雜的圖像，檢測到的邊緣模糊不清晰，容易丟失邊緣細節[24]，所以要考慮增強圖像輪廓邊界。為此，很多學者提出基于多尺度多方向結構元素的數學形態學輪廓檢測算法，其原理如圖2所示(●為像素點)。鄂那林等[25]通過構造4個不同方向的結構元素，得到圖像4個方向的邊緣檢測結果，并將這些結果加權平均，得到最終的圖像邊緣。吳朔媚等[26]利用遞歸的多尺度多方向結構元素形態學濾波得到圖像的初始輪廓，能夠有效抑制噪聲并保留邊緣細節。秦瑋等[27]提出一種利用全向元素全向多尺度元素繪制方形濾波器窗口的方法，該方法能夠檢測低對比度區域的特征，并保留這些特征。

圖2 多方向結構元素圖Fig.2 Comprehensive structural element diagram

有學者提出基于各向異性形態學的圖像輪廓檢測算法，吳一全等[28]先計算圖像的平均平方梯度向量，并由其表示平均梯度向量，然后對其進行擴散，得到圖像的平均梯度向量場，再計算圖像中各像素點的平均梯度方向，以此構造適合的形態結構元素，得到形態學梯度，由此檢測出火焰圖像的輪廓信息。與邊緣算子以及各向同性的檢測算法相比，該方法的邊緣定位準確，并且邊緣清晰，具有較好的連續性，抗噪聲強。

此外，還有學者將數學形態學與Otsu算法相結合，但是其對圖像進行了二級分割，檢測到的輪廓不夠精確[29-30]。為此,王文豪等[31]對Otsu算法進行了改進，結合圖像的熵，降低光亮對圖像背景與前景目標的影響。王濤等[32]將K-means聚類與數學形態學相結合，K-means算法是一種無監督的聚類算法，聚類效果好且易實現，使聚類本身盡可能的相似，但各聚類之間又各有不同，該方法運算速度快，且提取的輪廓較為完整。

Endo等[33]基于圖像顏色空間轉換，增強輪廓邊緣，使其更加清晰。劉千等[34]先用改進的數學形態學算法檢測原圖像的輪廓邊緣，再用訓練的豐富的卷積特征(RCF)網絡模型檢測原圖像的輪廓邊緣，最后將二者融合，從而得到完整光滑的圖像輪廓。以上方法在一定程度上能夠解決數學形態學對圖像輪廓檢測不清晰的問題，有效地應對人體輪廓視覺檢測時拍照設備的不同和背景的復雜程度而帶來的檢測難題。

3 基于水平集的主動輪廓模型方法

3.1 主動輪廓模型原理

1988年，Kass等[35]提出將主動輪廓模型應用于圖像分割問題，該模型將圖像分割問題轉化為求能量泛函極小值的問題，再利用變分法，將求能量泛函極小值的問題轉化為對偏微分方程的求解，求出的極小值就是圖像分割的結果，即檢測出的目標輪廓邊緣。利用變分思想求解，是目前圖像分割應用最多的方法。主動輪廓模型方法可分為參數活動輪廓模型和幾何活動輪廓模型，幾何活動輪廓模型與水平集函數結合的方式能夠很好地處理輪廓曲線的拓撲變化，利于方程的求解問題。

3.2 在輪廓檢測中的應用

幾何活動輪廓模型的結合水平集方法的優點在于圖像經過初始化后，能量函數在輪廓曲線的約束下能自主地達到極值，計算的復雜程度低，但是該模型對初始輪廓較為敏感，含有較多的噪聲點輪廓，輪廓邊緣模糊。為了解決這個問題，翁桂榮等[36]提出水平集函數的自適應符號距離函數，使主動輪廓在演化的過程中，能根據自適應符號函數的方向對初始輪廓進行擴大或縮小，從而降低水平集對初始輪廓的敏感性。Wang等[37]提出了一種基于區域信息和圖像邊緣信息相結合的新型主動輪廓模型，通過增加新穎的加權函數，實現了局部信息和全局信息的自適應平衡，加快了模型的進化速度，增強了模型的適應性；將發散算子替換為高斯濾波器，從而平滑了水平集函數，簡化了計算；最后，引入符號函數的懲罰項，以減少由于重新初始化和正則化過程而導致的水平集函數的計算復雜度。此外，水平集方法在曲線演化過程中距離不規則，為此趙方珍等[38]提出一種改進的距離規則化水平集方法，使水平集函數的梯度模向勢函數的2個極小值點快速趨近，一定程度上保證了水平集函數的穩定性。

在檢測人體輪廓時，通常會受到穿著和復雜背景的影響，人的手腕、頸部等細節部分的檢測難度比較大，傳統的主動輪廓模型對人體的局部輪廓檢測效果不佳[39]，由此Zou等[40]研究出一種非閉合的主動輪廓模型的人體局部輪廓檢測方法，以自動設置初始輪廓代替人工設置初始輪廓，在能量函數中融入了形狀約束，降低背景和穿著對于人體輪廓的影響，并在簡單背景和復雜背景中做出對比，如圖3所示。可以看出，傳統的主動輪廓模型在復雜背景下容易檢測出與人體無關的邊緣輪廓，而基于非閉合主動輪廓模型的局部輪廓檢測曲線貼近于人體真實輪廓，但是該方法對自動設置初始輪廓方法有較高要求，在極其復雜的背景下，自動設置初始輪廓方法也會存在偏差。

圖3 不同背景下不同方法的實驗對比Fig.3 Experimental comparison of different methods in different backgrounds.(a) Traditional active contour model effect; (b) Automatically set initial contour effect; (c) Non-closed active contour model effect

4 分析與討論

基于機器視覺的人體輪廓可通過邊緣檢測算子、數學形態學、主動輪廓模型的方法完成檢測，以便實現非接觸式人體圍度尺寸測量。基于邊緣算子的輪廓檢測算法中，Canny算子相對于其他邊緣算子來說，具有定位準確的優點，能夠檢測到細小的邊緣，通過高斯濾波平滑圖像，以降低噪聲的影響，但是也容易平滑掉一些有效的邊緣。通過控制平滑程度參數和空間尺度參數，可增強圖像輪廓信息，還可通過Canny算子與局部二值模式相融合的方式增強輪廓目標，同時解決邊緣不連續問題，但是該方法對于背景復雜的人體輪廓檢測，仍存在著很大的挑戰。

基于數學形態學的輪廓檢測算法，與邊緣檢測算子相比，在很大程度上提高了抗噪能力，但是基本的形態學方法不能對目標輪廓進行準確的定位，尤其是人的手腕、腋下、肩部等細節部位容易受到穿著和背景的干擾，極大地影響了檢測精度。基于多尺度多元素的形態學、基于各向異性的數學形態學的輪廓檢測方法可在一定程度上改善定位能力和輪廓清晰度，尤其是形態學結合神經網絡模型，能夠很好地解決這一問題，該方法在視覺輪廓檢測中有很好的發展前景。當然形態學的算法仍需進一步優化，以便更好地提高檢測精度，獲得更好的檢測效果。

基于水平集和主動輪廓模型的檢測方法，其優點在于能夠檢測到連續的輪廓曲線，但是傳統的水平集算法對初始輪廓較為敏感，容易檢測到虛假邊界，對人體輪廓的全局檢測更容易出現偏差，有很多學者提出了對初始輪廓進行改善，還有學者對水平集函數進行了優化。另外，基于非閉合主動輪廓模型對人體局部輪廓檢測，也需要自動設置初始輪廓才能在復雜背景下檢測出相對正確、光滑連續的輪廓曲線，但是在極其復雜的背景條件下，自動設置初始輪廓也會檢測到無關物體的輪廓。

5 結束語

基于機器視覺輪廓檢測在非接觸式二維人體圍度尺寸測量應用中的關鍵性作用不可忽視，其不僅解決了傳統手工測量速度慢，三維人體測量儀器昂貴的難題，同時可實現遠程人體圍度數據測量，極大地推動服裝行業定制化的發展。雖然通用的輪廓檢測算法的研究已經相對成熟，但是針對人體輪廓檢測的研究還較少，在人體輪廓檢測中還存在一些不足：一是圖像背景復雜，輪廓難以精確區分；二是人體的頸部和手臂等部位的關鍵點位置檢測不精確。因此，針對于人體的視覺輪廓檢測算法仍需進一步改善。