散貨作業區人形識別的二級分類方法

張志偉， 宓為建， 宓超， 何鑫

(1. 上海海事大學 a. 物流工程學院， b. 集裝箱供應鏈技術教育部工程研究中心， 上海 201306；2. 中國電子科技集團公司第五十研究所， 上海 200333)

?

散貨作業區人形識別的二級分類方法

張志偉1a， 宓為建1b， 宓超1b， 何鑫2

(1. 上海海事大學 a. 物流工程學院， b. 集裝箱供應鏈技術教育部工程研究中心， 上海 201306；2. 中國電子科技集團公司第五十研究所， 上海 200333)

鑒于目前散貨碼頭運用智能視頻監控系統時，由于不同方向人形的方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征存在較大的變化，使得用傳統方法訓練獲得的少量特異性特征不足以支撐人形的有效分類，因此提出一種基于AdaBoost的針對不同姿勢HOG特征的二級分類方法.首先將樣本快速分為正(背)面人形和側面人形，組成第一級分類；然后通過分別為兩類樣本訓練子分類器組成第二級分類；第二級分類對人形進行識別，并對結果進行融合.以天津港干散貨碼頭無人作業區為背景，完成一組人形識別實驗.實驗結果表明，相較于傳統方法，該方法對正(背)面人形具有更高的識別率.二級分類方法整體上提高了人形識別的識別率.

散貨碼頭； 人形識別； 方向梯度直方圖(HOG)； AdaBoost

0 引 言

目前，針對散貨碼頭露天裝卸作業的安全要求，國內現有多數港口的視頻監控系統多采用專人看守，這種方式極易使人疲勞且工作效率低、出錯率高.[1]另外，港口設備作業時危險系數高，意外事故極大地威脅著入侵者的生命和港口生產安全.因此，絕大多數企業管理者希望視頻監控系統能智能地識別人形并對意外事故自主作出響應.[2-3]

然而，除有效地找到人形的問題，在散貨碼頭實際作業中，粉塵排放嚴重，干擾了人形圖像.雖然傳統方法在提取方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征過程中會對圖像進行去噪處理，但由于其混合訓練不同方向人形特征使得人形特征特異性稀少而難以應用.因此，港口散貨碼頭智能視頻監控系統需要豐富人形的特異性特征以提高檢測精度.

總結前人研究成果，檢測過程主要包括兩部分：特征提取和分類器設計.2005年，DALAL等[4]開拓性地采用HOG描述人形特征.該特征對幾何和光學形變能夠保持較好的不變性并且可以忽略人形一些細微的肢體動作.然而，因其過分顧及圖像所有特征致使檢測效率低、分類器柔性差.為此，研究者們對特征進行改進，但均未提高檢測效率.[5-6]HOG特征作為一種人形分類的標準特征，其本質是基于邊緣和形狀對邊緣方向的一種模糊化，因而最終獲得的人形特異性HOG特征數量很少.

人形識別的第二步是分類器設計.目前廣泛使用的分類方法有AdaBoost(Adaptive Boosting)級聯分類器和支持向量機(Support Vector Machine,SVM)分類器.[7]SVM是基于VC維原理和結構風險最小化的統計學習理論的機器學習方法.[8-10]它通過訓練樣本庫能夠自適應地發現所有支持向量中具有明顯劃分效果的部分，并最大化不同類特征到分類超平面的距離.雖然SVM分類準確率高，但分類時間過長.AdaBoost級聯分類器能夠根據識別率要求提取不同數量的弱分類器形成強分類器，最后將復雜程序不同的強分類器組合在一起.[11-12]若樣本數量趨于無窮，該方法理論上能將人形識別的分類性能指數趨近于最大化.AdaBoost僅挑選重要特征訓練弱分類器，因此檢測速度大大提高，但識別率不及SVM.[13]

本文的主要工作是，選擇AdaBoost級聯分類器取代原有的SVM分類器，并提出一種二級分類方法以提高人形識別的檢測精度.由于HOG特征本質上是對目標的邊緣方向特征的描述，對于不同姿勢的人形，HOG特征會產生很大的扭曲變異：正(背)面的人形樣本有效面積較大，并有豐富的輪廓特征，易于分類；側面人形姿勢復雜多變，特異性少.傳統方法訓練分類器時，混合姿勢樣本的直接使用會使分類特征之間產生沖突，只能獲取少量的特異性特征支持分類，致使效果不理想.因此，在用本方法訓練分類器之前，首先將待檢圖片樣本分為兩類：正(背)面和側面的人形樣本.在分別對兩類樣本訓練AdaBoost子分類器后，根據預處理圖片的對應姿勢，進行第二次分類：人或非人.最后，將檢測結果融合.

1 人形識別的HOG特征

本文使用優化的HOG特征表征人形特征，與其他特征描述子相比，HOG描述子有很多優勢：(1)對邊緣的結構特征的表達在很大程度上能夠描繪出人形的局部形狀信息和輪廓特征；(2)位置和方向在空間上的量化在一定程度上可以減少平移和旋轉的影響；(3)在局部方格單元上進行操作，對圖像的幾何和光學形變都能保持很好的不變性.[6,14]

HOG特征的主要思想是通過計算圖像局部梯度方向的統計數據獲得樣本特征.提取HOG特征的具體步驟如下.

步驟1 顏色空間標準化.由于露天裝卸作業的環境復雜、光照強烈，需要對樣本圖像進行顏色空間的歸一化以抑制圖像噪聲.這里采用平方根壓縮 Gamma 校正.

(1)

θ(x,y)=arctan(Gx/Gy)

(2)

步驟3 空間和方向上的梯度統計.以16×16像素點大小的塊(block)對整幅圖像進行掃描，每個block分為4個cell.將[0°,180°]的梯度方向分為9個bin.利用三線性插值法[15]將每個cell中的像素點梯度方向加權投票到9個bin中，從而提取出block的36維HOG特征向量.

步驟4 對比度歸一化.為降低背景光照、邊緣突變等的影響，使用 L2-norm函數對block的 HOG 特征向量進行歸一化.

步驟5 檢測窗口HOG特征提取.將全部105個block得到的36維特征向量組成檢測窗口3 780(=36×105)維的特征向量.至此計算完畢，得到如圖1所示的HOG特征向量圖.

圖1 人形的HOG特征向量圖

2 人形識別的二級分類器

在人形檢測上一般使用單分類器進行人形特征分類.目前使用最為廣泛的兩個分類器是SVM分類器和AdaBoost級聯分類器.用傳統的SVM分類器分類HOG特征向量，檢測速度相對較低.JIA等[15]提出一種自適應AdaBoost級聯分類器分類HOG特征向量以提高檢測效率，然而其檢出率低于傳統SVM分類器.因此，需要提出一種新型分類方法在保證分類效率的基礎上提升分類精度.

圖2 二級分類器分類流程

在視頻監控中，復雜的人形姿態和港口露天裝卸背景導致檢測效果不理想.此時，單分類器很難對所有姿態給出明確的界定標準，算法收斂困難.本文利用AdaBoost分類算法思想，改進傳統分類模式，變單一分類器為二級分類器.二級分類器分類流程見圖2.首先通過第一級分類器將樣本預分類為正(背)面和側面樣本.由于實驗樣本存在非人的可能，此處僅可分類為疑似正(背)面和側面人形.預處理之后，第二級分類通過將第一級分類后的樣本分別放入兩個子分類器中進行人形識別，判斷是否為人.最后，因為同一目標在不同尺度檢測中會出現多個矩形框重疊的情況，所以將正(背)面與側面人形的檢測結果進行融合得到最終結果.正(背)面和側面人形樣本見圖3.具體訓練流程如下.

圖3 正(背)面和側面人形樣本

2.1 基于決策樹的弱分類器訓練

圖4 決策樹

如圖4所示，決策樹由3部分構成：根節點、分支和葉節點.每個內部節點表示一個查詢，節點的每個分支代表一個測試結果.樹中每個父節點表示用于樣本劃分的特征閾值，而子節點分類訓練所需的樣本就是通過這個閾值劃分出來的.具體訓練步驟如下：

步驟1 閾值的計算需要考慮每個樣本特征，盡量保證當前樣本的分類誤差最低.首先，將所有樣本的維度特征值由小到大排序，然后遍歷所有樣本，找到可以將分類誤差最小化的最優閾值θ.也就是說，由該閾值進行樣本分類，最終得到的誤檢率小于其他任何鄰近樣本的閾值.計算所有3 780維特征的閾值，找到其中最小值所在的特征維度，記為第k維，其對應的分類誤差被稱為最小分類誤差.由最小誤差建立樹節點1，根據對應的特征閾值將樣本分為類2和類3，然后計算類2和類3中正負樣本的權重，取較小值記為節點1的實際分類誤差.

步驟2 重復步驟1，分別計算葉節點2和3繼續分類所對應的最小分類誤差e2和e3.

步驟3 在節點2和3中選擇一個作為葉節點繼續分類，選擇的依據是使后繼節點的數據盡可能降低分類錯誤率，計算公式為

Δθ=max{θ1-e2,θ1-e3}

(3)

步驟4 重復步驟1～3，如果要使所有葉節點最終都達到分類錯誤率為0，可能會出現決策樹的“過擬合”現象.本文將迭代步長設為4.

2.2 強分類器級聯

強分類器是通過將同一樣本集訓練出的弱分類器以某種規則進行組合得到的.在圖片檢測時，它通過對檢測窗口內的弱分類器加權投票得到加權和，作為最終分類結果的判斷依據.

訓練決策樹后得到4個弱分類器ht.由式(4)可以求出每個節點對應的權重αt，其與樣本分類正確率成正比.

αt=(Tt-Ft)/(Tt+Ft)

(4)

式中：Tt和Ft分別表示正、負樣本的分類正確率.所有樣本分類正確則相應權重為1.

(5)

樣本權重更新規則見表1. 從表1可知，若樣本分類正確則權重變小，反之權重變大.

表1 樣本權重更新規則描述

經過最大次數的迭代后，通過學習可以得到所有的弱分類器及相應的權重系數αt.若經過加權得到的最終值大于0，則檢測結果為人.

雖然AdaBoost訓練的強分類器誤檢率小，但其檢測率也同樣不高.訓練級聯分類器需要考慮兩個方面：一是每個強分類器中弱分類器數與分類效率的平衡；二是強分類器的識別率與誤檢率的平衡.[16]

2.3 最終分類器訓練

步驟1 表2為訓練樣本庫，全部樣本都采樣自實際作業區域且在數量上足以支撐訓練過程.因為樣本的選取對最終分類器的分類效果有很大影響，所以通過采集不同角度和姿勢的樣本提高樣本庫的普遍性.

步驟2 計算所有樣本的特征向量.

步驟3 限定每級分類器的最大誤檢率和最小識別率.按照流程(1)和(2)訓練弱分類器.

步驟4 重復步驟1和3直到所有3個分類器訓練完成.

表2 訓練樣本庫

2.4 檢測結果融合

針對檢測中多個矩形框重疊的情況，摒棄從多重疊結果中選擇最優解的非極大值抑制法[17]，而使用不相交集聚類同類元素從而對結果進行融合.

3 實驗結果和分析

在調研期間，該系統已經在天津港散貨碼頭的裝卸作業區完成數個現場測試.由圖5所示，現場測試的視頻表明系統檢測結果滿足人形識別要求.

圖5 散貨碼頭現場試驗結果

經過為期三個月的散貨碼頭實驗，獲得大量現場視頻數據并挑選富有代表性的圖像，構建3個不同類型的樣本庫.這3個樣本庫主要特征見表3.樣本庫1和2分別為正(背)面和側面的人形樣本，而樣本庫3中包含不同姿勢的多個人形，包括正(背)面、側面、傾斜以及旋轉人形等.由于采樣基于裝卸作業現場，所有測試圖像的環境背景都非常復雜.

表3 實驗樣本庫

實驗結果見表4.從表4可知，二級分類器方法誤檢率更低.如表4所示，在誤檢率上，二級分類器對正(背)面人形的誤檢率僅為1.99%，較之傳統SVM分類器的3.35%和AdaBoost分類器的3.09%降低很多.二級分類器對側面或多種姿勢人形的誤檢率也略低于傳統的SVM算法，遠低于AdaBoost分類器.在識別率方面，二級分類器對側面人形的識別率與傳統算法基本持平，但對正(背)面人形的識別率高達98.01%，均高于傳統SVM和AdaBoost分類器的識別率.在對多種姿勢的人形識別上，二級分類器能夠達到近96%的識別率.

表4 實驗結果

由于正面人形具有更加明顯的易識別特征，傳統的單分類器只能采取混合人形姿勢特征訓練，導致正面特征的識別率大大降低.本文提出的二級分類器對正(背)面人形的低誤檢率和高識別率正是由于二級分類器能夠將正(背)面人形與側面人形分開訓練，顯著強化了正面人形特征的特異性.雖然由于側面人形特征的復雜性，其在識別率上的提升較為微弱，但正(背)面人形誤檢率的大大降低以及識別率的提高使其在總體性能上優于傳統SVM和AdaBoost分類器.

綜上，本文提出的二級分類器能彌補單分類器的缺點.新方法能夠在檢測正(背)面、側面以及多種姿勢等多個樣本時分別達到98.01%，92.88%和95.96%的識別率.檢測效果比單一AdaBoost分類器有很大的改善，在整體上也優于傳統的SVM分類器.

5 結 論

針對傳統HOG特征的分類問題，提出一種新的二級分類方法.選擇AdaBoost級聯分類器替代傳統的SVM分類器，摒棄對許多負樣本的復雜檢測來提高分類效率.在第一級分類中，訓練AdaBoost級聯分類器用于檢測疑似正(背)面或側面人形的圖像.然后在第二級分類中，訓練兩個子分類器分別確定是否存在正(背)面和側面的人形圖像.檢測結果使用不相交集進行融合.

天津港散貨碼頭裝卸作業區現場實驗結果表明，傳統的單一AdaBoost算法在正(背)面、側面以及多種姿勢的人形樣本檢測上存在很大的限制，缺乏對人形姿勢的適應能力.雖然傳統SVM檢測算法的識別率達到95%，但檢測時間過長，不能滿足港口對實時性的要求.新方法相對于單一AdaBoost分類器有很大的改進，并且該方法在誤檢率僅3%的情況下對混合樣本達到95%的高識別率.總之，提出的二級分類方法能提高對正(背)面人形的識別率，從而在整體上提高人形識別率.

[1]MI Chao, HUANG Youfang, LIU Haiwei,etal. Study on an intelligent human detection system for unmanned area security in ports[J]. J Appl Sci, 2013, 13(16): 3221-3226.

[2]ZHANG S, CHAN S C, QIU R D,etal. On the design and implementation of a high definition multi-view intelligent video surveillance system[C]//2012 IEEE Int Conf Signal Processing, Communication and Computing (ICSPCC), 12-15 Aug, 2012: 353-357.

[3]宓為建, 何鑫, 沈陽, 等. 基于智能人形識別的港口無人區監控系統關鍵技術[J]. 上海海事大學學報, 2015, 36(1): 65-69.

[4]DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Computer Society. Proc 2005 Conf Computer Vision and Pattern Recognition, SanDiego, CA, USA, 25 June, 2005: 886-893.

[5]MI C, HE X, LIU H W,etal. Research on a fast human-detection algorithm for unmanned surveillance area in bulk ports[J]. Math Problems Eng, 2014. DOI:10.1155/2014/386764.

[6]PANG Y W, YUAN Y A, LI X L,etal. Efficient HOG human detection[J]. Signal Processing, 2010, 91(4): 773-781.

[7]ISHII N, MORIOKA Y, SUYAMA S,etal. Classification by rough set reducts, AdaBoost and SVM[C]//IEEE ACIS Int Conf Proc Software Eng Artificial Intelligence Networking and Parallel/Distributed Computing(SNPD), London, 2010: 63-68.

[8]TAN Y, WANG J. A support vector machine with a hybrid kernel and minimal Vapnik-Chervonenkis dimension[C]//IEEE Computer Society Knowledge and Data Eng, 2004: 385-395.

[9]QIU X T, FU D M, YANG T. A novel approach to optimize the objective function based on VC dimension and structural risk minimization[C]//IEEE Proc 30th Chinese Control Conf (CCC), Yantai, China, 2011: 3226-3230.

[10]CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273-297.

[11]邵梟虎. 基于AdaBoost與顯著信息的行人檢測算法[D]. 成都: 電子科技大學, 2012.

[12]MARCO P, JORDI G, BHASKAR C,etal. Boosting histograms of oriented gradients for human detection[C]//2nd Conf Comput Vision: Adv Res & Dev, 2007: 1-6.

[13]YU J. The application of BP-AdaBoost strong classifier to acquire knowledge of student creativity[C]//IEEE Int Conf Comput Sci & Service Syst (CSSS), 2011: 2669-2672.

[14]ZHANG M, SUN Z, TAN T. Deformed iris recognition using bandpass geometric features and lowpass ordinal features[C]//Int Conf Biometrics, 2013: 1-6.

[15]JIA H X, ZHANG Y J. Fast human detection by boosting histograms of oriented gradients[C]//IEEE 4th Int Conf Image & Graphics, 2007: 683-688.

[16]CHENG W C, JHAN D M. A cascade classifier using AdaBoost algorithm and support vector machine for pedestrian detection[J]. IEEE Int Conf Systems Man & Cybernetics, 2011, 42(1): 1430-1435.

[17]ZAYTSEVA E, VITRIA J. A search based approach to non-maximum suppression in face detection[C]//IEEE 19th Int Conf Image Processing (ICIP), 2012: 1469-1472.

(編輯 趙勉)

Two-stage classification approach for human body recognition in bulk handling area

ZHANG Zhiwei1a, MI Weijian1b, MI Chao1b, HE Xin2

(1. a. Logistics Engineering College, b. Engineering Research Center of Container Supply Chain Technology,Ministry of Education, Shanghai Maritime Univ., Shanghai 201306, China; 2. The 50th Research Institute of China Electronics Technology Group Corporation, Shanghai 200333, China)

At present, the intelligent video monitoring system is used in bulk terminals. However, Histogram of Oriented Gradient (HOG) features of human body in different directions show great difference, so that a small number of specific features obtained by the traditional method is insufficient to support effective classification of human body. Therefore, a kind of two-stage classification method based on AdaBoost is proposed for different HOG features of different human postures. Firstly, the samples are rapidly divided into the Front & Back (F&B) human body and the side (not F&B) human body to form the first-stage classification. Then, the sub-classifiers are respectively trained for the two types of samples to form the second-stage classification, where the human body and the non-human body are recognized respectively and the results are merged. Taking the unmanned area in the bulk terminal of Tianjin Port as the background, a group of human body recognition experiments is carried out. The experimental results show that, compared with the traditional method, this method is of higher recognition rate for F&B human body. The two-stage classification method improves the recognition rate of human body overall.

bulk terminal; human body recognition; Histogram of Oriented Gradient (HOG); AdaBoost

10.13340/j.jsmu.2015.03.014

1672-9498(2015)03-0082-05

2015-02-05

2015-06-03

上海市科學技術委員會部分地方院校能力建設專項計劃(13510501800)；上海青年科技英才揚帆計劃(15YF1404900)；上海市教育委員會科研創新項目(14ZZ140)；上海海事大學研究生創新基金(2014ycx040)

張志偉(1992—)，男，安徽合肥人，碩士研究生，研究方向為港口機械電子，(E-mail)hitomi_black@163.com； 宓為建(1956—)，男，浙江海寧人，教授，博導，博士，研究方向為港口機械電子，(E-mail)miweij@126.com

U698.5; TP391.41

A