基于能量圖像的目標識別方法

李宇成，宋燕輝，歐曉丹，田 震

（北方工業大學 自動化系，北京100144）

0 引 言

運動目標的識別技術在智能視覺系統研究中一直是一個十分活躍的領域。目標的識別、流量分析在城市交通環境中有著廣泛的應用需求。近年來，AdaBoost算法［1］逐步開始用于目標識別系統中解決分類問題，它對運動目標的顏色、尺寸、位置和外界環境的變化具有很好的識別率和魯棒性。除此以外，還有很多其它的運動目標的識別算法，例如機器集中學習算法、基于知識的算法、基于整體信息統計的算法和基于局部特征的算法等。這些算法大多集中在車 牌定位［2］、人臉識別［3－4］和車輛的檢測［5－9］上，而針對實際城鎮道路中騎車人的檢測鮮有相關文獻。由于騎車人和行人在外形上比較相似，區分特征很難選擇，所以課題具有一定的挑戰性。但是，隨著交通智能化的不斷發展，準確識別騎車人和行人，對交通流量統計和制定交通控制策略具有現實的意義。

論文著重研究騎車人和行人的特征區分，進行識別特征的選擇和構建，并以此為基礎，完成騎車人、行人和車輛的分類識別工作。首先選擇紋理特征作為分類識別的依據，然后根據樣本圖像中紋理的能量分布情況，建立適合特定識別目標的矩形特征集。最后以樣本的紋理能量圖代替傳統的灰度圖作為樣本，以區域的能量差異值代替傳統的灰度差異值作為特征值來進行機器的集中學習，得到最終的分類器。

1 算法及系統框架

AdaBoost算法［1］是一種分類器算法，其基本思想是將多個分類能力一般的弱分類器疊加起來，構成一個分類能力很強的強分類器，再將若干個強分類器串聯成為分級分類器完成圖像搜索檢測。串聯的級數［3］依賴于系統對錯誤率和識別速度的要求。

整個算法分為離線訓練部分、在線檢測部分以及再學習環節，其結構如圖1所示。離線訓練部分包括對正負樣本（僅含有目標的圖片為正樣本，不含目標的圖片為負樣本）的紋理提取、積分圖計算和特征提取，這些樣本是從圖像的感興趣區域（region of interest，ROI）中收集的，然后對特征進行集中學習。在線檢測部分是確認在ROI中是否有目標存在。即首先對ROI圖像進行紋理提取，然后由分類器來判斷該ROI圖像中是否包含目標。

再學習過程6是將那些被錯誤識別的樣本重復加入到樣本訓練集中，以突出錯誤分類樣本的權重。然后，基于新的訓練樣本集，重新進行訓練。直到分類效果相對滿意為止。

圖1 系統框架

2 構建識別特征

課題的任務是識別交通道路上最常見的移動目標：車輛，行人，騎車人。如所周知，AdaBoost算法起初用于人臉識別，后來被用于行人的識別。一般認為，該算法對行人識別效果良好。但是，騎車人具有行人的大多數特點，檢測中兩者極易混淆；另外，汽車具有明顯的結構特征，比較容易區分。因此，課題的難點在于找到騎車人與行人區別。由于騎車人和行人的外貌特征相似，實驗表明，利用Viola和Jones提出的典型Haar－like基本特征［3］對騎車人與行人進行分類識別的效果很差。因而，也就無法統計道路上騎車人和行人的流量。所以，我們要探究新的分類特征。

作者在前期工作中，基于圖像的紋理能量特征進行了車牌的定位和提取［10］以及多車道的車流量檢測［11］等。由于基本的Haar－like特征無法簡單的直接用于自行車的識別，我們轉而考慮采用紋理特征來完成這一富有挑戰性的工作。

2.1 騎車人特征構建

紋理［12］是一種不依賴于顏色或亮度變化的反映圖像中同質現象的視覺特征，刻畫了圖像像素鄰域灰度空間分布的規律。紋理主要有3種：自然紋理、人工紋理和混合紋理。我們采用自然紋理，該紋理未經人工刻意加工，是自然存在的物體表面屬性。例如能量、熵、標準偏差、均值、平滑性、方差、相關性和一致性等。

如圖2所示，騎車人和行人相比，上半部分區別不大，區別主要集中在下半區域。行人兩腿之間存在縫隙或兩腿并攏，紋理較簡單，而自行車的紋理相對而言比較復雜。

圖2 騎車人和行人樣本示例

現在考慮如何獲取圖像的紋理能量分布圖［10］。為消除目標顏色、光照、亮度等外界環境的變化帶來的影響，我們首先從樣本圖像重新構造對比度圖［13］。先求出樣本灰度圖像I（·）中每行像素的局部灰度極值，構造圖像的極值圖像P（·）。然后，對極值圖像處理，進而得到原圖像的對比度圖像T（·），如圖3（b）所示。計算公式見式 （1）和式 （2）

采用區域卷積的方法構造能量圖像，與單方向卷積相比，采用區域卷積不僅可以抑制噪聲，并且還能起到行間能量濾波的作用，從而得到更好的紋理能量分布圖像，如圖3（c）所示。能量圖像E（·）的計算公式見式 （3）和式 （4）

式中：H（·）——卷積核；卷積核的行與列數分別為（2＊M＋1）和 （2＊N＋1）。

為了提高程序的運算速度，我們取卷積核H（·）的每個元素

則能量計算公式可以簡化為

圖3 紋理能量圖像構建

紋理的一般分析方法有4種：統計分析法、結構分析法、模型分析法和頻譜分析法［12］。其中結構分析法的基本思想是復雜的紋理可由簡單的紋理基元以一定的有規律的形式重復組合排列而成。當紋理基元大到可以單獨分割和描述時，就要使用結構分析法［12，14］。從大量樣本的紋理能量分布圖可以發現，能量的分布特點可以相對準確的描述出騎車人與行人的特征和區別。由此，我們可以依據Ada－Boost算法的基本原理，以原始圖片的紋理能量分布圖像作為訓練樣本，以能量作為特征值進行訓練。

常見的基本Haar－like特征已不能準確的描述我們特定樣本的這種紋理分布特點，我們需要擴充符合這種紋理特點的新特征。觀察能量圖發現，騎車人和行人的能量分布的主要不同集中在人的下半部分，自行車車身的能量值明顯要比行人下半部分的能量值高很多，表現為亮度比較大，而行人的下半部分能量值較低，比較暗。另外騎自行車時行人的四肢和自行車的相對位置很固定，兩只手臂放在自行車把兩側，車輪著地，腳和車輪在紋理圖上成拐角型特點，行人卻沒有如此復雜的紋理；自行車車身具有 “T”型和線型特征；由此增加新的特征如圖4所示。

圖4 拐角特征和 “T”型特征

2.2 汽車特征構建

對于路上行駛的普通車輛來說，我們仍然可以用此方案來進行有效的識別，因為車輛的紋理能量分布相對規矩和固定。這里僅以城鎮交通路況中最為常見的小轎車為例進行討論，如圖5所示，其中車輛紋理能量分布情況見圖5（c）。

圖5 車輛紋理能量圖像構建

考慮以車輛某些區域的能量差異值作為識別車輛的特征值。在能量圖中車頂、車窗、車前蓋能量比較低，比較暗，邊緣能量較高，表現為比較亮，對比度很強。由此可以構造出新的特征：車頂、擋風窗、車前蓋任意兩個和其周圍邊緣的能量分布可以創建如圖6（a）所示的兩種 “日”字型特征來描述。另外還利用圖6（b）、圖6（c）的特征來描述車身的拐角點、邊緣等細節的能量分布。實際上，這些特征也可以用于其它各種車輛 （如公交車，卡車）的識別。

圖6 新型Haar－like特征

2.3 特征值的計算

根據3.1、3.2節所創建的特征，我們知道每個特征矩形又由若干個小矩形組成，各個黑色矩形或白色矩形內的總能量值的定義是區域內各像素點上能量值的總和［15－16］。

從待檢測圖像中取出特征矩形檢測窗口，然后計算每個特征矩形內黑色與白色區域的能量差，即為該特征的特征值。第j個特征的特征值Featurej的計算公式為

式中：N——與第j個特征相關的小矩形總個數；wi——各小矩形的權系數，其中，黑色矩形與白色矩形的權系數符號相異；RectSum（i）為第i個小矩形內的能量值。

因為在構建能量圖時，通過重新構造對比度圖，減弱了光線的影響；同時，物體的陰影區域紋理簡單、能量很小［10］。因此，通過能量圖來計算特征值，能夠明顯提高識別過程中對光線、陰影的抗干擾能力，增強了算法的魯棒性。

3 訓練和實驗結果

3.1 訓練分類器

建立的樣本庫包含實際城鎮道路上的各種場景。共有各種圖片7015張，其中單獨為騎車人、行人、汽車的圖片分別有1340、2130、1160張，不含上述3種目標的圖片有2385張。訓練騎車人時，1340張騎車人的圖片為正樣本，負樣本2000張；訓練行人時，2130張行人的圖片為正樣本，負樣本3000張；訓練汽車時，1160張汽車的圖片為正樣本，負樣本2000張。騎車人和行人的正樣本圖片尺寸歸一化成20×50dpi，汽車正樣本圖片尺寸歸一化成24×24dpi。在訓練過程中，負樣本剪裁成與正樣本相同的尺寸，樣本示例如圖7所示。

訓練結束后我們能夠分別得到識別上述3種目標的3種分類器。為了探究在目標識別過程中所建立特征集的實際效果，我們對騎車人的各級強分類器中的弱分類器所選特征進行了觀察和解析。結果發現，在識別騎車人的弱分類器中，“T”型特征被使用的頻度最高。由此說明，該特征對騎車人紋理能量分布描述效果較佳，對區別騎車人與行人的差異貢獻最大。

3.2 算法測試和應用

算法測試和應用分成兩種情況：①對含有雜亂背景的靜態圖片進行目標檢測；②僅對視頻圖片中運動目標的前景團塊進行檢測。

檢測時首先基于灰度圖像對行人 （包含清晰的騎車人）進行識別，然后對檢出的目標，利用其能量圖進行第二次識別，以區分出是否是騎車人；同時，也直接利用能量圖識別騎車人和汽車。有時在灰度圖中，發現不了的小目標騎車人，在能量圖中也可能被識別出來。容易理解，上述①的情況是從全景圖片中，搜索各種目標，所需時間和圖片的大小成正比。一般需要幾百毫秒時間才能夠完成一張1260×760大小的圖片中3種目標的識別。第②種情況相對簡單，由于僅僅對很小的前景區域檢測目標，不需要大范圍搜索，所以識別速度很快，識別一個前景目標僅需不足0.1ms時間，能夠滿足實時檢測要求。

圖8是上述兩種情況下的實驗結果，其中圖 （a）是針對靜態圖片的識別結果；圖 （b）～圖 （d）是動態前景目標的識別結果。圖中標識出了檢測到的目標，其中行人用橢圓標出，騎車人用矩形標出，車輛用圓形標出。兩種條件下的實驗都取得了令人滿意的結果。

4 結束語

本文基于AdaBoost算法通過對目標紋理特征的提取和矩形特征集的擴充，應用級聯分類器分別對騎車人、行人和車輛進行了分類識別。與已有算法的不同之處是，我們采用了經過處理后的紋理能量圖作為學習樣本，并以特征矩形內的能量差異值作為特征值；同時，根據騎車人和車輛的固有紋理結構特征，擴充了適合表達騎車人和車輛紋理特征的矩形特征集。實驗證明所提出方法對本課題中的

特定目標：騎車人，行人和小轎車具有很好的區分識別率，并具有較強的魯棒性。本算法的思想，也可以借鑒到一般性的多目標的識別應用中。

［1］SHEN L，BAI L.Adaboost gabor feature selection for classification ［C］.Pattern Recognition Letters，2006：1758－1767.

［2］ZHANG Xiangdong，SHEN Peiyi，XIAO Yuli，et al.License plate－location using AdaBoost algorithm ［C］.Harbin：Proceedings of the IEEE International Conference on Information and Automation，2010：20－23.

［3］WU Tunhua，ZHOU Changle.Design and implementation of fast face detection system ［J］.Computer Applications，2005，25 （10）：2351－2353（in Chinese）.［吳暾華，周昌樂.快速人臉檢測系統的設計與實現 ［J］.計算機應用，2005，25 （10）：2351－2353.］

［4］Hart F，Shah Y，Cekander R，et al.A two－stage approach to people detection with HOG－based SVM ［C］.Performance Metrics for Intelligent Systems Workshop in Conjunction With the IEEE Safety Security and Rescue Robotics Conference，2006.

［5］CHOI J.Real time on－road vehicle detection with optical flows and Haar－like feature detector ［R］.Final Report of A Course CS543，2006.

［6］ZHANG Liangxiu，WANG Yulin，ZHANG Luzou.Real－time on－road vehicle detection approach based on tree structure ［J］.Journal of Qingdao University（Engineering ＆ Technology Edition），2008，23 （3）：49－53 （in Chinese）. ［張亮修，王玉林，張魯鄒.一種樹形結構的實時道路車輛識別方法 ［J］.青島大學學報，2008，23 （3）：49－53.］

［7］Pablo Negri，Xavier Clady，Shehzad Muhammad HaniK，et al.A cascade of boosted generative and discriminative classifiers for vehicle detection ［J］.EURASIP Journal on Advances in Signal Processing，2008，8 （2）：1－12.

［8］Ponsa D，Antonio López.Cascade of classifiers for vehicle detection［C］.Proceedings of the 9th International Conference on Advanced Concepts for Intelligent Vision Systems，2007：980－989.

［9］YE Liyan，ZHAO Jianmin，ZHU Xinzhong，et al.Vehiclerear detection method based on adaboost［J］.Computer Simulation，2011，28 （1）：327－330 （in Chinese）.［葉麗燕，趙建民，朱信忠，等.基于AdaBoost的轎車尾部檢測方法 ［J］.計算機仿真，2011，28 （1）：327－330.］

［10］LI Yucheng，WANG Mushu.A fast license plate location and extraction algorithm ［J］.Computer Engineering ＆ Science，2010，32 （12）：42－45 （in Chinese）. ［李宇成，王目樹.一種快速的車牌定位和提取算法 ［J］.計算機工程與科學，2010，32 （12）：42－45.］

［11］LI Yucheng，LI Lei，WANG Mushu.Statistics of the traffic flow on multiple lanes ［J］.Process Automation Instrumentation，2010，31 （10）：51－60 （in Chinese）. ［李宇成，李雷，王目樹.多車道的車流量統計 ［J］.自動化儀表，2010，31（10）：51－60.］

［12］SUN Junding，MA Yuanyuan.Summary of texture feature research ［J］.Computer Systems ＆ Applications，2010，19（6）：245－250 （in Chinese）.［孫君頂，馬媛媛.紋理特征研究綜述 ［J］.計算機系統應用，2010，19 （6）：245－250.］

［13］WEN Xuezhi，YUAN Huai，ZHAO Hong.Vehicle detection algorithm based on low contrast images ［J］.Computer Engineering，2008，34 （14）：210－212 （in Chinese）. ［文學志，袁淮，趙宏.一種基于低對比度圖像的車輛檢測算法 ［J］.計算機工程，2008，34 （14）：210－212.］

［14］Viola P，Jones M.Rapid object detection using a boosted cascade of simple features ［C］.Washington，DC：C3IEEE Conference on Computer Vision and Pattern Recognition IEEE Computer Society，2001：511－518.

［15］SUN Zehang，Bebis G，Miller R.On－road vehicle detection：A review ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28 （5）：694－711.

［16］Laika A，Stechele W.A review of different object recognition methods for the application in driver assistance systems ［C］.Proceedings of the 8th International Workshop on Image Analysis for Multimedia Interactive Services，2007：265－271.