基于圖像對稱性的車輛遙感識別

陳任， 黃輝先， 譚媛， 王程嘯

(1.湖南華諾星空電子技術有限公司,長沙 410205； 2.湘潭大學信息工程學院,湘潭 411105)

?

基于圖像對稱性的車輛遙感識別

陳任1,2， 黃輝先2， 譚媛2， 王程嘯2

(1.湖南華諾星空電子技術有限公司,長沙 410205； 2.湘潭大學信息工程學院,湘潭 411105)

遙感圖像中車輛俯視圖像具有鏡像對稱的特點，會導致圖像中存在重復的特征。針對這種情況，提出一種優化選取Haar-like特征進行車輛識別的方法。在檢測窗口中，選取2類特征： 在檢測窗口上半部分提取所有的矩形特征； 在原檢測窗口中，只使用對稱于窗口對稱軸、且描述上下部分差異的矩形特征，該方法既能充分表達圖像的信息，又減少了重復的特征。從訓練樣本的灰度圖和飽和度圖中提取這些特征，訓練級聯分類器，其中每一層采用適應性提升(adaptive boosting,AdaBoost)算法訓練強分類器。實驗結果表明，上述方法能大幅度降低特征數量，提高檢測速度，同時具有很好的識別效果。

高分辨率衛星圖像； 車輛識別； 對稱圖像； AdaBoost算法

0 引言

隨著社會經濟的不斷發展，對城市交通運輸能力的要求越來越高，對交通狀況信息的快速獲取也變得越來越重要。與傳統地面傳感器相比，使用衛星遙感圖像獲取道路車輛信息具有很多優越性，目前已有一些這方面的研究。余勇等[1]使用形態學方法對圖像進行預處理，利用形態神經網絡檢測車輛目標。鄭宏等[2]將車輛檢測過程視為抗體檢測抗原過程，使用抗體網絡優化訓練樣本，訓練和檢測車輛。吳小波等[3]采用背景迭代搜索算法，利用目標和背景間的局部差異對車輛初步定位； 再使用動態雙峰閾值分割方法提取道路，取兩者交集得到車輛識別結果。李世武等[4]基于自反饋模板提取方法，從待識別圖像中提取模板，用模板匹配算法識別車輛。秦彥光[5]使用紋理特征和支持向量機進行道路網和車輛識別。曹天揚等[6]使用閾值分割分離深色車和淺色車，再分別從道路中提取車輛。觀察遙感圖像中的車輛目標，可以發現車輛影像都是關于車輛中軸左右對稱的，在這種情況下，對稱軸兩邊的許多細節信息重復。對于一些基于局部特征的特征提取方法來說會遇到重復特征問題； 但以往的研究都是把車輛作為一個整體，并沒有注意到重復特征的存在。針對車輛遙感圖像對稱的特點，本文提出一種優化選取Haar-like特征的方法，并采用適應性提升(adaptive boosting,AdaBoost)算法訓練級聯分類器(cascade classifier)，旨在降低特征數量、提高訓練速度、改進車輛識別效果。

1 遙感圖像中的車輛特征提取

1.1 Haar-like特征

1.1.1 基本概念

Haar-like特征是一種矩形特征，最初由Papageorgiou等[7]提出； 因其原理類似Haar小波，故被稱為Haar-like特征。Viola等[8]提出一種采用AdaBoost分類器的快速檢測方法，使用了5種形態的Haar-like特征(圖 1中(a)―(e))。圖1中，(a)、(b)分別指示垂直和水平方向的邊緣信息，(c)、(d)分別指示垂直和水平方向的直線特征，(e)指示對角線方向的特征，(f)指示中心特征。

(a) 垂直方向邊緣(b) 水平方向邊緣(c) 垂直方向直線(d) 水平方向直線(e) 對角線方向特征(f) 中心特征

Haar-like特征使用類似圖 1中的矩形組合作為特征模板，每個特征的特征值計算方法為： 分別統計白色區域和黑色區域的像素之和，然后兩者相減。其計算公式[9]為

(1)

式中：i為模板中的第i個矩形塊；n為模板中包含的矩形數量；RectSum(ri)為第i個矩形的像素和；ωi為第i個矩形的權值(黑色區域為負，白色為正，黑色區域面積×黑色部分權值+白色區域面積×白色部分權值=0)。

1.1.2 積分圖

使用Haar-like檢測目標時，需要計算特征包含的矩形區域內大量像素的和，并且其中大部分都是重復計算。針對此問題，通常使用積分圖(integral image)來加速計算。積分圖是一個與原始圖像大小相同的矩陣，其中每個元素的值等于原始圖像中左上角到這一點的像素之和(圖2)。

圖2 積分圖示例

建立積分圖后，可以方便地對任意矩形區域內的像素求和，如圖 2中區域D的像素和為

IID=IIA+B+C+D-IIA+C-IIA+B+IIA=ii4-ii3-ii2+ii1，

(2)

式中：IIX為區域X內的像素和；ii1，ii2，ii3，ii4分別為從頂點0到點1,2,3,4的像素和。

從式(2)可以看出，使用積分圖計算矩形區域內的像素和，其運算復雜度與區域大小無關，僅需取得矩形4個頂點的積分圖數值，計算非常快速，并且運算耗時對任意矩形都是一樣的。

1.2 HSV色彩空間特征提取

道路區域的衛星圖像常常存在各種各樣的干擾，比如周圍物體遮擋光線造成道路區域存在陰影，道路周圍樹木遮擋部分道路等。對這些圖像灰度化以后，有的車輛目標便難以從背景中區分出來，需要考慮使用其他方法增強對車輛目標的識別能力。

針對以上情況，本文使用色調-飽和度-亮度(hue-saturation-value,HSV)彩色空間提取圖像的色彩信息。將一些道路圖像變換為HSV圖像以后發現，對于包含陰影和樹木的道路區域、或者深色車輛的部分，從灰度圖中有時難以把車輛目標與道路背景區分開，而飽和度圖像能提供較好的識別度。因此，本文分別從灰度圖和飽和度圖中提取車輛圖像的特征。

1.3 基于圖像對稱性的特征優化選取

圖3 對稱圖像

區域B的像素和可以由區域A及軸對稱矩形的像素計算得出，即

Sefgh=Sabgh-Scdef-Sabcd,

(3)

式中：Sefgh，Sabgh，Scdef和Sabcd分別為點e,f,g,h；a,b,g,h；c,d,e,f和a,b,c,d所圍成的矩形內的像素和。

根據式(3)，可用完全處于對稱軸上方的Haar-like特征和對稱于檢測窗口對稱軸的特征替代對稱軸下方區域與之對稱位置的特征，即不再需要對稱軸下方的特征亦可達到與原來同樣的識別效果。

因此，本文使用2類特征： ①只檢測半個車身的特征。在檢測窗口上半部分提取所有的矩形特征； ②檢測車身對稱性的特征。在原檢測窗口中，只使用對稱于窗口對稱軸、且描述上下部分差異的矩形特征。第1類特征的生成，先將窗口高度減半，然后按照普通的方法生成所有Haar-like特征。第2類特征則只使用圖 1(b)(d)(e)(f)中的模板生成； 且放置特征矩形時，要求特征矩形的中點位于檢測窗口的對稱軸上。在這種情況下，用1種特征確定其矩形高度后，矩形的縱坐標也就被唯一地確定(表 1)。

表1 第2類特征的生成

對32像素×14像素的檢測窗口，如果使用傳統方式提取特征，特征數量為103 411個； 使用基于對稱性的方法提取特征，窗口內2種類型的特征數量分別為26 047個和9 646個(表1)，共35 693個，數量大約是傳統方法的34.52%，意味著訓練速度能提高到原來的3倍左右。另外，特征數量的減少也有利于在訓練過程中增加訓練使用的樣本數量(在3.2節中將對此做詳細說明)。

2 車輛識別算法

2.1 AdaBoost算法

AdaBoost算法是Freund等[10-11]和Schapire等[12]參照在線分配算法提出的一種構建準確分類器的學習算法。Viola等[8]針對人臉識別設計了Haar-like特征，使用AdaBoost算法進行分類，取得了很好的識別效果。AdaBoost算法的思想[13]是通過對樣本賦予權重，使樣本在訓練過程中受到的重視程度不同； 訓練分類器時，被錯分的目標會獲得更大的權重，分類正確的目標的權重則會降低，從而在下一輪的訓練中，分類器能更集中于對難分類目標的識別。在每一輪的訓練過程中，使用樣本權重訓練弱分類器，并從中挑選最優的弱分類器，最終由多個弱分類器組成1個強分類器。

本文弱分類器使用Haar-like特征構成，即

(4)

式中：x為樣本；pi為方向指示符(用于統一不等號方向)，pi∈[-1,+1]；fi為第i個特征在樣本x上的特征值；θi為分類器的閾值。

對弱分類器的訓練過程是尋找最優的閾值，使得分類誤差最小。

2.2 級聯分類器的構建

通常情況下，待檢測圖像中大部分區域是不包含車輛目標的，所以在檢測過程中，先使用較小的運算量來排除大部分非目標區域，而對可能包含目標的區域投入較多時間，可顯著提高檢測速度。在實際應用中，一般將多個強分類器組合為級聯分類器。級聯分類器本質上是一個退化的決策樹[14]，決策樹的每一層都是1個強分類器。在檢測過程中，檢測目標從樹的頂層進入，每經過決策樹的一層就被分類一次，如果識別為目標就繼續進入下一層進行檢測； 否則停止檢測過程，直接判定為負目標。其結構如圖4所示。

圖4 級聯分類器結構

對于一個級聯分類器，其誤檢率(負目標被錯誤判斷為正目標的概率)為

(5)

式中：K為級聯分類器的層數；fi為第i個強分類器對所有樣本進行分類的誤檢率。

類似地，級聯分類器的檢測率(正目標被正確檢測的概率)為

(6)

式中：K為級聯分類器的層數；di為第i個強分類器對所有樣本進行分類的正確檢測率。

訓練級聯分類器時，首先確定需要達到的誤檢率F和檢測率D以及預計的分類器層數K； 然后根據式(5)和(6)求出每一層需要達到的誤檢率fmax和檢測率dmin，將F，fmax和dmin作為訓練的輸入參數。本文采用文獻[8]中使用的級聯分類器的訓練方法，即

1) 確定整體的誤檢率目標Ftarget、每層最大誤檢率fmax和最小檢測率dmin；

2) 設定正樣本集Pos、負樣本集Neg和測試樣本集Test；

3) 賦值： 初始層數i=0，初始檢測率D0=1，初始誤檢率F0=1；

4)當Fi>Ftarget：

①賦值：i=i+1；

②賦值： 第i層特征個數ni=0，前i層總誤檢率Fi=Fi-1，檢測率Di=Di-1；

③當Fi>fmax·Fi-1：

i.賦值： ni=ni+1；

ii.使用Pos和當前的Neg作為正負樣本集，用AdaBoost算法訓練包含ni個弱分類器的強分類器；

iii.在Test上使用當前的強分類器分類，評估Fi和Di；

iv.降低第i層強分類器的閾值，直到Di≥dmin·Di-1(同時會影響Fi)；

④若Fi>Ftarget，則使用當前的級聯分類器對負目標進行分類，錯分的目標作為新的負樣本集Neg；

5) 訓練結束。

3 實驗過程

實驗使用的計算機配置為主頻2.9GHz的雙核CPU，4GB內存； 實驗程序采用C#語言編寫，并使用了Emgu圖像處理庫。從衛星圖像中提取剛好包含車輛的圖像作為車輛樣本，這些圖像的高度和寬度平均值分別為14像素和32像素，故實驗使用32像素×14像素大小的檢測窗口，以盡量保留車輛圖像信息。非車輛樣本是一系列不包含車輛、且尺寸大于檢測窗口的道路區域圖像，在訓練過程中,程序按檢測窗口大小隨機從中截取圖像作為負樣本。使用圖 1中所示的6種特征模板，分別從灰度圖和飽和度圖中提取車輛圖像特征。

3.1 圖像預處理

由于衛星圖像在獲取過程中存在光照和拍攝參數等差異，造成不同圖像的亮度不均勻； 如果直接使用這樣的圖像來訓練分類器，會影響分類器的訓練速度和檢測效果。本文采用均方差歸一化來減小光照對圖像灰度的影響； 而飽和度圖像不受光照影響，不需要處理。

圖像均方差的計算公式為

(7)

式中：σ為標準差；N為窗口內的點數；x為窗口內的像素值；m為像素平均值。

在像素值的積分圖基礎上，增加像素平方的積分圖，可快速計算待檢測圖像中任意區域的方差和平均值。使用式(8)將窗口中的像素值歸一化到均值為0、方差為1，即

(8)

3.2 單級分類器訓練樣本數計算

在級聯分類器每一層的訓練過程中，每增加1個弱分類器，都要計算當前訓練樣本的所有特征值，要耗費大量時間，所以需要預先計算特征值并保存下來。特征值使用32 bit float類型保存，對于n個樣本、m個特征，共需要m×n×(32/8)個byte來存儲。在實驗中，需要控制使用的內存數量，避免超過物理內存大小。

訓練程序實際使用了2.46 GB內存，程序中其他部分使用的內存約100 MB，則可用于存儲特征值的內存為2.36 GB，單次可使用的訓練樣本數為n=2.36e9/4/m=5.9e8/m個，可見樣本數受到特征數量的影響。本文使用基于對稱性的方法選取特征，特征數量只有傳統方法的1/3左右，即單次能使用的訓練樣本數量是傳統方法的3倍左右。本文使用灰度圖和飽和度圖像提取特征，總的特征數為71 386個，單次可使用的訓練樣本數為8 264個。

3.3 測試結果

最終的級聯分類器包含15層，共257個弱分類器，前幾層的弱分類器數量依次為7,8,12,16個，可見隨著分類難度的增加，弱分類器數量也在增加。訓練中使用了1 436個正樣本和564 933個負樣本。

在不同的衛星圖像中，車輛尺寸存在較小的差異。為了適應不同尺寸下的情況，本文采取逐級縮放檢測窗口的方法，使檢測速度很快。針對縮放倍數調整積分圖的倍率，例如若將檢測窗口放大到1.2倍，則待測圖像的積分圖需要除以1.2； 計算特征時，特征矩形也按照相同比例縮放。

圖 5是對實際道路和停車場進行識別的結果，其中圖5(a)(c)(e)使用了基于對稱性的特征提取方法，圖5(b)(d)(f)使用了基于全部特征的特征提取方法。

(a) 使用本文方法 (b) 使用全部特征

(c) 使用本文方法 (d) 使用全部特征

圖5-1 車輛識別結果

Fig.5-1 Results of vehicle detection

(e) 使用本文方法 (f) 使用全部特征

圖5-2 車輛識別結果

Fig.5-2 Results of vehicle detection

從圖5可以看出，對光照情況不同的場景，用本文方法都能取得很好的車輛識別效果。其中，圖5(c)的左下角處在陰影中，肉眼難以看清的車輛也被識別出來； 圖中心有一個沒有識別出來的目標，主要是因為車輛正在轉彎導致目標角度發生了變化。圖5(e)是對停車場的識別結果，通常對這樣密集區域的車輛識別效果比較差，但本文方法仍有較好的識別效果，圖中僅有2個誤檢的目標，而漏檢的目標主要是深色車輛。

對比本文方法和使用所有特征訓練分類器方法的車輛識別結果(表2)可以看出，盡管兩者的檢測率差別不大，但是后者的誤檢率較高，這是因為前者包含更多描述對稱性的特征，因而對某些負目標有更好的濾除效果。

表2 車輛識別結果

應當指出，本文只研究了對小轎車的識別方法，檢測窗口的大小只是針對小轎車選取的，對其他類型的汽車(如卡車、公共汽車等)識別效果較差。

4 結論

1)本文針對車輛俯視圖像鏡像對稱的特點，提出了一種優化選取Haar-like特征進行車輛識別的方法，利用圖像對稱性剔除了大量重復特征。實驗結果表明，該方法相比傳統方法能大幅降低特征數量，提高檢測速度，并能降低誤檢率。

2)下一步研究的重點包括融合其他類型的特征描述方法、降低車輛邊緣處的重復識別率以及不同類型車輛的自動檢測方法等。

3)本文雖然以車輛檢測作為研究對象，但這種基于對稱性的目標檢測方法亦可應用于其他具有對稱性的圖像目標識別領域，也可以起到減少特征數量的作用。

[1] 余勇,鄭宏.基于形態神經網絡的高分辨率衛星影像車輛檢測[J].哈爾濱工程大學學報,2006,27(s1):189-193. Yu Y,Zheng H.Vehicle detection from high resolution satellite imagery based on the morphological neural network[J].Journal of Harbin Engineering University,2006,27(s1):189-193.

[2] 鄭宏,胡學敏.高分辨率衛星影像車輛檢測的抗體網絡[J].遙感學報,2009,13(5):913-927. Zheng H,Hu X M.An antibody networks approach for vehicle detection from high resolution satellite imagery[J].Journal of Remote Sensing,2009,13(5):913-927.

[3] 吳小波,楊遼,沈金祥,等.基于背景迭代搜索的高分辨遙感圖像汽車檢測[J].國土資源遙感,2011,23(4):46-51.doi:10.6046/gtzyyg.2011.04.09. Wu X B,Yang L,Shen J X,et al.Car detection by using high resolution remote sensing image based on background iterative search[J].Remote Sensing for Land and Resources,2011,23(4):46-51.doi:10.6046/gtzyyg.2011.04.09.

[4] 李世武,徐藝,孫文財,等.基于自反饋模板提取的車輛遙感圖像識別[J].華南理工大學學報:自然科學版,2014,42(5):97-102. Li S W,Xu Y,Sun W C,et al.Remote sensing image recognition for vehicles based on self-feedback template extraction[J].Journal of South China University of Technology:Natural Science Edition,2014,42(5):97-102.

[5] 秦彥光.高分辨率遙感圖像道路網及車輛信息提取[D].長春:吉林大學,2014. Qin Y G.Study on Road Network and Automobile Information Extraction Based on High Resolution Remote Sensing Image[D].Changchun:Jilin University,2014.

[6] 曹天揚,申莉.基于交通遙感圖像處理的車輛目標識別方法[J].計算機測量與控制,2014,22(1):222-224. Cao T Y,Shen L.Vehicles identification method based on traffic remote sensing image[J].Computer Measurement & Control,2014,22(1):222-224.

[7] Papageorgiou C P,Oren M,Poggio T.A general framework for object detection[C]//Proceedings of the 6th International Conference on Computer Vision.Bombay:IEEE,1998:555-562.

[8] Viola P,Jones M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition.Kauai,HI,USA:IEEE,2001,1:8-14.

[9] 蔡益紅.多特征融合的道路車輛檢測方法[J].計算技術與自動化,2013,32(1):98-102. Cai Y H.Fusing multiple features to detect on-road vehicles[J].Computing Technology and Automation,2013,32(1):98-102.

[10]Freund Y,Schapire R E.Experiments with a new Boosting algorithm[C]//Proceedings of the 13th Conference on Machine Learning.Murray Hill,NJ:AT&T Bell Laboratories,1996:148-156.

[11]Freund Y.Boosting a weak learning algorithm by majority[J].Information and Computation,1995,121(2):256-285.

[12]Schapire R E,Singer Y.Improved boosting algorithms using confidence-rated predictions[J].Machine Learning,1999,37(3):297-336.

[13]彭英輝,張東波,沈奔.基于多尺度匹配濾波和集成學習的眼底圖像微脈瘤檢測[J].計算機應用,2013,33(2):543-546,566. Peng Y H,Zhang D B,Shen B.Microaneurysm detection based on multi-scale match filtering and ensemble learning[J].Journal of Computer Applications,2013,33(2):543-546,566.

[14]莫琛.基于視覺的道路前方運動車輛檢測與跟蹤[D].廣州:華南理工大學,2013. Mo C.Vision-Based Front Vehicle Detection and Tracking[D].Guangzhou:South China University of Technology,2013.

(責任編輯： 劉心季)

Vehicle identification from remote sensing image based on image symmetry

CHEN Ren1,2， HUANG Huixian2， TAN Yuan2， WANG Chengxiao2

(1.HunanNOVASKYElectronicTechnologyLtd，Changsha410205，China； 2.TheCollegeofInformationEngineering，XiangtanUniversity，Xiangtan411105，China)

The plan view of the vehicle image is symmetrical, which leads to the existence of repeated characteristics in the image. In view of such a situation, the authors present an optimal selection method for Haar-like features. Within the detection window, the two types of features are selected: a half of the detection window’s height is taken, and then all the rectangular features are extracted; in the original detection window, only the features that are symmetrical about the symmetry axis of detection window are used, and the upper and lower parts’ difference is described. We can fully express the image information and also reduce the repetitive characteristics by using this method. The cascade classifier is trained by extracting these features in samples’ grayscale and saturation images, while each layer is trained by using AdaBoost algorithm. The experimental results show that the proposed approach can significantly reduce the number of features and improve the training speed, thus achieving good recognition results.

high resolution satellite image； vehicle detection； symmetrical image； AdaBoost algorithm

10.6046/gtzyyg.2016.04.21

陳任,黃輝先,譚媛,等.基于圖像對稱性的車輛遙感識別[J].國土資源遙感,2016,28(4)：135-140.(Chen R,Huang H X,Tan Y,et al.Vehicle identification from remote sensing image based on image symmetry[J].Remote Sensing for Land and Resources,2016,28(4)：135-140.)

2015-05-26；

2015-07-19

TP 751.1

A

1001-070X(2016)04-0135-06

陳任(1989-),男,碩士研究生,主要研究方向為遙感圖像處理和模式識別等。Email： h3398super@163.com。