基于級(jí)聯(lián)和自適應(yīng)子分類的目標(biāo)檢測(cè)方法

鄭 耀，方向忠，路慶春

(上海交通大學(xué)電子工程系，上海 200240)

基于圖像的實(shí)際目標(biāo)檢測(cè)如行人檢測(cè)、車輛檢測(cè)、人臉檢測(cè)［1］等是一個(gè)非常具有挑戰(zhàn)性的問(wèn)題。由于實(shí)際應(yīng)用中圖像的場(chǎng)景往往比較復(fù)雜，同一類物體常常會(huì)表現(xiàn)出不同的姿態(tài)、紋理、顏色，如何能夠快速準(zhǔn)確地識(shí)別這些目標(biāo)就成為了人們廣泛研究的問(wèn)題。

基于機(jī)器學(xué)習(xí)的圖像的目標(biāo)檢測(cè)方法主要有:基于決策樹的目標(biāo)檢測(cè)方法，基于超平面分割的目標(biāo)檢測(cè)方法，基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法等。基于決策樹的檢測(cè)方法通常采用AdaBoost或類似的方法進(jìn)行訓(xùn)練。常常使用 Haar－like 特征，Edge－let特征，或者 Image－strip 特征［2］等。使用該類方法通常可以得到很快的檢測(cè)速度。基于SVM的目標(biāo)檢測(cè)方法通過(guò)利用支持向量獲得基于超平面分割的分類器，通常配合HOG特征［3］、LBP特征地等。該類方法可以相對(duì)準(zhǔn)確地進(jìn)行目標(biāo)分類和檢測(cè)，因?yàn)樵擃惙椒ㄔ诜诸愡^(guò)程中需要使用所有提取的特征。另外還有基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法等。通常來(lái)說(shuō)，一類方法使用的特征數(shù)越多，信息量越大，檢測(cè)的準(zhǔn)確度越高，但是同時(shí)，其消耗的運(yùn)算量也越多［4］。

通過(guò)綜合利用快速檢測(cè)和準(zhǔn)確檢測(cè)兩類方法的優(yōu)點(diǎn)，本文提出了一種兩級(jí)級(jí)聯(lián)的目標(biāo)檢測(cè)方法。第一級(jí)被設(shè)計(jì)成具有快速檢測(cè)的檢測(cè)器，它能夠檢測(cè)到幾乎所有的目標(biāo)，同時(shí)，也會(huì)將很多非目標(biāo)的檢測(cè)窗當(dāng)成正確的檢測(cè)窗。即具有很高的檢出率和相對(duì)較高的錯(cuò)檢率。然后，對(duì)檢測(cè)出的窗口進(jìn)行分類，將檢出的具有相似大小和相近位置的窗口分為一組。可以認(rèn)為，正確的目標(biāo)出現(xiàn)位置和目標(biāo)的大小最有可能是一個(gè)分組檢出窗口對(duì)應(yīng)的中心位置和平均大小，同一組內(nèi)檢出的窗口將按照它們距離分組中心的距離進(jìn)行排序。在第二級(jí)，設(shè)計(jì)的分類器將具有非常高的準(zhǔn)確度，以此來(lái)對(duì)第一級(jí)的檢出結(jié)果進(jìn)行確認(rèn)。為了實(shí)現(xiàn)第二級(jí)分類器的高識(shí)別率，首先將待檢測(cè)的目標(biāo)按照顏色、姿勢(shì)等特征進(jìn)行子分類。利用交叉驗(yàn)證的方法，可以自適應(yīng)地獲得子分類的分類數(shù)和最終的分類結(jié)果。然后對(duì)于不同的子分類，將訓(xùn)練出不同的識(shí)別模型。對(duì)于待檢驗(yàn)的窗口，首先判斷它屬于哪一個(gè)子分類，再用對(duì)應(yīng)的識(shí)別模型進(jìn)行判別。

1 目標(biāo)檢測(cè)流程

圖1為所設(shè)計(jì)的兩級(jí)分類器的系統(tǒng)框圖。

圖1 目標(biāo)檢測(cè)流程

圖1中的第一級(jí)給出的結(jié)果是一些排好序的檢出窗口組。對(duì)于每一個(gè)檢出窗口組，使用第二級(jí)級(jí)聯(lián)分類器進(jìn)行準(zhǔn)確的識(shí)別，判斷該窗口組的檢出內(nèi)容是否是需要的檢測(cè)目標(biāo)。第一級(jí)中，因?yàn)檎鎸?shí)目標(biāo)更有可能出現(xiàn)在每一個(gè)檢出分組的中心位置，其大小更有可能是每一個(gè)分組內(nèi)檢出窗口的平均大小，所以每一組內(nèi)的排序依據(jù)是該組每一個(gè)檢出窗口到該分組的中心位置和平均大小的距離。第二級(jí)識(shí)別的方法是:對(duì)于第一級(jí)的每一組檢出窗口，按組內(nèi)順序進(jìn)行判斷。如果一個(gè)窗口被判斷為是正確的檢測(cè)目標(biāo)，則認(rèn)為該組為正確的檢測(cè)目標(biāo);輸出被檢測(cè)正確的檢出窗口的位置和大小;繼續(xù)進(jìn)行下一組檢出窗口的檢測(cè)。如果全組檢測(cè)窗口均被判斷為不是正確的檢測(cè)目標(biāo)，則拋棄該檢測(cè)窗口組。

后處理過(guò)程將相互重疊區(qū)域比較大的檢出窗口進(jìn)行聚類和取平均值，作為最終的檢測(cè)結(jié)果。設(shè)計(jì)的細(xì)節(jié)將在下文中介紹。

2 第一級(jí):快速檢測(cè)和分組

圖2為第一級(jí)檢測(cè)和分組的示意圖。首先采用Ada－Boost訓(xùn)練出的級(jí)聯(lián) Haar－like 檢測(cè)器［5－6］作為基本檢測(cè)器進(jìn)行快速的目標(biāo)檢測(cè)。通過(guò)基本檢測(cè)器，將可以得到一系列檢出窗口。如圖2中間所示，共檢測(cè)出7個(gè)可能為目標(biāo)的窗口。

圖2 第一級(jí)結(jié)構(gòu)示例圖

然后采用投票和聚類的方法對(duì)所有檢出的窗口進(jìn)行快速的聚類，得到一系列的分組。對(duì)于每個(gè)分組，根據(jù)每一個(gè)檢出窗口距離分組中心和平均分組大小的遠(yuǎn)近進(jìn)行排序。如圖2右側(cè)所示，7個(gè)檢測(cè)出的窗口被分成了3組。分組和排序的方法如下:

兩個(gè)檢出窗口的距離定義為

式中:centeri是第i個(gè)檢出窗口的中心位置坐標(biāo)，areai是第i個(gè)檢出窗口的面積大小。根據(jù)本文對(duì)檢測(cè)窗口之間距離的定義，設(shè)計(jì)了對(duì)快速目標(biāo)檢測(cè)的檢出窗口進(jìn)行分組和排序的方法。

首先對(duì)每一個(gè)檢出窗口進(jìn)行投票，偽代碼為:

然后，根據(jù)式(1)中定義的距離，相近的檢出窗口將被聚類到同一個(gè)組。同時(shí)，每個(gè)組內(nèi)的子窗口將根據(jù)投票的結(jié)果和距離組中心的距離進(jìn)行排序，偽代碼為:

3 第二級(jí):基于自適應(yīng)子分類的準(zhǔn)確識(shí)別

在實(shí)際場(chǎng)景中，即使是同一類物體，相互之間的差異也是非常巨大的，如不同的光照、外形、顏色、姿態(tài)等，如圖3所示。所以，需要建立不同的模型來(lái)識(shí)別同一類目標(biāo)。

相關(guān)工作［7］顯示，將一類目標(biāo)分成若干個(gè)子類進(jìn)行識(shí)別檢測(cè)，將能夠有效地提升檢測(cè)的性能。在第二級(jí)，將訓(xùn)練數(shù)據(jù)集分成K個(gè)子類。其中K是一個(gè)通過(guò)最優(yōu)化交叉驗(yàn)證結(jié)果自適應(yīng)計(jì)算出的參數(shù)，K的計(jì)算將在下文中進(jìn)行描述。第二級(jí)準(zhǔn)確識(shí)別的系統(tǒng)框圖如圖4所示。通過(guò)將一類目標(biāo)分成K個(gè)子類，訓(xùn)練出K個(gè)分類器。每次判斷檢測(cè)窗口是否為待檢測(cè)目標(biāo)時(shí)，首先選擇合適的分類器，然后用合適的分類器進(jìn)行判別。這樣大大提高了識(shí)別的準(zhǔn)確性。

圖3 左圖為“樹”;右圖為“樹”對(duì)應(yīng)在提取的特征空間上的一種可能的分布

圖4 第二級(jí)結(jié)構(gòu)

不失一般性，在特征池中只提取圖像的HOG特征。這一類特征常常用來(lái)描述目標(biāo)的結(jié)構(gòu)化信息。本文在計(jì)算HOG特征時(shí)，采用的塊大小為16×16像素，細(xì)胞單元大小為8×8像素，相鄰塊之間交疊為8個(gè)像素，使用9通道直方圖。對(duì)于一個(gè)80×32的窗口來(lái)說(shuō)，可以計(jì)算出一個(gè)維度為972的HOG特征向量，記為v。

可以看出，特征向量v是一個(gè)高維度的歐氏空間上的向量。對(duì)應(yīng)的正訓(xùn)練樣本集就是一組特征向量的集合:P={v1，v2，…，vM}其中，M是正訓(xùn)練樣本的圖片數(shù)。使用K－means算法將整個(gè)正樣本集分成K個(gè)子類:P1，P2，…，PK，其中P=P1∪P2，…，∪PK。負(fù)樣本訓(xùn)練集對(duì)應(yīng)的特征向量為N。于是，K組訓(xùn)練集合分別是:(Pi，N)其中i=1，2，…，K。使用這K組訓(xùn)練集合可以訓(xùn)練出K個(gè)分類器:fi其中i=1，2，…，K。對(duì)于一個(gè)待識(shí)別圖像I，對(duì)應(yīng)的特征向量為vx，首先計(jì)算它到K組訓(xùn)練集合中每個(gè)集合Pj所有向量的均值ˉvj的歐氏距離‖vx－‖，并選擇距離最小的一組Pi。通過(guò)使用Pi對(duì)應(yīng)訓(xùn)練出的分類器來(lái)對(duì)當(dāng)前圖像進(jìn)行識(shí)別。識(shí)別結(jié)果由fi(vx)給出。將訓(xùn)練一系列分類器到選擇合適的分類器對(duì)圖像進(jìn)行識(shí)別的過(guò)程(即圖4所示所有過(guò)程)抽象為訓(xùn)練和使用分類器FK，其中K是子類的個(gè)數(shù)。

為了自適應(yīng)地完成“子分類”的工作，采用交叉驗(yàn)證中的“留一驗(yàn)證”的方法來(lái)獲得最合適的子分類個(gè)數(shù)K，并自動(dòng)完成子分類工作。假定整個(gè)訓(xùn)練集為S=(P，N)，對(duì)應(yīng)的標(biāo)簽集合D為{1，1，…，1，－1，－1，…，－1}，其中標(biāo)簽為1表示對(duì)應(yīng)的樣本為正樣本，－1表示對(duì)應(yīng)的樣本為負(fù)樣本。記si是S中的第i個(gè)向量，di是D中的第i個(gè)元素。那么K可以定義為如下最優(yōu)化問(wèn)題的解

式中:是使用特征向量集S－{si}和對(duì)應(yīng)的標(biāo)簽集D－{di}訓(xùn)練出來(lái)的分類器。通過(guò)全空間搜索的方法，可以求解出最優(yōu)的K。

在求解出最優(yōu)的K之后，可以得到第二級(jí)分類器FK。如圖1所示，利用FK對(duì)第一級(jí)的結(jié)果進(jìn)行再判別，得到的檢出窗口將被認(rèn)為是待檢測(cè)的目標(biāo)。為了消除重復(fù)檢出的窗口，進(jìn)行簡(jiǎn)單的后處理工作。

通過(guò)兩級(jí)檢測(cè)器的窗口，如果相互之間重疊的面積足夠大，則認(rèn)為是同一類，即

式中:centeri是第i個(gè)子窗口的中心位置;areai是第i個(gè)子窗口的面積。最終的輸出結(jié)果是每一類的中心位置和平均尺寸。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)采用了在目標(biāo)檢測(cè)問(wèn)題中被廣泛使用的UIUC車輛檢測(cè)數(shù)據(jù)集［8］。該數(shù)據(jù)集包含550個(gè)車輛側(cè)邊的圖像作為正訓(xùn)練樣本和500張無(wú)車圖像作為負(fù)訓(xùn)練樣本;包含170張單一尺度的車輛檢測(cè)測(cè)試圖像，圖像中共有200輛車;包含108張多尺度車輛檢測(cè)測(cè)試圖像，圖像內(nèi)包括139輛車。作為對(duì)樣本集的簡(jiǎn)單擴(kuò)充，從網(wǎng)絡(luò)上收集了2 400張不包含車輛的圖像，同時(shí)，對(duì)已有的正樣本進(jìn)行左右鏡像變換。最終的訓(xùn)練集中包含了1 100張車輛圖片和2 900張無(wú)車圖片，訓(xùn)練樣本如圖5所示。這些訓(xùn)練圖像首先被統(tǒng)一到尺寸80×32。對(duì)于第一級(jí)快速檢測(cè)，訓(xùn)練分類器使得虛警率低于5×10－4，訓(xùn)練出的決策樹高度為10左右。第一級(jí)的檢測(cè)結(jié)果如圖6a所示，不同的分組被使用不同的顏色標(biāo)注出來(lái)。第二級(jí)計(jì)算出的最優(yōu)K數(shù)值為2，對(duì)應(yīng)的K－means算法將正樣本分成的兩個(gè)子類分別為車頭向左和車頭向右兩種類，如圖6b所示。第二級(jí)最終檢測(cè)結(jié)果如圖6c所示。圖6d顯示了針對(duì)高清圖像的車輛檢測(cè)結(jié)果。

4.1 檢測(cè)準(zhǔn)確性

對(duì)于目標(biāo)檢測(cè)準(zhǔn)確性問(wèn)題，采用常用的圖像目標(biāo)檢測(cè)的正確檢測(cè)定義［4］。如果一個(gè)檢測(cè)到的窗口和真實(shí)的目標(biāo)所在的位置大小重合的面積超過(guò)它們所覆蓋的總面積，就認(rèn)為該檢測(cè)到的窗口為正確的窗口，否則認(rèn)為檢測(cè)出現(xiàn)了錯(cuò)誤。具體定義如下

圖5 訓(xùn)練樣本示例

圖6 目標(biāo)檢測(cè)結(jié)果示例

式中:Aread是檢測(cè)到的窗口，Areag是某個(gè)目標(biāo)所在的真實(shí)位置。通常使用查準(zhǔn)率(Precision)和查全率(Recall)來(lái)衡量目標(biāo)檢測(cè)算法的優(yōu)劣。其定義如下

本文使用EER參數(shù)(當(dāng)Precision和Recall相等時(shí)的查準(zhǔn)率)比較了所提出的方法和現(xiàn)有算法的檢測(cè)準(zhǔn)確率。結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果顯示，本方法在檢測(cè)的準(zhǔn)確性上優(yōu)于現(xiàn)有的算法。

表1 不同方法的EER比較 %

4.2 運(yùn)算復(fù)雜度

計(jì)算并比較了在UIUC車輛檢測(cè)單尺度測(cè)試圖像集上的各種算法的運(yùn)算復(fù)雜度。所有的方法均使用VisualStudio 2008 C++環(huán)境實(shí)現(xiàn)。在一臺(tái) I7 2600 CPU、4 Gbyte內(nèi)存的機(jī)器上運(yùn)行。計(jì)算了每個(gè)檢測(cè)窗口平均需要耗費(fèi)的判別時(shí)間，比較結(jié)果如表2所示。

表2 UIUC數(shù)據(jù)集每個(gè)檢測(cè)窗口需要的檢測(cè)時(shí)間 s

可以看出，本文所述的方法具有相對(duì)較快的運(yùn)算速度。在UIUC單尺度測(cè)試集上，只用了0.9 s完成對(duì)全部170張圖片，共1 993 987個(gè)檢測(cè)窗口的目標(biāo)檢測(cè)。

為了進(jìn)一步測(cè)試目標(biāo)檢測(cè)的準(zhǔn)確率和運(yùn)算速度，使用了一些高分辨率圖像(1 280×960)進(jìn)行多尺度目標(biāo)檢測(cè)，如圖6d所示。平均每幅圖像檢測(cè)時(shí)間為0.7 s左右。

5 結(jié)論

本文提出了一種快速和高準(zhǔn)確率的目標(biāo)檢測(cè)方法。主要貢獻(xiàn)有:1)提出了2級(jí)級(jí)聯(lián)目標(biāo)檢測(cè)的方法。使得檢測(cè)的速度和檢測(cè)的準(zhǔn)確率得到了有效的兼顧。2)提出了通過(guò)自適應(yīng)子分類的方法，利用分而治之的思想，解決同一類待檢測(cè)目標(biāo)相互之間差異大的問(wèn)題。有效地提升了檢測(cè)的準(zhǔn)確率。

UIUC數(shù)據(jù)集以及一些高清圖像的測(cè)試結(jié)果表明，所提出的檢測(cè)方法可以在達(dá)到很高的檢測(cè)速度同時(shí)，獲得非常高的檢測(cè)準(zhǔn)確度。第二級(jí)的實(shí)驗(yàn)結(jié)果表明，通過(guò)將同一類目標(biāo)進(jìn)行子分類的方法，將能夠有效提升目標(biāo)檢測(cè)的準(zhǔn)確性。

同時(shí)，可以通過(guò)在第一級(jí)結(jié)合更多的特征如Imagestrip特征［2］等，在第二級(jí)使用更多的圖像特征等來(lái)獲得更好的檢測(cè)率。

:

［1］閆娟，程武山，孫鑫.人臉識(shí)別的技術(shù)研究與發(fā)展概況［J］.電視技術(shù)，2006(12):81－84.

［2］ZHENG W，LIANG L.Fast car detection using image strip features［C］//Proc.IEEE Conference Computer Vision and Pattern Recognition.Miami，USA:IEEE Press，2009:2703－2710.

［3］DALAL N，TRIGGS B.Histograms of oriented graients for human detection［C］//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos，CA，USA:IEEE Press，2005:886－893.

［4］REN Haoyu，HENG Cherkeng，ZHENG Wei.Fast object detection using boosted co－occurrence histograms of oriented gradients［C］//Proc.IEEE International Conference on Image Processing(ICIP).HongKong:IEEE Press，2010:2705－2708.

［5］LIENHART R，MAYDT J.An extended set of Haar－like features for rapid object detection［C］//Proc.International Conference on Image Processing.New York，USA:IEEE Press，2002:900－903.

［6］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple features［C］//Proc.IEEE Conference Computer Vision and Pattern Recognition.Kauai，USA:IEEE Press，2001:I－511.

［7］KUO N R.Robust multi－view car detection using unsupervised sub－categorization［C］//Proc.Applications of Computer Vision.Salt Lake City，USA:IEEE Press，2009:1－8.

［8］AGARWAL A A，ROTH D.Learning to detect objects in images via a sparse，part－based representation［J］.Pattern Analysis and Machine Intelligence，2004，26(11):1475－1490.

［9］WU B，NEVATIA R.Cluster boosted tree classifier for multi－view，multi－pose object detection［C］//Proc.IEEE Conference International Conference on Computer Vision.Rio de Janeiro，Brazil:IEEE Press，2005:1－8.