基于改進(jìn)AdaBoost算法的飛機(jī)特征圖像識(shí)別

張 杰，馮巧寧

（中國(guó)飛行試驗(yàn)研究院 陜西 西安 710089）

飛行器特征點(diǎn)的計(jì)算機(jī)智能識(shí)別和檢測(cè)技術(shù)是航空試飛領(lǐng)域的關(guān)鍵技術(shù)之一。由于飛行器在大氣中的飛行速度相對(duì)較快，為了保證設(shè)備跟蹤的準(zhǔn)確性，采取基于圖像和視頻的快速識(shí)別算法就顯得非常的重要。特征點(diǎn)的識(shí)別在早期的研究中主要針對(duì)固定模板等具有較強(qiáng)約束條件并且沒(méi)有形變的特征點(diǎn)圖像。圖像中特征點(diǎn)的位置較為容易獲得，所以并沒(méi)有得到足夠的重視。隨著試驗(yàn)飛行的發(fā)展，圖像采集系統(tǒng)的復(fù)雜化，對(duì)飛行器特征點(diǎn)的識(shí)別算法提出了更高的要求。

圖像中特征區(qū)域識(shí)別算法經(jīng)過(guò)了3個(gè)主要的發(fā)展階段：幾何特征法、顏色閾值法和理論統(tǒng)計(jì)法。將統(tǒng)計(jì)概率的方法引入圖像識(shí)別領(lǐng)域其實(shí)是將圖像檢測(cè)的問(wèn)題轉(zhuǎn)化為模式識(shí)別的“是與否”問(wèn)題。首先，利用統(tǒng)計(jì)分析的方法來(lái)區(qū)分特征點(diǎn)與非特征點(diǎn)樣本各自的特征，其次構(gòu)建相關(guān)特征的分類器，最后使用分類器完成對(duì)圖像的檢測(cè)。經(jīng)常使用的方法有：子空間法、神經(jīng)網(wǎng)絡(luò)法、支持向量機(jī)法[1]、隱馬爾可夫模型法和Boosting法。

1 AdaBoost算法

集成學(xué)習(xí)算法不同于許多單模型機(jī)器學(xué)習(xí)算法，它一般產(chǎn)生多個(gè)預(yù)測(cè)模型，每個(gè)模型分別對(duì)樣本結(jié)果進(jìn)行獨(dú)立預(yù)測(cè)，單個(gè)模型預(yù)測(cè)結(jié)果之間通過(guò)加權(quán)組合等方式表決出該方法最終的預(yù)測(cè)結(jié)果。

1.1 弱學(xué)習(xí)與強(qiáng)學(xué)習(xí)

如果集成學(xué)習(xí)算法生成的單模型分類器之間的誤差成弱相關(guān)性，那么算法的最終分類準(zhǔn)確性要強(qiáng)于參與集成的單模型分類器。當(dāng)單模型分類器的分類誤差成相關(guān)性，則會(huì)造成參與集成的不同單模型分類器對(duì)同一樣本產(chǎn)生同樣誤判的情況。集成學(xué)習(xí)算法可以分為同構(gòu)集成學(xué)習(xí)和異構(gòu)集成學(xué)習(xí)。由于異構(gòu)算法的準(zhǔn)確度因?yàn)閷W(xué)習(xí)機(jī)理不同而難以采用統(tǒng)一的標(biāo)準(zhǔn)來(lái)衡量，所以使用不同的學(xué)習(xí)算法會(huì)增加集成學(xué)習(xí)的復(fù)雜度，因此目前普遍研究的是同構(gòu)集成學(xué)習(xí)。

集成機(jī)器學(xué)習(xí)中的弱分類器的設(shè)計(jì)是最主要的內(nèi)容。與一般機(jī)器學(xué)習(xí)算法不同，集成機(jī)器學(xué)習(xí)中不需要考慮弱分類器的線性不可分問(wèn)題。弱學(xué)習(xí)算法在大多數(shù)情況下比強(qiáng)學(xué)習(xí)算法更加容易獲得。如果兩者之間能夠通過(guò)某種方法轉(zhuǎn)換，那么生成算法的時(shí)候，僅需要找到一個(gè)略強(qiáng)于隨機(jī)猜測(cè)的弱學(xué)習(xí)算法，便能快速將它升級(jí)為強(qiáng)學(xué)習(xí)算法。

1.2 AdaBoost算法

Boosting算法是圖像檢測(cè)領(lǐng)域早期最為流行的集成機(jī)器學(xué)習(xí)方法之一。最初的Boosting算法需要預(yù)知弱學(xué)習(xí)算法正確率的下限，而這在實(shí)際使用的過(guò)程中無(wú)法實(shí)現(xiàn)[2]。Adaboost算法對(duì)常用的Boosting算法進(jìn)行了改進(jìn)和提升，在算法迭代時(shí)，根據(jù)每一輪的計(jì)算數(shù)據(jù)對(duì)初始樣本權(quán)重重新調(diào)整，降低正確分類的樣本權(quán)重，平衡給錯(cuò)誤分類的樣本。算法在每一輪迭代中集中主要精力應(yīng)對(duì)難以檢測(cè)的樣本，生成新的權(quán)重關(guān)系。每次迭代所產(chǎn)生的弱學(xué)習(xí)算法根據(jù)加權(quán)組合的方式組合成最終所需的強(qiáng)學(xué)習(xí)算法。AdaBoost算法生成過(guò)程如下所示[3]：

1）首先確定訓(xùn)練集：S＝{（x1，y1），…（xm，ym）}，其中xi∈X，為訓(xùn)練樣本集；yi∈Y，為分類標(biāo)志，并且Y∈{－1，+1}。

2）其次，初始化權(quán)值：D1（i）＝1/k，i＝1，2，…，k。

3）對(duì)于T輪循環(huán)，有t＝1，2，…，T：

a）對(duì)有權(quán)重分布的訓(xùn)練集學(xué)習(xí)，生成最初的預(yù)測(cè)函數(shù)hi：x→{－1，+1}；

b）計(jì)算預(yù)測(cè)函數(shù)ht的錯(cuò)誤概率：εt＝Pr（i，Di），當(dāng)εt＝0或者εt≥0.5時(shí)結(jié)束算法，且令T＝t－1；

c）令?t＝0.5×ln[（1－εt）/εt]；

d）更新樣本的權(quán)重D：

4）T輪訓(xùn)練結(jié)束后，獲得的結(jié)果預(yù)測(cè)函數(shù)是：H（x）＝sign

公式中的?t是經(jīng)過(guò)第t輪訓(xùn)練后生成的弱分類器hi（x）的性能評(píng)價(jià)因子，它的值由hi（x）作用于樣本集所產(chǎn)生的分類錯(cuò)誤的樣本權(quán)重之和εt來(lái)決定。所以，?t是εt的減函數(shù)，當(dāng)εt越小時(shí)?t越大，說(shuō)明該分類器hi（x）的重要性越高。

在訓(xùn)練算法的過(guò)程中，當(dāng)弱分類對(duì)樣本的識(shí)別誤差εt≥0.5時(shí)，說(shuō)明該分類器弱于隨機(jī)分類，無(wú)法使用，并且算法中止。這種情況下，在樣本跌代過(guò)程中，容易識(shí)別的樣本權(quán)重變大，難以識(shí)別的樣本權(quán)重減少，算法的更新機(jī)制失去效果。當(dāng)εt＝0時(shí)，訓(xùn)練集的所有樣本都能夠被正確的區(qū)分，所有樣本權(quán)重為零。

強(qiáng)分類器H（x）對(duì)訓(xùn)練樣本集識(shí)別的錯(cuò)誤率稱為訓(xùn)練誤判率，記為ε，則有：

由公式（3）可以發(fā)現(xiàn)，訓(xùn)練誤判率ε與訓(xùn)練輪數(shù)T成指數(shù)相反關(guān)系，即T越大時(shí)ε呈指數(shù)減小。在特殊情況下，假設(shè)所有的hi（x）誤判率都相等，則上式可等價(jià)為：

在集成學(xué)習(xí)算法中，強(qiáng)分類器的有效性與弱分類器的數(shù)量和誤判率密切相關(guān)。只要有足夠的資源訓(xùn)練出足夠多的弱分類器，就可以有效的降低強(qiáng)分類器的誤判率。就一般兩分類問(wèn)題而言，只需要弱學(xué)習(xí)算法的準(zhǔn)確性略高于隨機(jī)猜測(cè)，就能夠使Adaboost算法最終收斂。

2 AdaBoost算法與特征點(diǎn)識(shí)別

2.1 Harr-like特征

圖像的特征一般是指圖像的紋理和形狀特性，它無(wú)法直接從原始像素中獲得，而是需要對(duì)具有相關(guān)性的像素進(jìn)行編碼和歸納。Viola等[4]在此基礎(chǔ)上作了擴(kuò)展，使用3種類型4種形式的矩形特征，分別稱之為2－矩形特征、3－矩形特征、4－矩形特征，2－矩形特征又分為AB兩種，如圖1所示。

圖1 Viola特征庫(kù)Fig.1 Viola characteristic bank

矩形特征的數(shù)目越多，所對(duì)應(yīng)的弱分類器數(shù)目也越多，AdaBoost算法挑選最優(yōu)弱分類器的選擇范圍也就越大。增加的弱分類器中，AdaBoost算法將選擇優(yōu)于原弱分類器的進(jìn)行添加。強(qiáng)分類器的性能和結(jié)構(gòu)伴隨更多弱分類器加入而得到有效，最終提高了算法的檢測(cè)速度。

根據(jù)圖像的特性，增加了的6種特征原型[5]。

圖2 增加的特征原型Fig.2 Increased characteristic prototype

下文中分別使用E1和E2來(lái)區(qū)分增加3個(gè)特征原型（E、F、G）與增加6個(gè)特征原型（E、F、G、H、I、J）之后的實(shí)驗(yàn)過(guò)程。這兩個(gè)實(shí)驗(yàn)過(guò)程除了特征原型數(shù)量不同外，其他條件相同：它們使用相同樣本集，并且訓(xùn)練層數(shù)都為24層，對(duì)應(yīng)設(shè)置了一樣的各層強(qiáng)分類器的檢出率（0.998）和誤判率（0.6）。詳細(xì)實(shí)驗(yàn)數(shù)據(jù)及分析如下：

表1 E1的特征比例和平均概率（%）Tab.1 Characteristic proportion and average probability of E1

在2個(gè)實(shí)驗(yàn)中，特征原型C、D、E相對(duì)其他特征原型表現(xiàn)更為突出。如果以平均概率進(jìn)行評(píng)判，則擴(kuò)展后的6類特征E、F、G、H、I、J顯示出了良好的有效性。

表2 E2的特征比例和平均概率（%）Tab.2 Characteristic proportion and average probability of E2

2.2 特征圖片樣本集

特征點(diǎn)標(biāo)志在物方空間中的旋轉(zhuǎn)有3種：水平旋轉(zhuǎn)（俯仰）、垂直旋轉(zhuǎn)（搖擺）以及法向旋轉(zhuǎn)（傾斜），如圖3所示。

圖3 特征點(diǎn)旋轉(zhuǎn)模式Fig.3 Rotate mode of characteristic point

文中將特征點(diǎn)圖像在物方空間的旋轉(zhuǎn)角度分為5個(gè)類別：左側(cè)、左半側(cè)、正面、右半側(cè)和右側(cè)。對(duì)應(yīng)角度范圍如下：[-90°，-50°]、[-50°，-20°]、[-20°，+20°]、[+20°，+50°]、[+50°，+90°]。同時(shí)，每個(gè)類別兼顧±15°的法向旋轉(zhuǎn)和±20°的水平旋轉(zhuǎn)。訓(xùn)練中使用的樣本比例如表3所示。

表3 特征點(diǎn)樣本姿態(tài)統(tǒng)計(jì)Tab.3 Statistics of the sample taken from characteristic point attitude

實(shí)驗(yàn)結(jié)果表明，幾個(gè)檢測(cè)器對(duì)側(cè)面圖像和搖擺圖像都具有較強(qiáng)的識(shí)別能力。結(jié)論如下：1）特征圖像樣本中旋轉(zhuǎn)圖像的比例越大，強(qiáng)分類器的訓(xùn)練難度也就越大，兩者成正比關(guān)系；2）訓(xùn)練集中一定比例的旋轉(zhuǎn)樣本能增加檢測(cè)器對(duì)旋轉(zhuǎn)特征圖像的檢測(cè)能力。

2.3 非特征圖像樣本集

假設(shè)非特征圖像樣本集容量為N，訓(xùn)練一個(gè)L層的檢測(cè)器，并且該檢測(cè)器的每層強(qiáng)分類器的誤判率都等于f。每一層非特征圖像樣本能夠被算法被識(shí)別的概率為1-f，在訓(xùn)練時(shí)每一層需要淘汰N×（1-f）個(gè)非特征點(diǎn)樣本。當(dāng)進(jìn)行第i層強(qiáng)分類器訓(xùn)練時(shí)，補(bǔ)充的非特征圖像樣本需要通過(guò)前i-1層的考核，只有被所有i-1層強(qiáng)分類器誤判的非特征圖像樣本才能選用至第i層的非特征點(diǎn)樣本集中。所以第i層訓(xùn)練時(shí)需要輸入的候選錯(cuò)誤樣本數(shù)量為：

由公式（5）可見(jiàn)，算法訓(xùn)練的層數(shù)越多，需要準(zhǔn)備的錯(cuò)誤樣本數(shù)量成指數(shù)增長(zhǎng)。如果設(shè)定f=0.6，N=5 000，訓(xùn)練第20層強(qiáng)分類器需要的樣本數(shù)量將達(dá)到0.33億。如此海量的樣本只能通過(guò)電腦窮舉來(lái)完成。

是一種選取非特征點(diǎn)樣本的有效方法：在訓(xùn)練過(guò)程中準(zhǔn)備大量的不含有特征圖像的樣本集，使用前i-1層強(qiáng)分類器對(duì)該圖片樣本集進(jìn)行搜索識(shí)別，將誤判為特征圖像的樣本加入到非特征點(diǎn)樣本集中。該種方法稱為“bootstrap”法。搜索的可以采取遍歷窮舉的策略，在大小為W×H的圖片上窮舉出所有w×h大小的子圖像，可得到（W-w）×（H-h）個(gè)候選樣本。對(duì)于一個(gè)訓(xùn)練系統(tǒng)，至少要滿足最后一層強(qiáng)分類器的訓(xùn)練，因此所需要的非特征點(diǎn)的數(shù)目最少為：

式中，N為非特征點(diǎn)樣本集大小，f為強(qiáng)分類器誤判率，L為級(jí)聯(lián)分類器層數(shù)。

訓(xùn)練開(kāi)始幾層強(qiáng)分類器時(shí)有可能出現(xiàn)大量相似的非特征點(diǎn)樣本的情況，本文使用如下策略進(jìn)行避免：初始時(shí)以相對(duì)較大的搜索步長(zhǎng)遍歷，獲得非特征點(diǎn)樣本，用于前幾層強(qiáng)分類器的訓(xùn)練；同時(shí)隨著層數(shù)的增加，逐步減小搜索步長(zhǎng)，生成更多不同的非特征點(diǎn)樣本。

3 檢測(cè)及實(shí)驗(yàn)結(jié)果

圖4是特征圖像檢測(cè)系統(tǒng)框架，其中“檢測(cè)子窗口”是指分別使用各層強(qiáng)分類器對(duì)子窗口進(jìn)行特征圖像的識(shí)別檢測(cè)。通常需要進(jìn)行檢測(cè)識(shí)別的圖像分辨率要大于樣本圖像分辨率（24×24），需要對(duì)圖像本身進(jìn)行比例的縮放，形成一個(gè)金字塔狀待檢圖像序列。采用的插值采樣的方法對(duì)待檢圖像進(jìn)行尺度變化，按照一定的步長(zhǎng)逐級(jí)縮小。同時(shí)，識(shí)別算法還需要對(duì)同一幅圖像的不同部位進(jìn)行檢測(cè)。假設(shè)檢測(cè)窗口每次平移k個(gè)像素，那么k的大小選擇將會(huì)直接影響程序的識(shí)別精度和速度。當(dāng)k的數(shù)值取得較大時(shí)，提高了檢測(cè)速度，降低了檢測(cè)的精度；相反，如果k值取的較小，雖然會(huì)提高檢測(cè)的精度，但卻大大降低了檢測(cè)速度。

圖4 檢測(cè)系統(tǒng)框架Fig.4 Framework of detecting system

實(shí)驗(yàn)表明，待測(cè)圖像縮放比例為1.2時(shí)，平移步長(zhǎng)k=4，可以兼顧算法對(duì)速度和進(jìn)度的雙重要求，識(shí)別結(jié)果較為滿意。訓(xùn)練和識(shí)別程序運(yùn)行平臺(tái)環(huán)境如下：Intel Xeon X3210四核2.13 GHz CPU、1G DDR400內(nèi)存。實(shí)驗(yàn)結(jié)果如表4所示。

表4 實(shí)驗(yàn)結(jié)果Tab.4 Test results

4 結(jié)束語(yǔ)

飛行器特征圖像識(shí)別是計(jì)算機(jī)視覺(jué)和圖像處理學(xué)科在航空試飛領(lǐng)域的一個(gè)熱點(diǎn)研究方向，廣泛的應(yīng)用于試飛實(shí)驗(yàn)過(guò)程中的智能安全監(jiān)控、圖像實(shí)時(shí)判讀解析等方面。本文實(shí)驗(yàn)性采用AdaBoost算法，并保存分類結(jié)果以改進(jìn)訓(xùn)練過(guò)程，提高了訓(xùn)練速度，綜合考慮工程應(yīng)用中效率與精度的需求，解決了飛行試驗(yàn)過(guò)程中的目標(biāo)提取與跟蹤問(wèn)題。在此基礎(chǔ)上，發(fā)現(xiàn)弱學(xué)習(xí)算法對(duì)強(qiáng)分類器的結(jié)構(gòu)、性能有著很大影響，高效的訓(xùn)練算法可以加快系統(tǒng)的收斂速度。同時(shí)以消耗訓(xùn)練時(shí)間為代價(jià)，擴(kuò)展矩形特征的類型數(shù)量可以有效的提高算法對(duì)特征圖像的識(shí)別能力。

[1]Vapnik.The nature of statistical learning theory[M].New York：Spinger-Verlag，1995.

[2]涂承勝.Boosting理論基礎(chǔ)[J].計(jì)算機(jī)科學(xué)，2004，31（10）：11－15.TU Cheng-sheng.The theory base of boosting[J].Computer Science，2004，31（10）：11－15.

[3]于玲.集成學(xué)習(xí)：Boosting算法綜述[J].模式識(shí)別與人工智能，2004，17（1）：52－60.YU Ling.Assemble learning：a survey of boosting algrorithms[J].Pattern Recognition And Artificial Intelligence，2004，17（1）：52－60.

[4]張宏林.Visual C++數(shù)字圖像模式識(shí)別技術(shù)及工程實(shí)踐[M].北京：人民郵電出版社，2003.

[5]Viola P，Jones M.Robust real-time object detection.cambridge research laboratory，Technical report series[R].CRL，2001.

[6]Lienhart R，Maydt J.An extended set of Harr-like features for rapid object detection[C]//IEEE ICIP，2002：900－903.