基于集成學(xué)習(xí)的取景圖像自動(dòng)分類方法*

楊彬蔚 張怡芳

(1.浙江機(jī)電職業(yè)技術(shù)學(xué)院信息技術(shù)系,浙江杭州 310053;2.浙江機(jī)電職業(yè)技術(shù)學(xué)院國(guó)際交流系,浙江杭州 310053)

1 引言

智能手機(jī)的廣泛應(yīng)用,使得數(shù)碼照片的拍攝群體大大增加。然而,要真正拍攝出一張好的照片,除了一般的取景構(gòu)圖技術(shù),也需要根據(jù)場(chǎng)景合理使用一些參數(shù),例如白平衡,快門值,曝光補(bǔ)償?shù)鹊脑O(shè)置。但對(duì)于大多數(shù)未曾學(xué)過攝影技術(shù),卻想要拍出漂亮照片的普通人群而言,并不懂得如何去合理設(shè)置參數(shù)。因此,如何根據(jù)取景框中的圖像,進(jìn)行高品質(zhì)相機(jī)參數(shù)自動(dòng)調(diào)整對(duì)于大多數(shù)普通攝影愛好者而言尤有意義。

相機(jī)參數(shù)的選擇主要取決于場(chǎng)景,例如:拍攝水滴,煙花等需要設(shè)置快門值;拍攝夜景需要增加曝光補(bǔ)償;拍攝晚霞需要調(diào)節(jié)白平衡等。所以,如何根據(jù)取景框中的圖像進(jìn)行合理的場(chǎng)景識(shí)別是相機(jī)參數(shù)合理選擇的關(guān)鍵問題。

場(chǎng)景識(shí)別是一個(gè)分類問題,即如何將取景圖像自動(dòng)分類到特定場(chǎng)景中。當(dāng)前,圖像分類技術(shù)在計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)領(lǐng)域中廣受關(guān)注,關(guān)于圖像分類的方法也是層出不窮。這些方法的主要思想集中在圖像特征的提取,以及分類模型的構(gòu)建這兩個(gè)問題的解決。由于圖像類型的多樣化,特征體現(xiàn)多樣化,而不同的分類模型也具有一定的局限性,因此現(xiàn)在還沒有完全智能化的圖像分類方法能針對(duì)所有圖像,主要研究的還是針對(duì)特定的圖像研究合適的分類方法。如在文獻(xiàn)[1]中提到應(yīng)用神經(jīng)網(wǎng)絡(luò)對(duì)水果圖像進(jìn)行分類。文獻(xiàn)[2]中提到的支持向量機(jī)的分類方法則適用于醫(yī)學(xué)圖像。文獻(xiàn)[3]中則是針對(duì)指紋圖像的分類提出了一種基于傾斜決策樹的隨機(jī)森林方法。而本文研究重點(diǎn)則針對(duì)攝影中的自然圖像進(jìn)行分類,關(guān)于自然圖像的分類,當(dāng)前研究文獻(xiàn)也很多,如在文獻(xiàn)[4][5]中,通過研究圖像特征的提取,在支持向量機(jī)算法中應(yīng)用這些特征,實(shí)現(xiàn)了對(duì)部分場(chǎng)景圖的分類。在文獻(xiàn)[6]中,選擇PCA-SIFT特征向量,用于貝葉斯決策,實(shí)現(xiàn)自然圖像分類。在文獻(xiàn)[7]中則是將圖像進(jìn)行Haar變化后,提取特征并應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)這種深度學(xué)習(xí)模型中,從而實(shí)現(xiàn)了自然場(chǎng)景圖像分類。

圖1 初創(chuàng)第一個(gè)弱分類器

本文則提出一種基于boosting學(xué)習(xí)[8]的分類方法,boosting算法是一種集成學(xué)習(xí)的算法,其核心思想是將一組弱分類器集成為一個(gè)強(qiáng)分類器。早先的boosting算法并不實(shí)用,但后來出現(xiàn)了大量實(shí)用的基于boosting思想的算法,譬如AdaBoost[10][11],GradientBoost[12],FCBoost[13]等,這些算法被廣泛應(yīng)用于人臉識(shí)別,目標(biāo)檢測(cè)與識(shí)別等領(lǐng)域。其中AdaBoost是根據(jù)Boosting算法思想設(shè)計(jì)出的一種具有代表性的實(shí)用算法。這是一種自適應(yīng)的Boosting算法,其核心思想分為以下幾步:首先,初始化訓(xùn)練樣本的權(quán)重。然后,應(yīng)用弱分類器對(duì)訓(xùn)練樣本進(jìn)行判斷,調(diào)高錯(cuò)誤判斷的樣本權(quán)重,調(diào)低正確判斷的樣本權(quán)重。再次,應(yīng)用新的弱分類器對(duì)權(quán)重更新過訓(xùn)練樣本重新進(jìn)行判斷,重復(fù)上一步的操作,對(duì)權(quán)重進(jìn)行調(diào)整,不斷迭代進(jìn)行,直到達(dá)到某個(gè)預(yù)定的足夠小的錯(cuò)誤率或達(dá)到預(yù)先指定的最大迭代次數(shù)。最后,將各個(gè)弱分類器組合成強(qiáng)分類器。在強(qiáng)分類器中,分類誤差率小的弱分類器的權(quán)重被加大,分類誤差率大的弱分類器的權(quán)重被降低。

本文提出的相機(jī)取景圖場(chǎng)景自動(dòng)分類方法主要基于AdaBoost算法思路,算法受文獻(xiàn)[4][5][6][7]的影響,將圖像的局部或者全局視覺特征納入到聚類算法中。同時(shí),算法受文獻(xiàn)[14]的影響,考慮將高斯函數(shù)運(yùn)用到分類器的構(gòu)建中。算法核心思想分為兩步,即訓(xùn)練與判斷。訓(xùn)練階段主要通過對(duì)已知類別圖像的訓(xùn)練獲取相應(yīng)的強(qiáng)分類器。訓(xùn)練階段分三步,首先,提取訓(xùn)練圖像的局部或者全局特征值。然后,應(yīng)用Gaussian函數(shù)構(gòu)建弱分類器。最后,基于AdaBoost算法基本思想,通過迭代計(jì)算,修改弱分類器的系數(shù),從而構(gòu)建強(qiáng)分類器。在判斷階段,則通過構(gòu)建的強(qiáng)分類器對(duì)目標(biāo)圖像進(jìn)行類別判斷。

本文組織結(jié)構(gòu)如下,第二節(jié)主要介紹訓(xùn)練階段的過程。第三節(jié)介紹判斷的過程。第四節(jié)給出實(shí)驗(yàn)結(jié)果。最后是結(jié)論。

圖2 創(chuàng)建強(qiáng)分類器

2 訓(xùn)練

本節(jié)主要說明算法的訓(xùn)練階段。算法的訓(xùn)練階段主要分三個(gè)階段:首先是獲取訓(xùn)練圖的特征向量;第二個(gè)階段是創(chuàng)建某類圖的初始弱分類器;第三個(gè)階段是通過訓(xùn)練不斷調(diào)整訓(xùn)練數(shù)據(jù)的權(quán)重以及各個(gè)弱分類器的權(quán)重系數(shù),直至獲得最終的強(qiáng)分類器。其中初始弱分類器的創(chuàng)建流程和AdaBoost算法調(diào)整弱分類器權(quán)重,創(chuàng)建強(qiáng)分類器的過程分別如圖1和圖2所示。

圖1圖2中,圖像類別索引用c表示, c = 1 ,...,C,C表示已知類別的數(shù)量,在本文實(shí)驗(yàn)中, C = 5。n和m分別表示在初創(chuàng)弱分類器時(shí)從已知類別訓(xùn)練圖中抽取的特征向量數(shù)及之后創(chuàng)建其它弱分類器時(shí)從所有訓(xùn)練圖中抽取特征向量的數(shù)量。

由上圖可以看出,要進(jìn)行訓(xùn)練,首先需要對(duì)訓(xùn)練圖進(jìn)行特征向量的提取。在文獻(xiàn)[4][5][6][7]中,均提出針對(duì)場(chǎng)景圖,需要進(jìn)行多特征的融合。在文獻(xiàn)[15][16]中提出采用圖像的顏色,紋理等特征融合成特征向量。在文獻(xiàn)[16]中,通過構(gòu)建差分尺度空間,尋找滿足條件的關(guān)鍵點(diǎn)。然后以關(guān)鍵點(diǎn)為中心,采樣了一個(gè)小方塊,并通過計(jì)算該方塊的顏色,紋理,方向等信息構(gòu)建了25維特征向量,其中前三維表示顏色,中間四維表示紋理,之后18維表示方向。將這些特征向量構(gòu)建成了特征碼庫(kù),應(yīng)用LDA模型來進(jìn)行場(chǎng)景的識(shí)別。本文中關(guān)鍵點(diǎn)和特征向量的提取采用文獻(xiàn)[16]所用方法,但為了后期計(jì)算的便利性,將特征向量中所有數(shù)據(jù)均歸一化為0-1之間的浮點(diǎn)數(shù)。本文中用x表示特征向量,其中 xk表示特征向量的第k個(gè)分量, k = 1 ,...,K,K表示特征向量的維度,這里等于25。

2.1 特征向量提取

AdaBoost作為Boosting算法的一種實(shí)際應(yīng)用,主要針對(duì)二分類,因此,在建立分類器時(shí),將所有訓(xùn)練圖像記為I,其數(shù)量記為M。將混有多種類別的訓(xùn)練圖I中的特定類分出來,作為創(chuàng)建該類別強(qiáng)分類器的訓(xùn)練圖,將這個(gè)特定類別訓(xùn)練圖類,記作 Ic,其數(shù)量為N。應(yīng)用文獻(xiàn)[16]中所提的方法對(duì) Ic中所有圖進(jìn)行特征向量的提取。Ic中所有的特征向量放在一個(gè)特征向量集中,用u表示,Lc表示特征向量u的數(shù)量,= 1 ,...,N 表示 Ic類圖中第i幅訓(xùn)練圖中所有的特征向量,表示 Ic類圖中第i幅訓(xùn)練圖中第r個(gè)特征向量。I中所有的特征向量集用v表示,L表示特征向量v的數(shù)量, vj, j=1,...,M表示訓(xùn)練圖I中第j幅訓(xùn)練圖中所有的特征向量,則表示訓(xùn)練圖I中第j幅訓(xùn)練圖中第r個(gè)特征向量。L表示訓(xùn)練集I中所有的特征向量數(shù)。

根據(jù)AdaBoost算法,給每一個(gè)特征向量和都分配一個(gè)初始權(quán)重ω,權(quán)重表示 Ic圖中所有特征向量的權(quán)重,表示I圖中所有特征向量的權(quán)重。t表示迭代次數(shù),初始時(shí), t = 0,所有權(quán)重值如下:

2.2 初始弱分類器創(chuàng)建

初始弱分類器創(chuàng)建步驟如下:

(1)在 Ic中隨機(jī)選擇一幅圖 Ic,t,t表示第t次迭代,因?yàn)槭浅鮿?chuàng),這里的 t = 1,并隨機(jī)選擇該圖中某個(gè)關(guān)鍵點(diǎn),計(jì)算其特征向量,這里用表示。

(2)根據(jù)歐幾里德距離的計(jì)算結(jié)果,從 Ic中其它每一幅圖中各選擇一個(gè)與最接近的特征向量,并將這些特征向量保存在矩陣中。如式(2)所示,在這個(gè)矩陣中,每一行表示 Ic圖中第i幅圖中與1)中選擇的特征向量最接近的一個(gè)特征向量,則表示這個(gè)特征向量的第k維數(shù)據(jù), k = 1 , . ..,K,K=25。

(3)對(duì)矩陣 A ryc中的第k列數(shù)據(jù)用一個(gè)高斯函數(shù)去擬合,高斯函數(shù)如式(3)所示:

由于現(xiàn)在矩陣中每一列的數(shù)據(jù)均來自同一類別圖像特征值的同一分量,換言之,將這些數(shù)據(jù)作為高斯函數(shù)的變量x來計(jì)算,其函數(shù)值 Gt,k應(yīng)該大于0.5,表示分類正確。在這個(gè)前提下,該高斯函數(shù)μt,k和σt,k的計(jì)算如下:

首先,計(jì)算特征矩陣 A ryc中每個(gè)特征分量之間的最大距離,即矩陣 A ryc中每一列的最大值與最小值之差。即dt,k=max(ut,k)- m in(ut,k),這里k表示第k個(gè)分量,即矩陣中的第k列。m a x(ut,k)和 m in(ut,k)分別表示這一列的最大值和最小值。用以下方式計(jì)算這一列數(shù)據(jù)的均值和方差。

(4)對(duì)矩陣中每一列數(shù)據(jù)進(jìn)行這樣的計(jì)算后,得到一組共k個(gè)高斯函數(shù),并按式(6)所示定義函數(shù)來計(jì)算這k個(gè)高斯函數(shù)對(duì)一個(gè)特征向量x計(jì)算的結(jié)果

2.3 應(yīng)用AdaBoost創(chuàng)建強(qiáng)分類器

AdaBoost[17]的基本思想是通過對(duì)訓(xùn)練集一次次的迭代產(chǎn)生新的弱分類器,然后在不斷的迭代運(yùn)算中對(duì)訓(xùn)練數(shù)據(jù)的權(quán)重以及弱分類器的權(quán)重系數(shù)不斷進(jìn)行調(diào)整,直至錯(cuò)誤率收斂。經(jīng)過2.2主要步驟,產(chǎn)生了第一個(gè)弱分類器,接下來,則需要通過迭代產(chǎn)生其他的分類器,并合理訓(xùn)練數(shù)據(jù)權(quán)重和弱分類器權(quán)重系數(shù)。

(1)用第一個(gè)弱分類器 g1c對(duì)訓(xùn)練集的所有特征向量進(jìn)行最初的分類判斷,根據(jù)判斷結(jié)果計(jì)算其錯(cuò)誤率,錯(cuò)誤率計(jì)算如式(8)所示,這里 xl表示訓(xùn)練圖像集中某個(gè)特征向量。

圖3 訓(xùn)練圖

3 判斷

通過第二節(jié)中的步驟,最終創(chuàng)建出若干針對(duì)特定類別的強(qiáng)分類器 )(xHc,在進(jìn)行具體目標(biāo)圖 gIm 的類型判斷時(shí),首先通過2.1中所述,獲取目標(biāo)圖的所有特征向量,并將這些特征向量保存在矩陣A中,最終對(duì)該圖的類型判斷用式(15)實(shí)現(xiàn)。

上式中,c表示圖像的類別索引,C表示圖像判斷的類別總數(shù),Ai表示測(cè)試圖 Im g 的第i個(gè)特征向量, n um ( A)表示測(cè)試圖 Im g 中特征向量的數(shù)量。

4 實(shí)驗(yàn)分析

表1 測(cè)試結(jié)果

為了測(cè)試本文所述算法對(duì)圖像分類的準(zhǔn)確性,實(shí)驗(yàn)選用了五種類型的場(chǎng)景圖像,分別是公車、雪山、夜景、煙花、花卉,如圖3所示。這些圖像來自Corel圖像庫(kù)和部分自拍照片,測(cè)試時(shí)選擇的圖像大小在256*384或384*256左右。

實(shí)驗(yàn)用Matlab完成,在實(shí)驗(yàn)的訓(xùn)練階段,選擇每一類圖像中的30幅作為訓(xùn)練圖,對(duì)這150幅圖像根據(jù)選擇的關(guān)鍵點(diǎn)計(jì)算特征向量,然后應(yīng)用本文2節(jié)中所述算法分別對(duì)這五類圖像進(jìn)行多次迭代訓(xùn)練后獲取各自的強(qiáng)分類器。在實(shí)驗(yàn)的判斷階段,在每一類圖像中各選擇60幅進(jìn)行測(cè)試,應(yīng)用公式(15)對(duì)測(cè)試圖進(jìn)行類別的判斷,判斷結(jié)果見表1。

從實(shí)驗(yàn)結(jié)果看,煙花和花卉的正確率比較高,分析原因,煙花由于其紋理的獨(dú)特性,高頻信息多,在特征向量中,表示紋理和方向的分量數(shù)據(jù)分布與其他類數(shù)據(jù)區(qū)別明顯,因此在分類中正確率較高。花卉是比較典型的小景深圖,背景虛化,且前景紋理相對(duì)也比較均衡,在特征向量中表示紋理的分量上分布具有獨(dú)特性。且花瓣的邊緣也比較具有典型性,在特征向量中表示方向的分量上分布獨(dú)特。另外,雪山由于其色彩主要分布在藍(lán),白兩色,且低頻信息比較多,所以判斷的正確率也比較高。可以看出,本文對(duì)一些紋理比較有代表性的,或者色彩比較有代表性的圖像類型分類較為理想。

5 結(jié)語

本文提出了一種基于AdaBoost的集成學(xué)習(xí)算法,方法主要通過構(gòu)建圖像的征向量集,并引入高斯函數(shù)構(gòu)建弱分類器,然后應(yīng)用AdaBoost的思想,通過計(jì)算錯(cuò)誤率不斷迭代,創(chuàng)建新的分類器并不斷調(diào)整訓(xùn)練數(shù)據(jù)的錯(cuò)誤率權(quán)重以及弱分類器的權(quán)重系數(shù),最后構(gòu)建每一類圖像的強(qiáng)分類器。盡管在訓(xùn)練階段需要大量的運(yùn)行時(shí)間,但當(dāng)強(qiáng)分類器構(gòu)建完畢,在對(duì)目標(biāo)圖進(jìn)行判斷時(shí),判斷速度較快,且對(duì)諸如雪山,煙花,花卉等紋理比較典型,或者色彩比較典型的圖像分類效果良好。

[1]Yudong Zhang,Shuihua Wang,Genlin Ji et al.Fruit classification using computer vision and feedforward neural network[J].Elsevier,journal of food Engineering,2014,143:167-177.

[2]Ahmad Taher Azar,Shaimaa Ahmed EI-Said.Performance analysis of support vector machines classifiers in breast cancer mammography recognition[J].Neural Computing&Applications,2014,24(5):1163-1177.

[3]Thanh-Nghi Do,Philippe Lenca,Stephane Lallich.Classifying many-class high–dimensional fingerprint datasets uing random forest of oblique decision trees[J].Vietnam Journal of Computer Science,2015,2(1):3-12.

[4]周云蕾,郭潔暢,朱蓉,等.基于多特征和支持向量機(jī)的風(fēng)景圖像分類[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2016,25(5):135-141.

[5]范敏,韓琪,王芬,等,基于多層次特征表示的場(chǎng)景圖像分類算法,吉林大學(xué)學(xué)報(bào)(工學(xué)版),2017,47(6),1909-1917.

[6]涂秋潔,晅王.基于PCA-SIFT特征與貝葉斯決策的圖像分類算法[J].計(jì)算機(jī)應(yīng)用與軟件,2016,33(6):215-219.

[7]張慧娜,李裕梅,傅鶯鶯.基于Haar-CNN模型的自然場(chǎng)景圖像分類的研究.[J]四川師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,40(1):119-126.

[8]張文生,于廷照.Boosting算法理論與應(yīng)用研究[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào),2016,46(3):222-230.

[9]Charles Dubout,Francois Fleuret．Adaptive sampling for large scale boosting[J]The Journal of Machine Learning Research,2014,15(1):1431-1453．

[10]Rui Li,Changfeng Li.Adaboost Face Detection Based on Improved Covariance Feature[J].Journal of Computers,2014,9(5):1077-1082.

[11]張公伯,谷昱良,朱和貴.基于AdaBoost的動(dòng)物二分類識(shí)別方法[J],計(jì)算機(jī)與數(shù)字工程,2017,45(4):720-726.

[12]Radhamadhab Dalai,Kishore Kumar Senapati.Object detection from Background Scene Using t-SNE-ORB Gradient Boost[J].International Journal of Computer Science and Information Technologies,2017,8(5):561-568.

[13]Mohammad Saberian,Nuno Vasconcelos．Boosting algorithms for detector cascade learning[J]．The Journal of Machine Learning Research,2014,15(1):2569-2605．

[14]Xi Zhou,Na Cui,Zhen Li,et al.Hierarchical Gaussianization for Image Classification[J].IEEE International Conference on Computer Vision,2015,30(2):1971-1977.

[15]曾志,吳財(cái)貴,唐權(quán)華等.基于多特征融合和深度學(xué)習(xí)的商品圖像分類[J].計(jì)算機(jī)工程與設(shè)計(jì),2017,37(18):3093-3098.

[16]楊彬蔚,張怡芳.基于圖像視覺特征與LDA模型的取景圖像識(shí)別[J].計(jì)算機(jī)與現(xiàn)代化,2011(5):61-65.

[17]Y Freund,RE Schapire.A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J].Journal of Computer&System Sciences,1997,55(1):119-139.