生長(zhǎng)式子空間的增量PCA非特定道路場(chǎng)景在線學(xué)習(xí)算法研究

瞿心昱

（浙江交通職業(yè)技術(shù)學(xué)院軌道交通學(xué)院，浙江 杭州 311112）

目前，智慧交通系統(tǒng)中的交通視頻監(jiān)控系統(tǒng)安裝鋪設(shè)非常全面，且采集信息直觀可靠，能夠?qū)β窙r進(jìn)行全面準(zhǔn)確的描述，因此交通視頻監(jiān)控系統(tǒng)也成為城市智慧交通系統(tǒng)中應(yīng)用廣泛、成熟的子系統(tǒng)，取得了較好的社會(huì)和經(jīng)濟(jì)效益。各研究機(jī)構(gòu)和人員都進(jìn)行了大量研究，研究?jī)?nèi)容集中在對(duì)交通道路場(chǎng)景中車輛、行人的檢測(cè)以及道路場(chǎng)景多目標(biāo)、多狀態(tài)的交通事件理解。根據(jù)紋理[1]、顏色[2]、形狀[3]、Haar-like[4]、HOG[5]等圖像特征檢測(cè)車輛和行人的方法大多基于先驗(yàn)知識(shí)，提取的特征往往具有確定性，環(huán)境、對(duì)象等變化容易導(dǎo)致檢測(cè)失敗，方法適應(yīng)性和魯棒性較差。本文提出一種基于生長(zhǎng)式子空間增量PCA的非特定道路場(chǎng)景在線學(xué)習(xí)算法（GSIPCA），在線增量式地輸入道路場(chǎng)景圖像，將學(xué)習(xí)到的場(chǎng)景知識(shí)積累至可生長(zhǎng)PCA子空間，不斷拓展其識(shí)別能力，提高任務(wù)通用性和環(huán)境適應(yīng)性。

1 生長(zhǎng)式子空間增量PCA算法

1.1 增量PCA

根據(jù)學(xué)習(xí)架構(gòu)，首先需要使用少量n個(gè)道路場(chǎng)景圖像樣本進(jìn)行標(biāo)準(zhǔn)批量PCA，初始化子空間。定義變量：當(dāng)前子空間U(n)，道路場(chǎng)景圖像樣本均值xˉ(n)，在當(dāng)前子空間下的道路場(chǎng)景圖像投影系數(shù)矩陣A(n)，新輸入道路場(chǎng)景圖像樣本x，重建x?，重建誤差r，投影a，生長(zhǎng)后的子空間U(n+1)，道路場(chǎng)景圖像樣本均值xˉ(n+1)，投影系數(shù)矩陣A(n+1)。

當(dāng)?shù)趎+1個(gè)道路圖像場(chǎng)景樣本x輸入算法時(shí)，計(jì)算x在當(dāng)前子空間U(n)上的投影：

根據(jù)投影和子空間計(jì)算該樣本的重建：

計(jì)算重建誤差：

計(jì)算重建誤差r的歐氏范數(shù)‖ ‖r，進(jìn)一步計(jì)算子空間新的基：

計(jì)算新子空間基下的投影系數(shù)矩陣：

新的道路圖像樣本均值：

1.2 子空間生長(zhǎng)策略

按以上增量PCA算法，子空間在計(jì)算每一個(gè)樣本的PCA后都增加一維，計(jì)算和存儲(chǔ)開銷會(huì)顯著增加，增加子空間描述知識(shí)的冗余，需要對(duì)該子空間生長(zhǎng)方式進(jìn)一步優(yōu)化。每一次子空間更新后，計(jì)算當(dāng)前子空間已學(xué)習(xí)類別的類間平均距離和類內(nèi)平均距離，得到樣本重建誤差的兩個(gè)參考閾值。定義δ(n)inter為根據(jù)第n個(gè)樣本更新的子空間計(jì)算得到的樣本重建的類間平均距離閾值，δ(n)inner為根據(jù)第n個(gè)樣本更新的子空間計(jì)算得到的樣本重建的類內(nèi)平均距離閾值，且兩個(gè)閾值根據(jù)子空間的生長(zhǎng)過程動(dòng)態(tài)變化。在第n+1個(gè)道路場(chǎng)景圖像樣本輸入算法時(shí)，計(jì)算該樣本在當(dāng)前子空間下的投影、重建和重建誤差，根據(jù)δ(n)inter和δ(n)inner將樣本分成3種情況，對(duì)3種情況分別進(jìn)行不同的子空間生長(zhǎng)方式。

子空間增維生長(zhǎng)：當(dāng)‖ ‖r＞δ(n)inter時(shí)，該樣本為陌生的新道路場(chǎng)景類別，通過以上增量PCA算法將該類別知識(shí)學(xué)習(xí)到子空間中，子空間維數(shù)增加一維，dimU(n+1)=dimU(n)+1。

子空間等維生長(zhǎng)：當(dāng)‖r‖＜δ(innte)r且‖r‖＞δ(innn)er時(shí)，該樣本為子空間中已學(xué)習(xí)的道路場(chǎng)景類別，但該類別知識(shí)不豐富，該樣本應(yīng)作為類別知識(shí)的信息補(bǔ)充，因此仍舊對(duì)該樣本進(jìn)行增量PCA計(jì)算，更新子空間。在計(jì)算時(shí)，將新子空間中貢獻(xiàn)最少的分量舍去，使學(xué)習(xí)必要信息時(shí)保持子空間維數(shù)，減少計(jì)算和存儲(chǔ)開銷，即dim(U(n+1))=dim(U(n))。同時(shí)，對(duì)該樣本進(jìn)行分類識(shí)別。

子空間不生長(zhǎng)：當(dāng)‖r‖＜δ(innn)er時(shí)，該樣本為已學(xué)習(xí)樣本，且該樣本信息對(duì)類別描述冗余，無須進(jìn)行子空間更新和生長(zhǎng)，直接進(jìn)行分類識(shí)別。

設(shè)當(dāng)前子空間中存儲(chǔ)的知識(shí)樣本為：

類別為：

對(duì)于新輸入樣本x，投影后，計(jì)算其與所有子空間內(nèi)投影的距離，最小距離投影對(duì)應(yīng)的類別為最終識(shí)別結(jié)果，即：

則a∈classs，即樣本x∈classs，完成識(shí)別。

子空間生長(zhǎng)策略如圖1所示。

1.3 生長(zhǎng)式子空間增量PCA算法流程

根據(jù)以上算法原理推導(dǎo)，生長(zhǎng)式子空間增量PCA算法流程如圖2所示。

圖2 生長(zhǎng)式子空間增量PCA算法流程

步驟一：當(dāng)新的道路場(chǎng)景圖像樣本輸入算法時(shí)（設(shè)已經(jīng)過預(yù)處理），根據(jù)公式計(jì)算其在當(dāng)前子空間上的投影、重建及重建誤差。

步驟五：將步驟二計(jì)算的最小距離對(duì)應(yīng)的類別作為識(shí)別結(jié)果輸出。

步驟六：返回步驟一，算法進(jìn)行下一個(gè)循環(huán)，接收新道路場(chǎng)景圖像樣本的輸入。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)針對(duì)提出的生長(zhǎng)式子空間增量PCA算法（GSIPCA）進(jìn)行道路場(chǎng)景的在線增量學(xué)習(xí)與識(shí)別。

選取標(biāo)準(zhǔn)增量PCA算法和文獻(xiàn)[6]提出的PCA算法進(jìn)行橫向?qū)Ρ龋治?種增量PCA算法的識(shí)別正確率、學(xué)習(xí)時(shí)間、存儲(chǔ)空間等指標(biāo)，得出GSIPCA算法的優(yōu)勢(shì)和需要改進(jìn)完善之處。

隨著學(xué)習(xí)樣本增加，IBDPCA算法識(shí)別正確率上升趨勢(shì)最快，IPCA算法最慢，提出的GSIPCA算法居中，原因是IBDPCA提取了更多的道路場(chǎng)景圖像特征。GSIPCA算法最高識(shí)別正確率為95.6%，IBDPCA算法為97.3%，IPCA算法為92.6%，提出的算法和IBDPCA算法均能達(dá)到較高的識(shí)別正確率。同類算法識(shí)別正確率對(duì)比如圖4所示。

圖4 同類算法識(shí)別正確率對(duì)比

隨著學(xué)習(xí)樣本的增加，三種算法的樣本學(xué)習(xí)時(shí)間均呈上升趨勢(shì)，GSIPCA算法的子空間生長(zhǎng)策略很好地控制了子空間的急劇增加，減輕計(jì)算負(fù)擔(dān)，對(duì)冗余信息的剔除進(jìn)一步降低了計(jì)算量，學(xué)習(xí)過程中單樣本學(xué)習(xí)時(shí)間控制在2 s以內(nèi)，最大學(xué)習(xí)時(shí)間為1.69 s。同類算法學(xué)習(xí)時(shí)間對(duì)比如圖5所示。

圖5 同類算法學(xué)習(xí)時(shí)間對(duì)比

進(jìn)一步對(duì)3種算法在學(xué)習(xí)過程中內(nèi)存消耗情況進(jìn)行對(duì)比分析。GSIPCA算法所采用的子空間生長(zhǎng)策略很好地控制了子空間快速增長(zhǎng)所消耗的大量?jī)?nèi)存，學(xué)習(xí)到第500個(gè)樣本時(shí)內(nèi)存消耗為72.68 MB，略優(yōu)于IBDPCA算法。

同類算法內(nèi)存消耗對(duì)比如表1所示。

表1 同類算法內(nèi)存消耗對(duì)比 單位：MB

通過實(shí)驗(yàn)，驗(yàn)證了提出的生長(zhǎng)式子空間增量PCA算法對(duì)于道路場(chǎng)景圖像學(xué)習(xí)與識(shí)別的有效性，分析了其收斂性、識(shí)別正確率、學(xué)習(xí)時(shí)間和內(nèi)存消耗等指標(biāo)。結(jié)果表明，該算法實(shí)現(xiàn)了在線學(xué)習(xí)與識(shí)別道路場(chǎng)景，子空間生長(zhǎng)策略有效地保證了算法學(xué)習(xí)進(jìn)程的快速性，且大幅度降低了內(nèi)存消耗。

3 結(jié)語(yǔ)

本文針對(duì)目前道路場(chǎng)景學(xué)習(xí)與識(shí)別算法任務(wù)特定，學(xué)習(xí)與識(shí)別過程分離，無法在學(xué)習(xí)過程中不斷積累知識(shí)，發(fā)展其智能等問題，提出生長(zhǎng)式子空間增量PCA算法，實(shí)現(xiàn)了道路場(chǎng)景圖像的在線增量學(xué)習(xí)與識(shí)別，在學(xué)習(xí)過程中不斷積累和拓展其智能，識(shí)別能力不斷提高。結(jié)果驗(yàn)證了該算法的收斂性、高識(shí)別正確率、學(xué)習(xí)快速性和低內(nèi)存消耗。該算法突破了傳統(tǒng)的機(jī)器學(xué)習(xí)框架，對(duì)研究非特定任務(wù)人工智能有一定參考價(jià)值，對(duì)進(jìn)一步探索知識(shí)自主發(fā)育的智能系統(tǒng)具有借鑒意義。