基于改進(jìn)型自主發(fā)育網(wǎng)絡(luò)的機(jī)器人場(chǎng)景識(shí)別方法

余慧瑾 方勇純

隨著機(jī)器人技術(shù)以及人工智能的飛速發(fā)展,神經(jīng)網(wǎng)絡(luò)因具有分布信息存儲(chǔ)、自適應(yīng)和自學(xué)習(xí)功能強(qiáng)等優(yōu)點(diǎn),被廣泛應(yīng)用于機(jī)器人領(lǐng)域.另一方面,人類(lèi)具有很強(qiáng)的場(chǎng)景感知和理解能力,可以從復(fù)雜的背景中迅速分析并準(zhǔn)確提取出場(chǎng)景包含的信息,在此基礎(chǔ)上實(shí)現(xiàn)對(duì)場(chǎng)景的準(zhǔn)確認(rèn)知.如何使機(jī)器人具有類(lèi)似的認(rèn)知能力,使其能實(shí)現(xiàn)對(duì)陌生場(chǎng)景的準(zhǔn)確識(shí)別,近年來(lái)逐漸發(fā)展成為國(guó)內(nèi)外機(jī)器人領(lǐng)域的一個(gè)研究熱點(diǎn)問(wèn)題.

視覺(jué)傳感器由于具有信息豐富,采集方便等優(yōu)點(diǎn)而在各類(lèi)智能系統(tǒng)中得到廣泛應(yīng)用,與之相對(duì)應(yīng)的圖像分類(lèi)等問(wèn)題也得到了研究人員的廣泛關(guān)注.早期,基于圖像的場(chǎng)景分類(lèi)一般都是基于整體模型開(kāi)展,即利用從圖像里提取的顏色、紋理、形狀等底層特征,通過(guò)監(jiān)督學(xué)習(xí)等方法將場(chǎng)景分為幾個(gè)類(lèi)別.例如,劉暢提出將輸入場(chǎng)景轉(zhuǎn)換為無(wú)向帶權(quán)圖,并使用表面凹凸度進(jìn)行特征提取場(chǎng)景識(shí)別[1].牛杰等利用分段判別策略對(duì)BoW(Bag-of-words) 及BDBN(Bilinear deep belief network)兩個(gè)模型的結(jié)果進(jìn)行融合,并在此基礎(chǔ)上得到室內(nèi)場(chǎng)景識(shí)別結(jié)果[2].嚴(yán)晗等提出了一種將顯著性區(qū)域檢測(cè)算法與稀疏表示相結(jié)合的方法[3].在數(shù)據(jù)集內(nèi)部,上述方法具有很好的分類(lèi)性能,但同時(shí)存在一個(gè)嚴(yán)重問(wèn)題,即很難將其推廣應(yīng)用到訓(xùn)練集之外的數(shù)據(jù)集中.另一方面,為了消除場(chǎng)景的底層特征與高層語(yǔ)義內(nèi)容間的鴻溝,研究人員提出了利用中間層語(yǔ)義描述,使場(chǎng)景模型化的方法.這種描述在一定程度上類(lèi)似于人類(lèi)所擁有的對(duì)場(chǎng)景的感知.例如,Luo 等通過(guò)級(jí)聯(lián)多個(gè)特征來(lái)提取子地圖描述符,并通過(guò)學(xué)習(xí)距離度量提高識(shí)別精度,進(jìn)而實(shí)現(xiàn)機(jī)器人室內(nèi)場(chǎng)景識(shí)別[4].Li 等提出了通過(guò)無(wú)監(jiān)督學(xué)習(xí)將局部區(qū)域與碼字(Codewords)相結(jié)合,利用貝葉斯層次模型對(duì)自然場(chǎng)景進(jìn)行分類(lèi)的方法[5].值得指出的是,以上方法都是在特定任務(wù)的基礎(chǔ)上,基于提取到的場(chǎng)景圖像底層特征,利用傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行場(chǎng)景識(shí)別,正確率容易受到特征提取結(jié)果以及傳統(tǒng)機(jī)器學(xué)習(xí)算法參數(shù)選擇的影響.當(dāng)將其應(yīng)用到機(jī)器人平臺(tái)時(shí),即使面對(duì)熟悉的場(chǎng)景時(shí)都需要進(jìn)行重新計(jì)算,原有的經(jīng)驗(yàn)對(duì)當(dāng)前判斷的幫助不大.

考慮到傳統(tǒng)神經(jīng)網(wǎng)絡(luò)方法存在的問(wèn)題與局限性,研究人員提出了一種基于自主發(fā)育網(wǎng)絡(luò)的機(jī)器人認(rèn)知方法[6?7],這種具有自主發(fā)育功能的機(jī)器人隨之成為當(dāng)前國(guó)內(nèi)外學(xué)者的研究熱點(diǎn),其目的是使機(jī)器人可以模仿人類(lèi)的思維方式并且綜合運(yùn)用各種能力對(duì)信息進(jìn)行處理,在此基礎(chǔ)上實(shí)現(xiàn)其智能不斷發(fā)育.受生物腦進(jìn)化與發(fā)育的啟發(fā)影響,Weng 等首先提出了機(jī)器人自主發(fā)育的思想[6?7],并指出自主發(fā)育機(jī)器人的任務(wù)是相對(duì)獨(dú)立的,因此只需要預(yù)先為機(jī)器人編制一套可發(fā)育程序,而不用針對(duì)固定任務(wù)進(jìn)行編程,使其通過(guò)后期自主學(xué)習(xí)以獲得各種能力.王作為等對(duì)自主發(fā)育智能機(jī)器人的體系結(jié)構(gòu)進(jìn)行了研究,從認(rèn)知角度對(duì)機(jī)器人范式做出了分類(lèi)[8].陳祥章等提出一種將自主發(fā)育機(jī)器人分為物理層、信號(hào)處理層以及發(fā)育層的模型結(jié)構(gòu)[9].陳洋等利用發(fā)育模型,通過(guò)IHDR(增量分層判別回歸)算法和k-D 樹(shù)建立了路徑規(guī)劃知識(shí)庫(kù),實(shí)現(xiàn)對(duì)于無(wú)人機(jī)的三維路徑規(guī)劃[10].雖然上述方法運(yùn)用了自主發(fā)育算法去完成任務(wù),但并沒(méi)有提出通用的腦智模型.實(shí)際上,當(dāng)智能系統(tǒng)與環(huán)境進(jìn)行交互時(shí),若能充分利用腦智模型,通過(guò)它對(duì)所獲取的知識(shí)進(jìn)行學(xué)習(xí)與積累,便可使系統(tǒng)具有自主感知和認(rèn)知功能,從而無(wú)需人工干預(yù)便能自主完成各類(lèi)任務(wù).基于這種思路,錢(qián)夔等提出將機(jī)器視覺(jué)與自主發(fā)育算法相結(jié)合,通過(guò)建立自主發(fā)育神經(jīng)網(wǎng)絡(luò),使機(jī)器人實(shí)現(xiàn)識(shí)別室內(nèi)場(chǎng)景的方法[11?12],而王東署等提出利用自主發(fā)育網(wǎng)絡(luò)完成人臉朝向識(shí)別任務(wù)[13],Castro-Garcia 等訓(xùn)練自主發(fā)育網(wǎng)絡(luò)以識(shí)別英語(yǔ)和法語(yǔ)句子[14],Zheng 等將自主發(fā)育網(wǎng)絡(luò)用于室外導(dǎo)航任務(wù)[15].

另一方面,在人類(lèi)或者動(dòng)物的發(fā)育過(guò)程中,除了不斷總結(jié)成功經(jīng)驗(yàn)進(jìn)行正向?qū)W習(xí)之外,同樣會(huì)利用失敗的教訓(xùn)來(lái)進(jìn)行負(fù)向?qū)W習(xí).例如,不小心被熱水壺燙到的幼兒會(huì)盡量避開(kāi)熱水壺等.具體而言,正向?qū)W習(xí)基于對(duì)“好”數(shù)據(jù)的學(xué)習(xí)來(lái)不斷逼近最優(yōu)解,如嬰兒學(xué)習(xí)走路的姿態(tài)等;而負(fù)向?qū)W習(xí)則利用“壞”數(shù)據(jù)來(lái)遠(yuǎn)離錯(cuò)誤解,如嬰兒避免摔跤等.正向?qū)W習(xí)和負(fù)向?qū)W習(xí)互為補(bǔ)充,兩者共同作用,促進(jìn)個(gè)體發(fā)育.

錢(qián)夔等提出的基于LCA 的自主發(fā)育神經(jīng)網(wǎng)絡(luò)算法將學(xué)習(xí)結(jié)果以“知識(shí)”的形式儲(chǔ)存在系統(tǒng)神經(jīng)元中,可以使機(jī)器人具有類(lèi)人思維并自主執(zhí)行任務(wù),因此具有良好的發(fā)展前景.但值得指出的是,盡管這種方法在理想情況下可以取得較好的效果,然而當(dāng)將其真正應(yīng)用于機(jī)器人場(chǎng)景識(shí)別時(shí),仍存在神經(jīng)元利用率低,學(xué)習(xí)效果欠佳,識(shí)別準(zhǔn)確率不高等問(wèn)題.考慮到以上不足,本文針對(duì)機(jī)器人場(chǎng)景識(shí)別任務(wù)的具體特點(diǎn),提出了一種改進(jìn)型的自主發(fā)育網(wǎng)絡(luò).這種方法采用多優(yōu)勝神經(jīng)元進(jìn)行權(quán)重更新,并對(duì)其突觸權(quán)重更新方程進(jìn)行修改,以提高系統(tǒng)的學(xué)習(xí)效率;同時(shí),通過(guò)負(fù)向?qū)W習(xí)快速糾正錯(cuò)誤知識(shí)并在學(xué)習(xí)過(guò)程中增加人類(lèi)知識(shí)引導(dǎo);進(jìn)一步,根據(jù)機(jī)器人的工作特點(diǎn),采用基于連續(xù)型樣本的加強(qiáng)型學(xué)習(xí),以提高識(shí)別的準(zhǔn)確率.將所提出的改進(jìn)型自主發(fā)育網(wǎng)絡(luò)應(yīng)用于機(jī)器人場(chǎng)景識(shí)別任務(wù),并進(jìn)行了實(shí)驗(yàn)測(cè)試,結(jié)果表明,這種改進(jìn)型自主發(fā)育神經(jīng)網(wǎng)絡(luò)相比原有方法具有更高的識(shí)別正確率,可以使機(jī)器人很好地完成場(chǎng)景識(shí)別任務(wù).

本文其他部分組織如下:第1 節(jié)提出了一種基于改進(jìn)型自主發(fā)育網(wǎng)絡(luò)的場(chǎng)景識(shí)別方法,重點(diǎn)針對(duì)原有算法提出了具體改進(jìn)措施,并完成了整個(gè)發(fā)育流程的設(shè)計(jì);第2 節(jié)是本文的實(shí)驗(yàn)部分,通過(guò)對(duì)比原有算法與改進(jìn)型算法Y層神經(jīng)元的激活率以及識(shí)別結(jié)果,驗(yàn)證了所提出的改進(jìn)型自主發(fā)育網(wǎng)絡(luò)在場(chǎng)景識(shí)別方面的優(yōu)良性能;第3 節(jié)是本文的總結(jié)與展望.

1 基于改進(jìn)型自主發(fā)育網(wǎng)絡(luò)的機(jī)器人場(chǎng)景識(shí)別方法設(shè)計(jì)

如前所述,錢(qián)夔等嘗試將基于LCA 的自主發(fā)育神經(jīng)網(wǎng)絡(luò)應(yīng)用于機(jī)器人場(chǎng)景識(shí)別[11],其主要思路如下:搭建三層自主發(fā)育神經(jīng)網(wǎng)絡(luò){X,Y,Z},其中,X層、Y層、Z層分別為感知輸入層、決策分析層、效應(yīng)輸出層.X層通過(guò)與外界環(huán)境接觸,利用機(jī)器人攜帶的視覺(jué)等傳感器獲取外部信息,之后將這些信息傳入Y層進(jìn)行處理分析,最后通過(guò)Z層輸出對(duì)應(yīng)的場(chǎng)景類(lèi)型.為此,需要預(yù)先對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練,即同時(shí)將X層的外部信息和Z層的場(chǎng)景識(shí)別結(jié)果作為輸入,通過(guò)競(jìng)爭(zhēng)機(jī)制來(lái)優(yōu)化神經(jīng)元的權(quán)值,從而對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行發(fā)育訓(xùn)練,使其能學(xué)習(xí)并記憶場(chǎng)景識(shí)別方面的知識(shí).這種方法由于具有較好的自主發(fā)育能力,因此應(yīng)用前景突出.然而當(dāng)其應(yīng)用于機(jī)器人上進(jìn)行場(chǎng)景識(shí)別時(shí),仍然存在如下不足:首先,在競(jìng)爭(zhēng)機(jī)制中由于只有唯一的獲勝神經(jīng)元被激活,而其余的神經(jīng)元均被抑制,導(dǎo)致Y層大量的神經(jīng)元沒(méi)有得到有效利用,神經(jīng)元的低利用率影響了場(chǎng)景識(shí)別的準(zhǔn)確率;其次,由于僅僅采用正確識(shí)別結(jié)果進(jìn)行正向?qū)W習(xí),且沒(méi)有充分考慮人類(lèi)知識(shí)的引導(dǎo),難以快速糾正錯(cuò)誤的記憶結(jié)果,學(xué)習(xí)效果和識(shí)別準(zhǔn)確度均有待進(jìn)一步提高;此外,這種方法沒(méi)有考慮到機(jī)器人工作的特點(diǎn),僅僅針對(duì)單一圖像判斷其所處場(chǎng)景類(lèi)別,因此其識(shí)別結(jié)果容易受到噪聲和光照等條件影響,方法的魯棒性較差.

針對(duì)上述不足,本文提出了一系列的改進(jìn)方法,形成了一種改進(jìn)型的自主發(fā)育網(wǎng)絡(luò):在迭代學(xué)習(xí)階段,考慮增加更新突觸權(quán)重向量的Y層神經(jīng)元數(shù)目,并針對(duì)排序位次的先后采取不同的學(xué)習(xí)速率進(jìn)行新知識(shí)的學(xué)習(xí);在指導(dǎo)學(xué)習(xí)過(guò)程中,加入負(fù)向?qū)W習(xí)階段,針對(duì)識(shí)別輸出場(chǎng)景與人為指導(dǎo)輸入不符,即出現(xiàn)識(shí)別錯(cuò)誤的情況,弱化處理導(dǎo)致錯(cuò)誤輸出結(jié)果效應(yīng)器對(duì)應(yīng)的突觸權(quán)值向量;在測(cè)試階段,考慮傳感器噪聲等影響,結(jié)合機(jī)器人在實(shí)際環(huán)境中的工作特點(diǎn),利用連續(xù)型輸入樣本進(jìn)行測(cè)試,綜合分析前后多幅樣本并引入統(tǒng)計(jì)的思想來(lái)獲得最終結(jié)果;同時(shí),當(dāng)系統(tǒng)應(yīng)用于陌生環(huán)境等難以識(shí)別的復(fù)雜情況時(shí),適當(dāng)進(jìn)行人類(lèi)知識(shí)的引導(dǎo)加強(qiáng).綜上所述,改進(jìn)型自主發(fā)育網(wǎng)絡(luò)基本框架如圖1 所示.通過(guò)實(shí)驗(yàn)驗(yàn)證,結(jié)果表明這種改進(jìn)型方法可以提高場(chǎng)景識(shí)別方法的效率和準(zhǔn)確性.

圖1 改進(jìn)型自主發(fā)育網(wǎng)絡(luò)框架Fig.1 Improved autonomous developmental network framework

1.1 基于原有算法提出的改進(jìn)性意見(jiàn)

1.1.1 基于多優(yōu)勝神經(jīng)元的競(jìng)爭(zhēng)機(jī)制

在當(dāng)前的發(fā)育網(wǎng)絡(luò)中,通常采用單優(yōu)勝神經(jīng)元競(jìng)爭(zhēng)機(jī)制,僅更新響應(yīng)最大的神經(jīng)元的突觸權(quán)重向量,導(dǎo)致網(wǎng)絡(luò)Y層被激活的神經(jīng)元個(gè)數(shù)太少,大量神經(jīng)元未能得到有效利用,在一定程度上影響了系統(tǒng)的識(shí)別正確率.

實(shí)際上,對(duì)于應(yīng)用于場(chǎng)景識(shí)別的移動(dòng)機(jī)器人而言,由于實(shí)際環(huán)境中存在各類(lèi)噪聲的影響,對(duì)于輸出值相差較小的兩個(gè)輸入,實(shí)質(zhì)上難以判斷其優(yōu)劣,若僅僅選擇最優(yōu)的單個(gè)神經(jīng)元進(jìn)行更新很容易出現(xiàn)錯(cuò)誤.基于以上分析,本文提出了基于多優(yōu)勝神經(jīng)元的競(jìng)爭(zhēng)機(jī)制.具體過(guò)程如下:

首先,計(jì)算出Y層所有神經(jīng)元的預(yù)響應(yīng)向量值,確定其中的最大值,挑選出所有預(yù)響應(yīng)向量值接近該最大值的神經(jīng)元組成優(yōu)勝神經(jīng)元集合.此外,根據(jù)不同的識(shí)別任務(wù)和計(jì)算資源預(yù)先確定允許更新的神經(jīng)元個(gè)數(shù)k.若優(yōu)勝神經(jīng)元集合中元素的個(gè)數(shù)不多于k個(gè),則更新集合中所有神經(jīng)元的突觸權(quán)重向量,否則僅更新其中k個(gè)預(yù)響應(yīng)向量值相對(duì)更大的神經(jīng)元的突觸權(quán)重向量.

值得指出的是,在優(yōu)勝神經(jīng)元的突觸權(quán)重向量進(jìn)行更新的過(guò)程中,不僅受到來(lái)自輸入向量新知識(shí)的影響,同時(shí)也會(huì)受到原有舊知識(shí)的影響.預(yù)響應(yīng)向量值最大的神經(jīng)元受到來(lái)自舊知識(shí)與基于輸入向量的新知識(shí)的影響相同.隨著預(yù)響應(yīng)向量值不斷減小,不斷調(diào)整權(quán)重更新方程,降低來(lái)自輸入向量的新知識(shí)對(duì)于突觸權(quán)重更新時(shí)的影響比例,增加舊知識(shí)對(duì)于突觸權(quán)重向量更新時(shí)的影響比例,從而模擬人腦對(duì)知識(shí)的接收以及記憶功能.按照預(yù)響應(yīng)向量值對(duì)神經(jīng)元進(jìn)行排序,相鄰位次神經(jīng)元之間新舊知識(shí)影響比例差值為 1/k,即第一位神經(jīng)元突觸權(quán)重向量更新時(shí)來(lái)自輸入向量的新知識(shí)的影響比例為1,則第二位神經(jīng)元突觸權(quán)重向量更新時(shí)來(lái)自輸入向量的新知識(shí)的影響比例為 (k ?1)/k.因此第k+1 個(gè)優(yōu)勝神經(jīng)元的突觸權(quán)重向量更新時(shí),來(lái)自于輸入向量的新知識(shí)的影響比例為0,故此時(shí)只有來(lái)自于舊知識(shí)的更新.可見(jiàn),受突觸權(quán)重向量更新的神經(jīng)元數(shù)量最大為k個(gè).因此,即使排在第k+1 位的優(yōu)勝神經(jīng)元其預(yù)響應(yīng)向量值仍在閾值范圍內(nèi),也不對(duì)其做突觸權(quán)重向量的更新.

經(jīng)過(guò)這樣的改進(jìn),提高了系統(tǒng)對(duì)于Y層神經(jīng)元的利用,增加了系統(tǒng)的容錯(cuò)性,并在一定程度上提高了系統(tǒng)的識(shí)別正確率.

1.1.2 基于負(fù)向?qū)W習(xí)的權(quán)值更新

在原有算法中,僅僅通過(guò)正向?qū)W習(xí)不斷加強(qiáng)對(duì)應(yīng)場(chǎng)景分類(lèi)的相關(guān)權(quán)值.但實(shí)際上,負(fù)向?qū)W習(xí)同樣重要.在進(jìn)行指導(dǎo)學(xué)習(xí)時(shí),若對(duì)于輸入信息經(jīng)過(guò)處理后得到了錯(cuò)誤的輸出,則應(yīng)對(duì)與錯(cuò)誤場(chǎng)景對(duì)應(yīng)的權(quán)值進(jìn)行弱化處理,從而模仿人類(lèi)大腦對(duì)于記憶中的錯(cuò)誤信息進(jìn)行清除,以提高學(xué)習(xí)效率.

基于以上考慮,本文提出一種將正向?qū)W習(xí)與負(fù)向?qū)W習(xí)相結(jié)合的改進(jìn)方式,即除了采用正向?qū)W習(xí)訓(xùn)練網(wǎng)絡(luò)之外,同時(shí)利用樣本對(duì)系統(tǒng)進(jìn)行負(fù)向?qū)W習(xí)再處理,通過(guò)該過(guò)程進(jìn)一步提高系統(tǒng)的可靠性,提高場(chǎng)景識(shí)別的正確率.

對(duì)于自主發(fā)育神經(jīng)網(wǎng)絡(luò)而言,Z層是一個(gè)全連接層,Y層內(nèi)的每一個(gè)神經(jīng)元通過(guò)自底向上突觸權(quán)重向量與Z層的各個(gè)神經(jīng)元進(jìn)行連接.Z層中的神經(jīng)元對(duì)應(yīng)不同的輸出場(chǎng)景類(lèi)別.

改進(jìn)型自主發(fā)育神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單模型如圖2 所示.自主發(fā)育神經(jīng)網(wǎng)絡(luò)根據(jù)輸入的樣本圖像進(jìn)行網(wǎng)絡(luò)內(nèi)部處理,通過(guò)計(jì)算預(yù)響應(yīng)向量獲得一個(gè)與之關(guān)聯(lián)強(qiáng)度系數(shù)最大的神經(jīng)元,利用該神經(jīng)元與最終輸出效應(yīng)層中對(duì)應(yīng)不同場(chǎng)景類(lèi)別神經(jīng)元之間的突觸權(quán)重向量值大小來(lái)決定輸出結(jié)果類(lèi)別.

圖2 改進(jìn)型自主發(fā)育神經(jīng)網(wǎng)絡(luò)模型Fig.2 Improved autonomous developmental neural network model

換句話說(shuō),每一個(gè)輸入圖像經(jīng)過(guò)計(jì)算處理后會(huì)得到一個(gè)與之最為匹配的Y層神經(jīng)元,我們稱該激活的Y層神經(jīng)元為最優(yōu)勝神經(jīng)元.在正向?qū)W習(xí)過(guò)程中,網(wǎng)絡(luò)的輸入除了來(lái)自樣本的圖像輸入還有來(lái)自人為的指導(dǎo)輸入.僅針對(duì)Y層與Z層而言,系統(tǒng)通過(guò)不斷強(qiáng)化輸入圖像對(duì)應(yīng)的Y層最優(yōu)勝神經(jīng)元與實(shí)際場(chǎng)景類(lèi)別對(duì)應(yīng)的Z層神經(jīng)元之間的自底向上突觸權(quán)重,從而使機(jī)器人進(jìn)行發(fā)育學(xué)習(xí).

在負(fù)向指導(dǎo)學(xué)習(xí)階段,對(duì)于自主發(fā)育神經(jīng)網(wǎng)絡(luò)而言,仍有來(lái)自人為的指導(dǎo)輸入.系統(tǒng)通過(guò)輸入圖像計(jì)算輸出場(chǎng)景類(lèi)別,若該輸出的場(chǎng)景類(lèi)別與人為指導(dǎo)輸入的場(chǎng)景類(lèi)別一致,則說(shuō)明識(shí)別正確不需要進(jìn)行處理;若該輸出的場(chǎng)景類(lèi)別與人為指導(dǎo)輸入的場(chǎng)景類(lèi)別不一致,則表明預(yù)測(cè)錯(cuò)誤,也就是說(shuō)輸入圖像計(jì)算得到的Y層最優(yōu)勝神經(jīng)元鏈接強(qiáng)度最大的Z層神經(jīng)元與正確場(chǎng)景類(lèi)別對(duì)應(yīng)的Z層神經(jīng)元不一致.造成這一現(xiàn)象最直觀的原因在于Y層最優(yōu)勝神經(jīng)元與Z層各個(gè)效應(yīng)器之間的自底向上突觸權(quán)重向量出現(xiàn)了誤差.此時(shí)采用一種最高效且滿足需求的處理方式,即弱化導(dǎo)致錯(cuò)誤輸出結(jié)果效應(yīng)器對(duì)應(yīng)的突觸權(quán)值向量,同時(shí)強(qiáng)化正確輸出結(jié)果效應(yīng)器對(duì)應(yīng)的突觸權(quán)重向量,以提高學(xué)習(xí)速度.

1.1.3 基于連續(xù)型輸入的加強(qiáng)型學(xué)習(xí)

對(duì)于場(chǎng)景識(shí)別任務(wù)而言,若僅僅采用其中的一幅圖像來(lái)識(shí)別場(chǎng)景,易受到噪聲等各種因素的影響,識(shí)別的準(zhǔn)確率不高.對(duì)于工作在實(shí)際環(huán)境中的機(jī)器人而言,它通過(guò)傳感器獲得的外部環(huán)境特征并不是孤立的靜態(tài)信息,而應(yīng)該是隨著機(jī)器人運(yùn)動(dòng)采集到的一組連續(xù)信息.例如,對(duì)于采用視覺(jué)傳感器的機(jī)器人而言,它接收到的視頻中每一幀都相當(dāng)于一張測(cè)試場(chǎng)景圖像樣本,此時(shí),可以綜合分析前后多幀樣本圖像來(lái)識(shí)別場(chǎng)景類(lèi)別,以處理各類(lèi)偶然性因素的影響,提高識(shí)別結(jié)果的穩(wěn)定可靠性.基于以上考慮,本文提出了基于連續(xù)型輸入的加強(qiáng)型學(xué)習(xí)方法.對(duì)于本文研究的場(chǎng)景識(shí)別問(wèn)題,在機(jī)器人運(yùn)動(dòng)過(guò)程中連續(xù)拍攝場(chǎng)景照片,并對(duì)這些樣本圖像進(jìn)行識(shí)別處理,進(jìn)一步根據(jù)識(shí)別結(jié)果進(jìn)行分類(lèi)統(tǒng)計(jì),出現(xiàn)頻度最高的識(shí)別結(jié)果即為機(jī)器人在這段時(shí)間所處的場(chǎng)景類(lèi)別.通過(guò)這種方法,在一定程度上增加了系統(tǒng)的容錯(cuò)性,提高了系統(tǒng)識(shí)別的正確率.

1.1.4 人類(lèi)知識(shí)的引導(dǎo)與加強(qiáng)

在現(xiàn)有算法中,系統(tǒng)根據(jù)Y層輸出權(quán)重結(jié)果直接決定對(duì)應(yīng)的場(chǎng)景類(lèi)別.但考慮到經(jīng)過(guò)計(jì)算后,Y層輸出權(quán)重向量值會(huì)出現(xiàn)多種情況.為此,本文提出了一種對(duì)于不同結(jié)果進(jìn)行適當(dāng)人為干預(yù)提高識(shí)別準(zhǔn)確率的改進(jìn)方法,具體過(guò)程如下:

對(duì)于Y層神經(jīng)元來(lái)說(shuō),通過(guò)經(jīng)過(guò)計(jì)算后得到的Y層的輸出權(quán)重向量與Z層的n個(gè)對(duì)應(yīng)不同的場(chǎng)景類(lèi)別的神經(jīng)元相連,根據(jù)Y層輸出權(quán)重向量值的大小共有三種可能情況:

1)有一個(gè)單一的極大值,其大小明顯占優(yōu)

這種情況表明機(jī)器人系統(tǒng)對(duì)于其識(shí)別結(jié)果有足夠的準(zhǔn)確度,因此,可將明顯占優(yōu)的Y層輸出權(quán)重向量指向的Z層效應(yīng)器確定為外部測(cè)試圖像的對(duì)應(yīng)場(chǎng)景.

2)出現(xiàn)m個(gè)相近的極大值,且它們明顯高于其余Y層輸出權(quán)重向量值

可以確定的是,最終識(shí)別出的場(chǎng)景類(lèi)別必定在這m個(gè)Y層輸出權(quán)重向量相連接的Z層效應(yīng)器中.此時(shí),需要綜合考慮對(duì)應(yīng)Y層的各個(gè)神經(jīng)元,通過(guò)觀察其他信息,如神經(jīng)元激活年齡等附加條件,計(jì)算挑選出鏈接強(qiáng)度最高者,最終遴選出正確的Z層效應(yīng)器.

3)Y層所有輸出權(quán)重向量值的大小近似

此時(shí)表明發(fā)育神經(jīng)網(wǎng)絡(luò)無(wú)法進(jìn)行抉擇,需要進(jìn)行人工指導(dǎo),從而確定該外部輸入圖像對(duì)應(yīng)的場(chǎng)景類(lèi)別.

將基于LCA 的自主發(fā)育神經(jīng)網(wǎng)絡(luò)建立的模型用于陌生環(huán)境識(shí)別的時(shí)候,當(dāng)遇到難以抉擇的情況時(shí)還需要進(jìn)行人工指導(dǎo),如此才能不斷提升系統(tǒng)的性能;另一方面,隨著系統(tǒng)能力的不斷提升,其需要人工進(jìn)行指導(dǎo)的情況也會(huì)不斷減少.

1.2 改進(jìn)型自主發(fā)育算法及其在場(chǎng)景識(shí)別方面的應(yīng)用

1.2.1 神經(jīng)元預(yù)響應(yīng)向量的計(jì)算方式

對(duì)于自主發(fā)育神經(jīng)網(wǎng)絡(luò)而言,來(lái)自X層的外部輸入即為機(jī)器人采集到并預(yù)處理為固定大小的圖像,采用取值為 0 ～1 的像素值進(jìn)行表征的二維矩陣;來(lái)自Z層的指導(dǎo)輸入即為一個(gè)n×1維矩陣(n即為進(jìn)行區(qū)分的場(chǎng)景類(lèi)別個(gè)數(shù)),結(jié)果指向外部輸入圖像對(duì)應(yīng)的場(chǎng)景類(lèi)別.換句話說(shuō),即場(chǎng)景N對(duì)應(yīng)的指導(dǎo)輸入矩陣中第N個(gè)元素為1,其余元素均為0.

當(dāng)神經(jīng)網(wǎng)絡(luò)有輸入向量時(shí),相應(yīng)的神經(jīng)元將會(huì)對(duì)輸入向量做出相應(yīng)的反應(yīng).此時(shí),我們將神經(jīng)元的反應(yīng)強(qiáng)度定義為神經(jīng)元預(yù)響應(yīng).

在自主發(fā)育神經(jīng)網(wǎng)絡(luò)指導(dǎo)學(xué)習(xí)階段,Z層作為外部環(huán)境對(duì)神經(jīng)網(wǎng)絡(luò)的指導(dǎo)輸入.這時(shí),對(duì)于Y層而言,同時(shí)有來(lái)自X層和Z層的兩個(gè)輸入.X層輸入即為訓(xùn)練樣本圖像信息,Z層輸入即為訓(xùn)練樣本圖像的對(duì)應(yīng)場(chǎng)景類(lèi)別信息.此外,Y層的每個(gè)神經(jīng)元均有來(lái)自自底向上(bottom_up) 和自上而下(top_down)兩個(gè)方向的突觸權(quán)重向量.

假設(shè)x為X層的外部輸入,z為Z層的內(nèi)部指導(dǎo)效應(yīng)輸入,vbj為Y層第j個(gè)神經(jīng)元的Ybottom_up突觸權(quán)重向量,vtj為Y層第j個(gè)神經(jīng)元的Ytop_down突觸權(quán)重向量.Y層第j個(gè)神經(jīng)元的響應(yīng)向量值計(jì)算方法如下:

其中,Y層第j個(gè)神經(jīng)元的bottom_up 突觸權(quán)重向量對(duì)應(yīng)的輸入向量x,來(lái)自于當(dāng)前神經(jīng)元的前一層,即X層.α(0≤α ≤1) 即為相對(duì)于bottom_up 突觸權(quán)重向量而言的top_down 突觸權(quán)重向量最大權(quán)重比例系數(shù).因此,當(dāng)α0.5 時(shí),說(shuō)明對(duì)于該神經(jīng)元來(lái)說(shuō),bottom_up 突觸權(quán)重向量和top_down突觸權(quán)重向量的影響力度相同,即來(lái)自X層的外部圖像輸入與來(lái)自Z層的學(xué)習(xí)指導(dǎo)輸入對(duì)于該神經(jīng)元的預(yù)響應(yīng)向量計(jì)算的影響力度相同.

對(duì)于Z層而言,只有來(lái)自于Y層的輸入.將Y層神經(jīng)元經(jīng)過(guò)計(jì)算得出的預(yù)響應(yīng)向量作為輸入.假設(shè)r為Y層計(jì)算得出的預(yù)響應(yīng)向量,vjb為Z層第j個(gè)神經(jīng)元的Zbottom_up 突觸權(quán)重向量.則Z層第j個(gè)神經(jīng)元的響應(yīng)向量值計(jì)算方法如下式所示:

1.2.2 神經(jīng)元突觸權(quán)重更新過(guò)程

眾所周知,人類(lèi)之所以擁有高級(jí)的智能水平,主要原因在于可以通過(guò)不斷地學(xué)習(xí)來(lái)獲得新的知識(shí),從而實(shí)現(xiàn)其智能增長(zhǎng).與之相對(duì)應(yīng),神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)訓(xùn)練來(lái)實(shí)現(xiàn)自適應(yīng)性,通過(guò)神經(jīng)元突觸權(quán)重向量的改變直觀地反應(yīng)學(xué)習(xí)結(jié)果.

對(duì)于Y層而言,將Y層神經(jīng)元根據(jù)輸入向量計(jì)算得到的預(yù)響應(yīng)向量進(jìn)行排序,選擇前k個(gè)預(yù)響應(yīng)向量值最大的神經(jīng)元作為優(yōu)勝神經(jīng)元,對(duì)優(yōu)勝神經(jīng)元進(jìn)行突觸權(quán)重更新.

首先,更新優(yōu)勝神經(jīng)元的激活年齡.每次更新將其對(duì)應(yīng)年齡加一.其次,更新優(yōu)勝神經(jīng)元的突觸權(quán)重向量.假設(shè)Y層第j個(gè)神經(jīng)元為Y層的優(yōu)勝神經(jīng)元,g j為Y層第j個(gè)神經(jīng)元的激活年齡,ryj為Y層第j個(gè)神經(jīng)元根據(jù)輸入向量計(jì)算的預(yù)響應(yīng)向量值,x即為經(jīng)過(guò)處理后的來(lái)自于X層的輸入向量,z即為經(jīng)過(guò)轉(zhuǎn)置處理后的來(lái)自于Z層的指導(dǎo)學(xué)習(xí)輸入向量.β的值即為前文提到的 1/k,反映了Top-k競(jìng)爭(zhēng)機(jī)制中針對(duì)不同位次神經(jīng)元的新舊知識(shí)影響的調(diào)整.

更改后的Y層優(yōu)勝神經(jīng)元的bottom_up 突觸權(quán)重向量的更新方程如下式所示:

更改后的Y層優(yōu)勝神經(jīng)元的top_down 突觸權(quán)重向量的更新方程如下式所示:

Z層的bottom_up 突觸權(quán)重向量的更新方程如下式所示:

其中,假設(shè)Z層第j個(gè)神經(jīng)元為Z層的優(yōu)勝神經(jīng)元,v bjz為Z層第j個(gè)神經(jīng)元的bottom_up 突觸權(quán)重向量.

更新公式中的ω1(g j) 和ω2(g j) 控制著神經(jīng)元的學(xué)習(xí)速率,兩者之和恒等于1.ω2(g j)/ω1(g j) 的結(jié)果反映了神經(jīng)元對(duì)于新知識(shí)的學(xué)習(xí)程度,比例越大,則對(duì)新知識(shí)學(xué)習(xí)程度越大.ω1(n) 和ω2(n) 由遺忘平均算法(Amnesic mean)獲取,具體計(jì)算與錢(qián)夔等的原有發(fā)育神經(jīng)網(wǎng)絡(luò)算法[11]相同,此處不多贅述.

1.2.3 改進(jìn)型自主發(fā)育算法在場(chǎng)景識(shí)別方面的應(yīng)用

考慮機(jī)器人的具體特點(diǎn),我們應(yīng)用所設(shè)計(jì)的改進(jìn)型自主發(fā)育算法完成場(chǎng)景識(shí)別任務(wù).具體而言,改進(jìn)型算法通過(guò)對(duì)X層獲取的圖像進(jìn)行處理,變換為二維像素矩陣.結(jié)合來(lái)自于Z層的人為指導(dǎo)輸出,計(jì)算Y層神經(jīng)元的預(yù)響應(yīng)向量.針對(duì)預(yù)響應(yīng)向量值較大的前k個(gè)神經(jīng)元進(jìn)行其突觸權(quán)重向量的更新.通過(guò)不斷迭代學(xué)習(xí),進(jìn)而獲得發(fā)育較完善的神經(jīng)網(wǎng)絡(luò).再利用該神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行識(shí)別,確定與Y層預(yù)響應(yīng)向量值最大的神經(jīng)元鏈接強(qiáng)度最高的Z層效應(yīng)器,判斷該效應(yīng)器對(duì)應(yīng)的結(jié)果和人為指導(dǎo)輸入的場(chǎng)景類(lèi)別是否一致,針對(duì)不一致的情況進(jìn)行鏈接強(qiáng)度調(diào)整.至此,自主發(fā)育神經(jīng)網(wǎng)絡(luò)的發(fā)育訓(xùn)練過(guò)程結(jié)束.綜上所述,改進(jìn)型自主發(fā)育神經(jīng)網(wǎng)絡(luò)算法進(jìn)行場(chǎng)景識(shí)別的具體流程如圖3 所示.

圖3 改進(jìn)型發(fā)育網(wǎng)絡(luò)進(jìn)行場(chǎng)景識(shí)別的算法流程Fig.3 Algorithm flow for scene recognition in improved developmental network

2 實(shí)驗(yàn)結(jié)果與分析

將本文提出的改進(jìn)型自主發(fā)育神經(jīng)網(wǎng)絡(luò)應(yīng)用于機(jī)器人系統(tǒng),使其實(shí)現(xiàn)場(chǎng)景識(shí)別任務(wù).為了測(cè)試方法的性能,本文選取室內(nèi)、拐角、走廊三類(lèi)場(chǎng)景類(lèi)別進(jìn)行識(shí)別.實(shí)驗(yàn)數(shù)據(jù)選取包括不同條件的圖像樣本,例如:光照、雜物干擾以及噪聲影響,圖4 展示了部分場(chǎng)景樣本圖像.

圖4 部分場(chǎng)景樣本圖像Fig.4 Partial scene sample images

選取神經(jīng)網(wǎng)絡(luò)迭代次數(shù)為3,通過(guò)計(jì)算神經(jīng)元的預(yù)響應(yīng)向量,得到其值最大的Y層優(yōu)勝神經(jīng)元,然后利用與該神經(jīng)元相連的Z層bottom_up 突觸權(quán)重向量值確定Z層的效應(yīng)器,選取Zbottom_up值最大的Z層的效應(yīng)器,其對(duì)應(yīng)的場(chǎng)景輸出即為識(shí)別結(jié)果.

根據(jù)場(chǎng)景特點(diǎn),在實(shí)驗(yàn)中定義Y層神經(jīng)元個(gè)數(shù)為100 個(gè),選擇不同的更新神經(jīng)元個(gè)數(shù)k進(jìn)行對(duì)比性實(shí)驗(yàn),圖5 記錄了Y層神經(jīng)元激活個(gè)數(shù)的對(duì)比情況.由該圖可以看出:與原來(lái)的方法相比較,改進(jìn)型算法的激活神經(jīng)元數(shù)量增加到原來(lái)的k倍左右,表明改進(jìn)型算法中Y層神經(jīng)元的利用率更高,從而減少了系統(tǒng)對(duì)內(nèi)存資源的浪費(fèi),進(jìn)而提高了場(chǎng)景識(shí)別的正確率.

圖5 Y層神經(jīng)元激活個(gè)數(shù)對(duì)比Fig.5 Comparison of the number of activations in layer Y neurons

對(duì)于這些人類(lèi)知識(shí),考慮噪聲的影響,在系統(tǒng)測(cè)試時(shí),進(jìn)行了數(shù)據(jù)擴(kuò)充.樣本的選取經(jīng)過(guò)了訓(xùn)練樣本圖像—在訓(xùn)練樣本圖像數(shù)據(jù)上加上隨機(jī)數(shù)產(chǎn)生的“假”圖像—非訓(xùn)練樣本圖像—連續(xù)非訓(xùn)練樣本圖像的過(guò)程.實(shí)際上,對(duì)于該發(fā)育神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō),選取Y層優(yōu)勝神經(jīng)元所依據(jù)的是其突觸權(quán)重向量與輸入圖像像素矩陣的匹配程度.因此,原則上使用增加了5%以內(nèi)的隨機(jī)數(shù)的輸入圖像像素矩陣對(duì)測(cè)試結(jié)果影響不大.因此考慮在輸入圖像的基礎(chǔ)上產(chǎn)生一些“假”圖像,其輸出應(yīng)仍然是那些對(duì)應(yīng)的類(lèi)別,從而做到進(jìn)一步加強(qiáng)學(xué)習(xí).

基于以上分析,利用不同數(shù)量的學(xué)習(xí)樣本對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行發(fā)育訓(xùn)練,得到不同樣本圖像下的測(cè)試結(jié)果如圖6 所示.可以看出,使用增加了5%以內(nèi)的隨機(jī)數(shù)的訓(xùn)練樣本圖像與訓(xùn)練樣本圖像相比,對(duì)場(chǎng)景識(shí)別的準(zhǔn)確性相差不大.值得指出的是,當(dāng)學(xué)習(xí)樣本數(shù)量增加到一定程度時(shí),機(jī)器人對(duì)于曾經(jīng)所處過(guò)的環(huán)境可以做到百分百的正確識(shí)別,因此利用學(xué)習(xí)樣本進(jìn)行測(cè)試最終的準(zhǔn)確率將達(dá)到100%.機(jī)器人根據(jù)以往積累的“知識(shí)”對(duì)場(chǎng)景進(jìn)行識(shí)別,因此當(dāng)其下次到達(dá)相同場(chǎng)景時(shí),可以利用原來(lái)大腦中記憶的知識(shí)進(jìn)行精準(zhǔn)識(shí)別.相比利用非訓(xùn)練樣本圖像進(jìn)行場(chǎng)景識(shí)別時(shí),系統(tǒng)對(duì)連續(xù)采集的樣本圖像具有更高的識(shí)別準(zhǔn)確率,當(dāng)訓(xùn)練樣本足夠大時(shí),系統(tǒng)識(shí)別準(zhǔn)確率可以達(dá)到99.7%.

圖6 不同測(cè)試樣本識(shí)別正確率對(duì)比Fig.6 Comparison of correct test rates for different test samples

如圖7 所示,利用相同數(shù)量的訓(xùn)練樣本對(duì)系統(tǒng)進(jìn)行發(fā)育訓(xùn)練,對(duì)比改進(jìn)算法與原有算法在進(jìn)行場(chǎng)景測(cè)試時(shí)的識(shí)別正確率.兩條水平虛線表示兩種算法識(shí)別準(zhǔn)確率的均值曲線.可以看出,改進(jìn)型自主發(fā)育神經(jīng)網(wǎng)絡(luò)對(duì)場(chǎng)景識(shí)別的正確率平均值達(dá)到了95.5%,相比原有算法均值90.17%得到了明顯提高,并且比原有算法更加穩(wěn)定.

圖7 場(chǎng)景識(shí)別正確率對(duì)比Fig.7 Scene recognition correct rate comparison

針對(duì)室內(nèi)場(chǎng)景較為復(fù)雜的特點(diǎn),我們選取了不同的室內(nèi)場(chǎng)景類(lèi)別進(jìn)行實(shí)驗(yàn),進(jìn)一步驗(yàn)證改進(jìn)型自主發(fā)育神經(jīng)網(wǎng)絡(luò)的泛化能力.通過(guò)在實(shí)驗(yàn)室環(huán)境采集學(xué)習(xí)樣本對(duì)網(wǎng)絡(luò)進(jìn)行指導(dǎo)訓(xùn)練,利用發(fā)育后的網(wǎng)絡(luò)對(duì)教室以及會(huì)議室等與訓(xùn)練樣本不同的環(huán)境采集測(cè)試樣本進(jìn)行識(shí)別,部分場(chǎng)景類(lèi)別樣本如圖8 所示,系統(tǒng)識(shí)別準(zhǔn)確率如表1 所示.

圖8 部分室內(nèi)場(chǎng)景樣本圖像Fig.8 Partial indoor scene sample image

表1 不同室內(nèi)場(chǎng)景類(lèi)別識(shí)別準(zhǔn)確率Table 1 Classification accuracy of different indoor scenes

由表1 所示實(shí)驗(yàn)結(jié)果可以看出,因教室環(huán)境存在過(guò)道類(lèi)似走廊的干擾,識(shí)別準(zhǔn)確率稍低.總體來(lái)說(shuō)改進(jìn)型自主發(fā)育算法仍可取得較為不錯(cuò)的效果,證明其具有一定的泛化能力,對(duì)新鮮的場(chǎng)景環(huán)境容錯(cuò)率較好,可以應(yīng)用到機(jī)器人未曾見(jiàn)過(guò)的實(shí)驗(yàn)環(huán)境中.

3 結(jié)論

針對(duì)機(jī)器人場(chǎng)景識(shí)別問(wèn)題的具體特點(diǎn),本文提出了一種基于改進(jìn)型自主發(fā)育網(wǎng)絡(luò)的場(chǎng)景識(shí)別方法.這種方法由于引入了多優(yōu)勝神經(jīng)元競(jìng)爭(zhēng)機(jī)制,可以增加更新的神經(jīng)元數(shù)量,從而有效提高神經(jīng)元的利用率;同時(shí),在學(xué)習(xí)過(guò)程中增加了負(fù)向?qū)W習(xí)方式來(lái)提高系統(tǒng)的識(shí)別正確率;此外,利用連續(xù)測(cè)試圖像對(duì)所處場(chǎng)景進(jìn)行識(shí)別,降低因圖像噪聲等導(dǎo)致的識(shí)別錯(cuò)誤,提高系統(tǒng)的魯棒性.為了進(jìn)一步提高學(xué)習(xí)效率,在系統(tǒng)中增加了人類(lèi)知識(shí)的引導(dǎo)與加強(qiáng),當(dāng)無(wú)法明確進(jìn)行場(chǎng)景類(lèi)別抉擇時(shí),引入人類(lèi)經(jīng)驗(yàn)進(jìn)行人工指導(dǎo),以提高識(shí)別準(zhǔn)確率,并擴(kuò)展系統(tǒng)知識(shí).通過(guò)實(shí)際測(cè)試結(jié)果表明,與現(xiàn)有的方法相比較,本文提出的方法具有更高的識(shí)別準(zhǔn)確率,有望應(yīng)用于機(jī)器人的實(shí)際作業(yè).

未來(lái)的研究工作主要集中于以下兩點(diǎn):1)考慮傳感器噪聲的影響,采用滑動(dòng)窗口覆蓋圖像測(cè)試實(shí)現(xiàn)識(shí)別準(zhǔn)確率的進(jìn)一步提高,對(duì)比不同策略得到最優(yōu)化方法;2)使機(jī)器人應(yīng)用到更廣泛的場(chǎng)景中,進(jìn)一步增加自主發(fā)育網(wǎng)絡(luò)在機(jī)器人上的應(yīng)用,并深入研究正向?qū)W習(xí)和負(fù)向?qū)W習(xí)的共同作用,快速提升機(jī)器人的智能發(fā)育水平.