基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人視覺(jué)地點(diǎn)識(shí)別分析

高振懷

摘要：針對(duì)傳統(tǒng)移動(dòng)機(jī)器人視覺(jué)位置識(shí)別容易受環(huán)境影響、效率低等問(wèn)題，文章提出了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的機(jī)器人視覺(jué)地點(diǎn)識(shí)別技術(shù)。結(jié)合CNN的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)圖像描述提取方法，旨在提升提取圖像特征魯棒性；通過(guò)構(gòu)建公開(kāi)數(shù)據(jù)集離線訓(xùn)練視覺(jué)詞袋模型，提升圖像匹配過(guò)程的搜索速度；通過(guò)對(duì)兩幅圖像相似度的分析，獲得視覺(jué)地點(diǎn)識(shí)別的匹配結(jié)果。研究結(jié)果證明，基于CNN的機(jī)器人視覺(jué)地點(diǎn)識(shí)別在場(chǎng)景外觀變化下地點(diǎn)識(shí)別魯棒性、準(zhǔn)確性均較傳統(tǒng)方法好。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；機(jī)器人視覺(jué)；地點(diǎn)識(shí)別；魯棒性；圖像描述符提取

中圖分類號(hào)：TP18 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）29-0012-04

作為移動(dòng)機(jī)器人核心技術(shù)，視覺(jué)地點(diǎn)識(shí)別主要指的是借助圖像識(shí)別對(duì)圖像中位置進(jìn)行判斷，并明確是否為機(jī)器人到過(guò)地點(diǎn)的過(guò)程，其在機(jī)器人領(lǐng)域有著廣泛的應(yīng)用，常見(jiàn)包括SLAM閉環(huán)檢測(cè)、重定位等。近年來(lái)研究發(fā)現(xiàn)，機(jī)器人視覺(jué)地點(diǎn)識(shí)別的精準(zhǔn)度會(huì)受到光照、季節(jié)等外界環(huán)境因素的影響，因此，如何保障在不斷變換的場(chǎng)景外觀下獲得較好的魯棒性成為相關(guān)領(lǐng)域的研究重點(diǎn)[1]。

傳統(tǒng)機(jī)器人視覺(jué)地點(diǎn)識(shí)別多是通過(guò)SURF、SIFT等圖像局部特征，與視覺(jué)詞袋模型相結(jié)合，能夠反映出圖像的細(xì)節(jié)，在平移變換狀態(tài)下仍具有較好的魯棒性，但其對(duì)于光照、天氣等因素較為敏感，限制了其在不同應(yīng)用場(chǎng)景的推廣，且提取特征多采用的是手工特征提取，容易出現(xiàn)圖像信息缺失，對(duì)匹配結(jié)果造成影響[2]。基于此研究提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN），其在大量數(shù)據(jù)中對(duì)特征表示進(jìn)行學(xué)習(xí)，采用逐層提取的方式，具有一定的抽象性，語(yǔ)義信息豐富，較傳統(tǒng)手工設(shè)計(jì)體現(xiàn)出鮮明的優(yōu)勢(shì)。以往有學(xué)者在研究中提出CNN下圖像匹配算法，應(yīng)用Alexnet網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)中間層特征進(jìn)行提取，經(jīng)過(guò)相似性矩陣計(jì)算，結(jié)果顯示該算法在光照條件下特征匹配改善明顯，但對(duì)于季節(jié)、視角變化魯棒性改善效果不佳[3]。針對(duì)其不足，本研究設(shè)計(jì)了CNN圖像描述提取方法，應(yīng)用于位置識(shí)別算法，體現(xiàn)了鮮明的優(yōu)勢(shì)。

1 實(shí)驗(yàn)?zāi)Ｐ?/p>

基于CNN機(jī)器人視覺(jué)地點(diǎn)識(shí)別算法流程見(jiàn)圖1，其主要包括訓(xùn)練與測(cè)試兩個(gè)方面，前者主要涉及到CNN、視覺(jué)詞袋模型，后者包括圖像特征提取、視覺(jué)詞袋模型加速、圖像匹配計(jì)算。

1.1 CNN結(jié)構(gòu)

作為多層神經(jīng)網(wǎng)絡(luò)，CNN由卷積層、池化層、全連接層構(gòu)成，其中卷積層主要功能為卷積運(yùn)算，其能夠強(qiáng)化原始圖像特征，最大程度上降低噪聲的影響；池化層可針對(duì)卷積層輸出實(shí)施降維處理，使得計(jì)算量得到優(yōu)化，提升計(jì)算效率，避免出現(xiàn)過(guò)擬合[4]。全連接層在CNN中承擔(dān)的是分類器作用，在樣本標(biāo)記空間對(duì)“分布式特征表示”進(jìn)行映射。

1.2 CNN模型的構(gòu)建

此次研究在開(kāi)源深度學(xué)習(xí)框架下對(duì)CNN圖像特征進(jìn)行提取，其將場(chǎng)景作為中心，囊括了200多個(gè)場(chǎng)景類別，圖像數(shù)量多達(dá)250萬(wàn)幅，均來(lái)源于Places數(shù)據(jù)集。模型經(jīng)過(guò)預(yù)先訓(xùn)練，將其作為全局圖像描述發(fā)生器，對(duì)CNN全局圖像描述符進(jìn)行提取，經(jīng)過(guò)重構(gòu)獲得CNN結(jié)構(gòu)圖（圖2）。

該模型預(yù)訓(xùn)練后獲得了網(wǎng)絡(luò)模型VGG16-hy-brid365，屬于VGG16網(wǎng)絡(luò)模型，主要由13層卷積層、5層最大池化層與3層全連接層構(gòu)成，與其他網(wǎng)絡(luò)相比，VGG16能夠?qū)?大卷積進(jìn)行核分，使其成為2～3個(gè)小卷積核，其能夠在一定程度上使網(wǎng)絡(luò)參數(shù)數(shù)量減少，當(dāng)5×5卷積核被拆分為兩個(gè)3×3卷積核后，可以發(fā)現(xiàn)其參數(shù)由原有的25個(gè)變?yōu)?8個(gè)，不僅如此該算法還能夠促進(jìn)網(wǎng)絡(luò)非線性程度的增加。

假設(shè)在圖片上隨機(jī)選擇一個(gè)模型輸入樣本，如227×227的patch，第一個(gè)卷積層濾波器（11×11）數(shù)量為96個(gè)，卷積步長(zhǎng)為4，函數(shù)激活狀態(tài)下需要輸出規(guī)格為55×55特征圖共96個(gè)。CONV1、CONV2、CONV5分別與最大池化層連接，可以發(fā)現(xiàn)其Kernel均為2，池化步長(zhǎng)參數(shù)為2。當(dāng)提取到最大池化層圖像特征后，需要對(duì)其進(jìn)行降維處理，對(duì)其賦予對(duì)應(yīng)特征轉(zhuǎn)換，其構(gòu)建抽象表達(dá)實(shí)際上是通過(guò)對(duì)低層局部信息的融合實(shí)現(xiàn)的，需要在近鄰窗口局部實(shí)施。經(jīng)過(guò)函數(shù)激活，卷積結(jié)果會(huì)被作為下一個(gè)卷積層完成輸入[5]。最后的卷積層濾波器參數(shù)為13×13，數(shù)量共256個(gè)。需要注意的是每個(gè)濾波器均需要與其輸入的MAP連接，然后為全連接層，每個(gè)全連接層之前的神經(jīng)元均與當(dāng)前層神經(jīng)元相連。通過(guò)對(duì)CNN特征的提取，對(duì)其實(shí)施標(biāo)準(zhǔn)化處理，可表示為：

[X^=X-μxσx] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中X表示的是CNN不同層輸出的原始特征向量，X的均值采用[μx]，標(biāo)準(zhǔn)差采用[σx]。經(jīng)過(guò)計(jì)算能夠?qū)ξ恢脠D像進(jìn)行查詢，獲得數(shù)據(jù)庫(kù)中位置圖像余弦距離，為位置識(shí)別提供參考。

2 基于CNN圖像描述符的提取

通過(guò)卷積、池化等相關(guān)操作，能夠獲得包括多個(gè)層級(jí)在內(nèi)的特征向量，其中低級(jí)特征位于最底層，多見(jiàn)于邊緣與角點(diǎn)位置等。當(dāng)網(wǎng)絡(luò)層數(shù)增加后，所提取的特征抽象性會(huì)得到加強(qiáng)，輸出內(nèi)容呈現(xiàn)出語(yǔ)義特征，涵蓋了圖像的類別信息。在圖像分類及物體檢測(cè)等各個(gè)領(lǐng)域均可見(jiàn)語(yǔ)義特征的應(yīng)用。本研究為獲得相同位置場(chǎng)景，采用的是中間層特征，具有一定的抽象性，其能夠?qū)?chǎng)景外觀變化狀態(tài)下的位置識(shí)別魯棒性起到提升作用，且在資源節(jié)約方面具有一定的優(yōu)勢(shì)[6]。基于VGG16-hy-brid365網(wǎng)絡(luò)模型，研究提出CNN下圖像描述符，其提取方式如下：多個(gè)特征圖共同構(gòu)成了CNN的每一層輸入，將其表示為：

[X=x（i，j）1≤i≤m，1≤j≤n] ? ? ? ? ? ? （2）

其中，量為m×n×c，各個(gè)特征圖的尺寸采用m×n表示，特征圖個(gè)數(shù)表示方法為c，基于此，x（i，j）指的是其在（i，j）的位置，假設(shè)矢量維度為c，那么其在CNN某一層能夠獲得m×n個(gè)相同的適量，其可以作為輸入圖像描述符。再如CONV4-3層能夠輸出特征圖共512個(gè)，其尺寸為28×28，那么可以獲得28×28個(gè)圖像描述符，其維度均為512。

通過(guò)上述網(wǎng)絡(luò)模型，可以發(fā)現(xiàn)圖像描述符不急可作為輸入圖像局部描述，又可以作為感受野全局描述符，兼具局部與全局，體現(xiàn)整體屬性的同時(shí)能夠反映出局部細(xì)節(jié)，其特征提取流程如圖3所示。

3 基于CNN視覺(jué)詞袋模型的構(gòu)建

研究在對(duì)CNN特征視覺(jué)詞袋模型實(shí)施離線訓(xùn)練時(shí)引入了數(shù)據(jù)集Bovisa，詞袋模型選擇手工特征的DBOW2，先完成圖像描述符進(jìn)行提取，然后采用k-means法聚類描述訓(xùn)練圖像，獲得樹形結(jié)構(gòu)，可以發(fā)現(xiàn)葉子節(jié)點(diǎn)以外的節(jié)點(diǎn)均存在10個(gè)子節(jié)點(diǎn)。

視覺(jué)詞袋模型在進(jìn)行位置識(shí)別時(shí)能夠?qū)Ξ?dāng)前圖像相似的候選圖像進(jìn)行搜索，防止出現(xiàn)大量的圖像匹配，增加工作量，可提升識(shí)別與計(jì)算的速度[7]。經(jīng)過(guò)離線訓(xùn)練的詞袋模型結(jié)構(gòu)特殊，每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)有離線權(quán)重，能夠?qū)ζ淠芰M(jìn)行區(qū)別。隨著離線權(quán)重的增加，節(jié)點(diǎn)區(qū)分圖像的能力會(huì)得到進(jìn)一步增強(qiáng)，其計(jì)算公式如下：

[idf（i）=logNni] ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中離線權(quán)重采用idf（i）表示，所有圖像數(shù)采用N表示，葉子節(jié)點(diǎn)i圖像數(shù)用n[i]表示。

在測(cè)試環(huán)節(jié)，首先將一幅圖像輸入，根據(jù)研究設(shè)計(jì)的特征提取方法完成多個(gè)圖像描述符的提取，到達(dá)詞袋模型葉子節(jié)點(diǎn)后，對(duì)其在圖像中的權(quán)重進(jìn)行計(jì)算，計(jì)算方法為出現(xiàn)頻率與離線權(quán)重的乘積[8～9]，可以在葉子節(jié)點(diǎn)對(duì)圖像ID、權(quán)重進(jìn)行存儲(chǔ)，作為反向索引，其權(quán)重公式如下：

[tf（i，It）=niItnIt] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

[vit=tf（i，It）×idf（i）] ? ? ? ? ? ? ? ? ? ? ? ? （5）

葉子節(jié)點(diǎn)用i表示，其在圖像It中出現(xiàn)的頻率采用tf（i，It）表示，出現(xiàn)的次數(shù)采用niIt表示，描述符總數(shù)采用nIt表示。

計(jì)算圖像的所有描述符，能夠獲得其對(duì)應(yīng)葉子節(jié)點(diǎn)圖像的權(quán)重，其形成了圖像的描述符向量，采用vt表示。在圖像匹配環(huán)節(jié)，僅需要針對(duì)相同葉子節(jié)點(diǎn)的圖像予以匹配，其相似度公式為

[s（v1，v2）=1-12v1v1-v2v2] ? ? ? ? ? ? ? ? ? ? ? （6）

可以發(fā)現(xiàn)，公式分?jǐn)?shù)值越高表示圖像的相似度越高。

4 實(shí)驗(yàn)結(jié)果分析

將基于CNN機(jī)器人視覺(jué)地點(diǎn)識(shí)別方法與基于傳統(tǒng)手工特征的識(shí)別方法（SURF、BRIEF）進(jìn)行對(duì)比。實(shí)驗(yàn)環(huán)境如下：工作站處理器Intel Xeon E5-2650 v3，實(shí)驗(yàn)在Ubuntu環(huán)境下進(jìn)行，選擇Caffe框架和C++編程語(yǔ)言實(shí)現(xiàn)程序。

4.1 性能分析

為完成性能對(duì)比試驗(yàn)，針對(duì)每組數(shù)據(jù)集均在兩種不同條件下位置設(shè)置對(duì)應(yīng)圖像，兩組分別作為搜索頭像與數(shù)據(jù)庫(kù)建立應(yīng)用圖像，兩者對(duì)應(yīng)的地點(diǎn)相等，表示其匹配結(jié)果真實(shí)。針對(duì)數(shù)據(jù)集中相鄰幀相似度高的問(wèn)題，研究提出容忍度概念，即在認(rèn)可的容忍度范圍內(nèi)，可判斷匹配結(jié)果為成功[10]。在實(shí)驗(yàn)環(huán)節(jié)，需要對(duì)每一幅搜索圖像與數(shù)據(jù)庫(kù)中圖像的相似性進(jìn)行計(jì)算，其能夠?yàn)閳D像匹配提供可靠的參考。研究引入匹配比率作為實(shí)驗(yàn)結(jié)果判斷標(biāo)準(zhǔn)，具體如下：

[F（r，k）=i=1nj=1kI（zij∈Si（r））/nk）] ? ? ? ? ? ? ?（7）

[Si（r）=xi-r，xi-r+1，...xi...xi+r-1，xi+r] ? ? ? （8）

n與k分別表示的是圖像數(shù)（搜索圖像/數(shù)據(jù)庫(kù)圖像）、匹配分?jǐn)?shù)最高圖像數(shù)量，容忍度用r表示，第i幅搜索圖像與數(shù)據(jù)庫(kù)對(duì)應(yīng)的第j大的圖像用zij表示，在容忍度r條件下，第i幅搜索圖像對(duì)應(yīng)的圖像采用Si（r）表示，第i幅圖像表示方法為xi。

以曲線圖的形式對(duì)實(shí)驗(yàn)結(jié)果予以描述，能夠反映出不同容忍度下匹配率的高低變化。其中容忍度作為橫坐標(biāo)，數(shù)據(jù)為0～40，縱坐標(biāo)為匹配圖像比率。每個(gè)數(shù)據(jù)集能夠獲得曲線圖2幅，其中1幅表示取1幅的分?jǐn)?shù)最高圖像，另一幅表示取5幅分?jǐn)?shù)最高的圖像，即k=1、k=5。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

4.2.1 訓(xùn)練數(shù)據(jù)集

CNN的ImageNet數(shù)據(jù)集與Places2數(shù)據(jù)集的Places365-Standard構(gòu)成了實(shí)驗(yàn)訓(xùn)練集，前者屬于圖像分類范疇，可以劃分為1000個(gè)類別，后者則屬于場(chǎng)景數(shù)據(jù)集，其場(chǎng)景類型豐富，多達(dá)1300多個(gè)。該訓(xùn)練集共囊括圖片多達(dá)300萬(wàn)張。

視覺(jué)詞袋模型將Bovisa數(shù)據(jù)集中隨意挑選的圖片作為訓(xùn)練對(duì)象，共包含8000多張，且數(shù)據(jù)集公開(kāi)。

4.2.2 測(cè)試數(shù)據(jù)集

在算法性能評(píng)估過(guò)程中，分別設(shè)計(jì)了視角變化、季節(jié)變化與光照變化對(duì)地點(diǎn)的識(shí)別情況，共3個(gè)測(cè)試集。作為大場(chǎng)景環(huán)境數(shù)據(jù)集，KITTI數(shù)據(jù)集在對(duì)城市環(huán)境拍攝時(shí)采用的是雙目攝像頭，圖像包括左視與右視。在季節(jié)測(cè)試集方面采用的是Nordland數(shù)據(jù)集，其具有較高的挑戰(zhàn)性，在一年的不同季節(jié)進(jìn)行采集，地點(diǎn)為同一火車旅程。選擇冬天、夏天對(duì)應(yīng)的圖像作為場(chǎng)景外觀變化，以完成不同季節(jié)對(duì)位置識(shí)別影響的實(shí)驗(yàn)。Campus數(shù)據(jù)集所用攝像頭為單目攝像頭，拍攝于校園，在相同路線的下午、傍晚兩個(gè)時(shí)間段采集，針對(duì)左視、夏天與下午圖像構(gòu)建了3個(gè)數(shù)據(jù)集，檢索用右視、冬季及傍晚數(shù)據(jù)。

4.3 結(jié)果分析

4.3.1 CNN圖像描述符對(duì)比分析

研究選擇VGG16中的POOL3、CONV4-3、POOL4、CONV5-3以及POOL5層對(duì)圖像特征進(jìn)行提取，在對(duì)比不同描述符在各類影響因素下的地點(diǎn)識(shí)別精度時(shí)，利用CNN對(duì)應(yīng)層輸出的特征圖提取描述符。如圖4所示，當(dāng)k=1、k=5時(shí)，KITTI數(shù)據(jù)集POOL5當(dāng)出現(xiàn)視角變化影響后，呈現(xiàn)出較差的魯棒性，CONV4-3魯棒性最好，且有著較高的識(shí)別精度，其他層差異不大。當(dāng)k=1，k=5情況下，Nordland數(shù)據(jù)集的CONV4-3較其他層有著更高的匹配率，提示CONV4-3受季節(jié)變化影響最小，魯棒性好（圖5）。k=1、k=5條件下，Campus數(shù)據(jù)集在不同光照條件下，與其他層匹配率相比，CONV4-3地點(diǎn)識(shí)別匹配率更高，且效果穩(wěn)定（圖6）。

綜合上述不同數(shù)據(jù)集的研究結(jié)果，可以發(fā)現(xiàn)，當(dāng)發(fā)生視角變化、季節(jié)變化及光照變化，CONV4-3均表現(xiàn)出鮮明的優(yōu)勢(shì)，考慮CONV4-3層厚網(wǎng)絡(luò)，在圖像描述符提取方面進(jìn)行了精簡(jiǎn)處理，減少了提取圖像的數(shù)量，對(duì)地點(diǎn)識(shí)別效果產(chǎn)生了明顯的影響。處于CONV4-3前的層圖像描述符質(zhì)量低，且僅含有少量的語(yǔ)義信息，以CONV4-3層提取效果最佳，因此可以將其作為地點(diǎn)識(shí)別算法的描述符。

4.3.2 CNN法與傳統(tǒng)視覺(jué)地點(diǎn)識(shí)別方法對(duì)比分析

研究選擇CNN下的CONV4-3層圖像描述符，將其與手工設(shè)計(jì)特征SURF進(jìn)行對(duì)比，可以發(fā)現(xiàn)兩者在視角變化條件下能夠達(dá)到相近的效果。當(dāng)出現(xiàn)季節(jié)與光照變化因素時(shí)，場(chǎng)景外觀發(fā)生改變，SURF算法表現(xiàn)得敏感，CNN描述符的地點(diǎn)識(shí)別算法具有較好的魯棒性與精度。

5 結(jié)束語(yǔ)

綜上所述，CNN下的圖像描述符地點(diǎn)識(shí)別算法經(jīng)過(guò)預(yù)訓(xùn)練，提取圖像描述符，能夠反映局部感受野區(qū)域圖像的全局描述，且具有語(yǔ)義信息，其中CONV4-3層描述符在不同場(chǎng)景變化中均呈現(xiàn)出較好的魯棒性與精度，效果穩(wěn)定，具有一定的推廣價(jià)值。

參考文獻(xiàn)：

[1] 朱明秀.采摘機(jī)器人水果檢測(cè)及定位研究——基于圖像處理和卷積神經(jīng)網(wǎng)絡(luò)[J].農(nóng)機(jī)化研究，2022，44（4）：49-53.

[2] 熊勛，尹玲，陳新度，等.基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人象棋識(shí)別與視覺(jué)定位算法設(shè)計(jì)[J].東莞理工學(xué)院學(xué)報(bào)，2019，26（5）：104-109.

[3] 辛菁，姚雨蒙，程晗，等.基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人對(duì)未知物體視覺(jué)定位控制策略[J].信息與控制，2018，47（3）：355-362.

[4] 馬倩倩，李曉娟，施智平.輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人抓取檢測(cè)研究[J].計(jì)算機(jī)工程與應(yīng)用，2020，56（10）：141-148.

[5] 仉新，張禹，蘇曉明.基于四元數(shù)卷積神經(jīng)網(wǎng)絡(luò)的移動(dòng)機(jī)器人閉環(huán)檢測(cè)[J].中國(guó)慣性技術(shù)學(xué)報(bào)，2019，27（3）：357-365.

[6] 張順，龔怡宏，王進(jìn)軍.深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)，2019，42（3）：453-482.

[7] 田應(yīng)仲，劉伊芳，李龍.融合卷積神經(jīng)網(wǎng)絡(luò)的核相關(guān)濾波視覺(jué)目標(biāo)跟隨算法研究[J].計(jì)算機(jī)測(cè)量與控制，2020，28（12）：176-180.

[8] 趙德安，吳任迪，劉曉洋，等.基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜背景下機(jī)器人采摘蘋果定位[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（3）：164-173.

[9] 朱斌，陳磊，鄔金萍.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的機(jī)器視覺(jué)室內(nèi)定位算法[J].國(guó)外電子測(cè)量技術(shù)，2021，40（1）：58-64.

[10] 于乃功，魏雅乾，王林.基于卷積神經(jīng)網(wǎng)絡(luò)的仿鼠腦海馬結(jié)構(gòu)認(rèn)知地圖構(gòu)建方法[J].模式識(shí)別與人工智能，2020，33（1）：50-58.

【通聯(lián)編輯：張薇】