融合深度學(xué)習(xí)的機(jī)器人目標(biāo)檢測與定位

黃怡蒙，易 陽

南京工業(yè)大學(xué) 電氣工程與控制科學(xué)學(xué)院，南京211816

1 引言

隨著物聯(lián)網(wǎng)、機(jī)器人等領(lǐng)域的視覺處理技術(shù)的出現(xiàn)，人們對(duì)復(fù)合高效卷積神經(jīng)網(wǎng)絡(luò)模型在資源受限的硬件設(shè)備上進(jìn)行實(shí)時(shí)目標(biāo)檢測與定位需求越來越大，如何在降低硬件成本的同時(shí)，保證目標(biāo)檢測實(shí)時(shí)性并提高其檢測準(zhǔn)確度，成為制約其實(shí)用性的重要因素[1-3]。

傳統(tǒng)的目標(biāo)檢測一般使用滑動(dòng)窗口的框架，主要包括三個(gè)步驟：首先在圖像上選取一些候選區(qū)域，然后對(duì)這些候選區(qū)域進(jìn)行特征提取，比如人臉檢測常用的Harr特征，行人檢測和普通目標(biāo)檢測常用的HOG特征等，最后使用訓(xùn)練的分類器進(jìn)行分類，比如常用的SVM模型[4-5]。

近年來基于深度學(xué)習(xí)的目標(biāo)檢測方法大幅提高對(duì)圖像分類準(zhǔn)確度，成為當(dāng)前目標(biāo)檢測領(lǐng)域主流算法，如R-CNN、Fast R-CNN、Faster R-CNN[6-8]。但檢測準(zhǔn)確度往往依賴于復(fù)雜框架和高強(qiáng)度硬件加速器，不能直接移植于機(jī)器人平臺(tái)。YOLO 和SSD 等輕量級(jí)網(wǎng)絡(luò)對(duì)硬件要求比較低，檢測速度較快，處理速度可以達(dá)到45 幀/s，其Tiny版本甚至可以達(dá)到155 幀/s。這主要得益于其網(wǎng)絡(luò)設(shè)計(jì)是將分類和定位合二為一，而且這種統(tǒng)一的設(shè)計(jì)也使得訓(xùn)練和預(yù)測可以端到端的進(jìn)行，非常簡便[9-10]。不足之處是小對(duì)象檢測效果不太好，對(duì)邊框的預(yù)測準(zhǔn)確度不是很高，總體預(yù)測精度略低于Fast-RCNN。主要是因?yàn)榫W(wǎng)格層結(jié)構(gòu)比較稀疏，而且每個(gè)網(wǎng)格只預(yù)測兩個(gè)邊框，另外池化層也會(huì)丟失一些細(xì)節(jié)信息，對(duì)定位存在影響。

為了提高YOLO 模型的精度，Joseph Redmon 團(tuán)隊(duì)先后又提出了YOLOV2和YOLOV3。YOLOV3將網(wǎng)絡(luò)深度推至106 層，其中引用殘差網(wǎng)絡(luò)結(jié)構(gòu)思想，同時(shí)采用多尺度特征融合，使得YOLOV3 在小目標(biāo)物體上的檢測效果更好[11]。由于YOLOV3的網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，因此在模型訓(xùn)練時(shí)對(duì)電腦的CPU 要求比較高，相比于YOLOV3，Tiny-YOLOV3網(wǎng)絡(luò)層數(shù)少，是YOLOV3的簡化版本，并且在網(wǎng)絡(luò)中融合了金字塔特征和全卷積網(wǎng)絡(luò)技術(shù)，可使檢測的模型更加精簡，并且能提取更深層次的語義信息，使檢測精度更高[12-13]。而且Tiny 的網(wǎng)絡(luò)層數(shù)比較少，因此速度快，占內(nèi)存小，被廣泛使用。然而將Tiny網(wǎng)絡(luò)應(yīng)用于機(jī)器人目標(biāo)檢測領(lǐng)域，其精度還需要進(jìn)一步的提高。

針對(duì)實(shí)時(shí)目標(biāo)檢測準(zhǔn)確率與實(shí)時(shí)性難以兼顧的問題，本文改進(jìn)了檢測算法Tiny-YOLOV3 模型的網(wǎng)絡(luò)結(jié)構(gòu)與損失函數(shù)的設(shè)計(jì)。為了提高檢測精度，本文提出一類Tiny-YOLOV3 改進(jìn)模型，調(diào)整YOLO 檢測網(wǎng)絡(luò)架構(gòu)的損失結(jié)構(gòu)層，以卷積層和特征圖的相關(guān)系數(shù)矩陣表征特征圖分布，設(shè)計(jì)損失函數(shù)優(yōu)化損失特征層分布，增強(qiáng)網(wǎng)絡(luò)特征的表達(dá)能力。采用三角函數(shù)定位將基于圖像的目標(biāo)檢測位置轉(zhuǎn)換為機(jī)器人坐標(biāo)系位置，實(shí)現(xiàn)NAO機(jī)器人對(duì)日常生活小物件的實(shí)時(shí)目標(biāo)檢測與快速定位。

2 系統(tǒng)簡介

本文設(shè)計(jì)了實(shí)時(shí)目標(biāo)檢測與定位系統(tǒng)，系統(tǒng)框圖如圖1。離線部分使用VOG 格式自制的數(shù)據(jù)集基于改進(jìn)Tiny-YOLOV3 網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，更新迭代網(wǎng)絡(luò)權(quán)重矩陣。實(shí)時(shí)檢測部分使用NAO機(jī)器人的CMOS攝像頭，設(shè)置分辨率640×480 為圖片改進(jìn)Tiny-YOLOV3 進(jìn)行實(shí)時(shí)目標(biāo)檢測，使用三角函數(shù)將圖片目標(biāo)信息轉(zhuǎn)換為機(jī)器人的位置信息，通過運(yùn)動(dòng)規(guī)劃實(shí)現(xiàn)機(jī)器人手臂抓取實(shí)驗(yàn)。

圖1 Tiny-YOLOV3改進(jìn)模型的機(jī)器人實(shí)時(shí)目標(biāo)檢測與定位系統(tǒng)框架

3 原始Tiny-YOLOV3網(wǎng)絡(luò)介紹

相比較YOLOV3，Tiny-YOLOV3將網(wǎng)絡(luò)進(jìn)行壓縮，沒有使用殘差層，主干網(wǎng)絡(luò)采用的是一個(gè)7層的卷積層和池化層相結(jié)合的網(wǎng)絡(luò)提取特征[14-15]。具體結(jié)構(gòu)如圖2所示。

雖然Tiny-YOLOV3 簡化了網(wǎng)絡(luò)結(jié)構(gòu)，但是總體思想還是可以借鑒YOLOV3，其中maxpool 表示池化層，conv 代表卷積層，upsample 表示的是上采樣。在Tiny-YOLOV3 網(wǎng)絡(luò)中通過卷積層和池化層來對(duì)輸入的圖片提取特征和降采樣，再通過上采樣的方式，將不同通道的特征相拼接輸出三種不同尺度的特征圖，分別是13×13、26×26 和52×52。之所以輸出三種不同尺度的特征圖，是為了適應(yīng)不同尺寸的目標(biāo)。13×13 適合檢測大尺寸的目標(biāo)，而52×52 其感受野比較小，適合檢測小尺寸的目標(biāo)。因此Tiny-YOLOV3 中引入的特征金字塔網(wǎng)絡(luò)，可以利用多層融合后的特征進(jìn)行檢測，能夠增強(qiáng)語義信息，有助于提升小目標(biāo)的檢測率。

圖2 原Tiny-YOLOV3的網(wǎng)絡(luò)架構(gòu)

4 改進(jìn)后的Tiny-YOLOV3網(wǎng)絡(luò)

為了提高Tiny-YOLOV3 網(wǎng)絡(luò)的精度，在不影響速度的條件下，在網(wǎng)絡(luò)中添加一層損失相關(guān)層，原始的Tiny 網(wǎng)絡(luò)沒有考慮當(dāng)網(wǎng)絡(luò)同一層的卷積核的數(shù)量較多時(shí)，輸出的特征圖之間的差異性不能得到保障，從而會(huì)導(dǎo)致部分特征圖重復(fù)，降低模型的精度。而改進(jìn)后的網(wǎng)絡(luò)由于新添加了損失相關(guān)層可以提高輸出特征圖的多樣性，并且在保證模型性能基本不變的情況下降低特征圖的數(shù)量，提高模型的檢測精度，改進(jìn)后的模型圖如圖3所示。

損失特征層作為一個(gè)獨(dú)立的網(wǎng)絡(luò)層將其添加到第7個(gè)卷積層和池化層后面，改進(jìn)后的網(wǎng)絡(luò)包含網(wǎng)絡(luò)特征提取、目標(biāo)分類檢測對(duì)應(yīng)的輸出和損失相關(guān)網(wǎng)絡(luò)對(duì)應(yīng)輸出的系數(shù)矩陣。新添加的損失特征網(wǎng)絡(luò)層的作用主要是在模型訓(xùn)練更新權(quán)重的過程中輸出第7 個(gè)卷積層和池化層后的特征圖的相關(guān)系數(shù)矩陣，具體過程為：將第7個(gè)卷積層和池化層后面的M個(gè)S×S的特征圖轉(zhuǎn)化為M個(gè)長度為S2的特征向量，然后計(jì)算兩兩特征向量之間的協(xié)方差和相關(guān)系數(shù)，最終得到一個(gè)S×S的相關(guān)系數(shù)矩陣K 。具體公式如公式（1）和公式（2）所示：

其中，Cov(Xp,Xq)表示的是第p和第q個(gè)特征向量之間的協(xié)方差，Var[Xp] 表示第p個(gè)特征向量的方差。Kpq表示第p和第q個(gè)特征向量之間的相關(guān)系數(shù)，相關(guān)系數(shù)的絕對(duì)值越大，意味著兩個(gè)特征向量的線性相關(guān)性越大；相關(guān)系數(shù)的絕對(duì)值越小，意味著兩個(gè)特征向量的線性相關(guān)性越小。

5 損失函數(shù)設(shè)計(jì)

5.1 原始的損失函數(shù)

原始的損失函數(shù)主要分為三大部分：坐標(biāo)損失，置信度損失以及分類損失。損失函數(shù)公式如公式（3）所示：

圖3 改進(jìn)后Tiny-YOLOV3網(wǎng)絡(luò)架構(gòu)

其中，xi,yi,wi,hi,Ci,pi為真實(shí)值，? 為預(yù)測值。表示第i個(gè)網(wǎng)格中負(fù)責(zé)預(yù)測該目標(biāo)物體的第j個(gè)預(yù)測框是否含有檢測的物體，如果有，則進(jìn)行這一項(xiàng)的計(jì)算，如果沒有，則進(jìn)行這一項(xiàng)的運(yùn)算。在所有的網(wǎng)格中，不包含物體中心坐標(biāo)的網(wǎng)格占大多數(shù)，所以累計(jì)起來這一項(xiàng)的數(shù)值會(huì)很大，為了平衡相互之間的大小關(guān)系，這里取λnoobj為0.5。

5.2 改進(jìn)后損失函數(shù)設(shè)計(jì)

改進(jìn)后的損失函數(shù)是在原始的損失函數(shù)式子當(dāng)中添加一項(xiàng)損失特征項(xiàng)，計(jì)算公式如式（4）所示：

其中，M表示特征圖的輸出個(gè)數(shù)，表示M維的相關(guān)系數(shù)矩陣K 在(i,j)處的值，表示M維單位矩陣在(i,j)處的值，β用來平衡檢測損失和相關(guān)性損失之間的誤差，實(shí)驗(yàn)中β取0.3，Tb是一個(gè)以b為系數(shù)的分段函數(shù)，如公式（5）所示：

在相關(guān)系數(shù)矩陣中，Tb可以抑制小于閾值b，或者減弱大于閾值b所帶來的損失。當(dāng)輸出的特征圖之間的相關(guān)性較低時(shí)，b值可以避免模型訓(xùn)練好的參數(shù)被破壞。在本文實(shí)驗(yàn)中，b取0.15，即不考慮相關(guān)系數(shù)小于0.15時(shí)產(chǎn)生的損失。最終的損失函數(shù)如公式（6）所示：

6 機(jī)器人三角函數(shù)定位

NAO擁有兩個(gè)攝像頭，可以跟蹤、學(xué)習(xí)并識(shí)別不同的圖像。NAO機(jī)器人根據(jù)檢測算法識(shí)別出要檢測的物體，在沒有發(fā)現(xiàn)目標(biāo)時(shí)，NAO機(jī)器人按程序設(shè)定調(diào)整當(dāng)前的朝向以及頭部的角度。在發(fā)現(xiàn)目標(biāo)以后，不斷地調(diào)整身體的位置直到讓目標(biāo)處于視野的中心。

在整個(gè)目標(biāo)檢測的過程中，機(jī)器人為了保證目標(biāo)檢測的穩(wěn)定性和準(zhǔn)確性，身體朝向和頭部角度的調(diào)節(jié)均采用P控制。如公式（7）所示：

其中，k為比例系數(shù)，實(shí)驗(yàn)中取0.8，θ為要檢測的圖像與視野中心的偏角，由目標(biāo)在圖像中的位置和攝像機(jī)的張角決定。計(jì)算公式如式（8）所示：

其中，x和y代表圖像中目標(biāo)的位置，yyaw和ypitch分別代表NAO攝像頭的仰角和張角，分別為60.97°和47.64°，w和h為圖片的寬和高，θyaw和θpitch分別表示目標(biāo)的位置與視野中心位置形成的偏航角和俯仰角，如圖4所示。

圖4 目標(biāo)圖像定位示意圖

在圖5空間定位示意圖中X方向?yàn)楫?dāng)前NAO機(jī)器人身體所正對(duì)的方向，Y方向?yàn)闄C(jī)器人身體的垂直方向，其中Θyaw由頭部相對(duì)于身體的偏航角和圖4中目標(biāo)位置與視野中心位置形成的偏航角θyaw決定，Θpitch由頭部相對(duì)于水平方向的俯仰角和圖4 中目標(biāo)位置與視野中心位置形成的俯仰角θpitch決定。其中NAO機(jī)器人在X和Y方向上的距離可由公式（9）計(jì)算得到：

其中，H1 為NAO 機(jī)器人的攝像頭到地面的高度，H2為目標(biāo)距離地面的高度。

圖5 空間定位示意圖

7 模型訓(xùn)練與實(shí)驗(yàn)結(jié)果

7.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

模型的訓(xùn)練機(jī)器是一臺(tái)配置型號(hào)為Intel i5-6600，內(nèi)存為16 GB，GPU 為NVIDIA GTX 1070 的個(gè)人計(jì)算機(jī)，操作系統(tǒng)為Ubuntu16.04，實(shí)驗(yàn)硬件平臺(tái)為NAO 機(jī)器人。

實(shí)驗(yàn)的檢測類別為三類：足球（football）、杯子（cup）、筆（pen）。數(shù)據(jù)集主要是由自己拍攝和網(wǎng)上搜集的圖片組成，然后使用標(biāo)注工具labelImg對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，并且將標(biāo)注好的數(shù)據(jù)集制作成VOC 數(shù)據(jù)集的格式，如圖6所示。

圖6 VOC數(shù)據(jù)集格式

其中Annotations文件夾里放置標(biāo)注好的xml文件，JPEGImages 文件夾里放置要訓(xùn)練的圖片，Main 文件夾里會(huì)在后期網(wǎng)絡(luò)訓(xùn)練過程中生成訓(xùn)練、驗(yàn)證、測試這三個(gè)文件夾。訓(xùn)練模型時(shí)按照8∶2 的比例來劃分訓(xùn)練集和測試集，測試集中又隨機(jī)抽取10%當(dāng)作驗(yàn)證集。數(shù)據(jù)集中的各個(gè)類別的數(shù)量信息如表1所示。

表1 數(shù)據(jù)集中各個(gè)類別的數(shù)量信息

7.2 實(shí)驗(yàn)過程及分析

模型訓(xùn)練時(shí)使用GPU 加速，全程訓(xùn)練時(shí)間大約為9 h，模型最終在遍歷訓(xùn)練集第81 次時(shí)，達(dá)到“早?！睏l件。改進(jìn)后的Tiny-YOLOV3模型訓(xùn)練過程中的學(xué)習(xí)率和特征項(xiàng)損失函數(shù)曲線如圖7和圖8所示。

圖7 改進(jìn)后的Tiny-YOLOV3學(xué)習(xí)率衰減曲線

從圖7中可以看出，模型訓(xùn)練的初始階段學(xué)習(xí)率為0.000 1，在第60 次迭代時(shí)，學(xué)習(xí)率下降得非?？?，在第70次迭代以后，學(xué)習(xí)率趨近于平穩(wěn)，最終模型在遍歷訓(xùn)練集第81 次時(shí)，學(xué)習(xí)率下降至0.000 000 1，使得模型能夠進(jìn)一步收斂。

從圖8（b）改進(jìn)后的損失曲線中可以明顯看出，模型在第0～10次遍歷訓(xùn)練集時(shí)，損失值下降得非?？?，在第50次迭代以后，損失值趨近于平穩(wěn)，說明在損失特征層的作用下，特征圖之間相關(guān)性在逐漸降低，通過對(duì)比圖8（a），圖8（b）的模型曲線下降得更快并且更加平穩(wěn)，也進(jìn)一步說明了在網(wǎng)絡(luò)層中增加一個(gè)損失特征層以及在損失函數(shù)中引入損失特征項(xiàng)能夠提高模型的輸出特征能力同時(shí)保證模型的收斂。

在自制的數(shù)據(jù)集上，本文改進(jìn)的算法同原始的Tiny-YOLOV3算法進(jìn)行對(duì)比，結(jié)果如表2所示。

圖8 改進(jìn)前后的Tiny-YOLOV3損失函數(shù)曲線

表2 模型改進(jìn)前后檢測精度與速度對(duì)比

從表2 中可以看出，改進(jìn)后的模型準(zhǔn)確率達(dá)到了72.11%，相比較原始的模型，準(zhǔn)確率提高了4.08 個(gè)百分點(diǎn)。其中杯子和足球的AP 值提升得最明顯，約5 個(gè)百分點(diǎn)和6 個(gè)百分點(diǎn)。雖然在Tiny-YOLOV3 網(wǎng)絡(luò)中添加了一層損失特征層，但是檢測速度只下降了3 ms，因此對(duì)目標(biāo)的檢測速度影響可以忽略不計(jì)。

7.3 不同算法下的抓取對(duì)比誤差實(shí)驗(yàn)

為了驗(yàn)證該算法的穩(wěn)定性，將機(jī)器人擺放在不同的角度，每個(gè)角度進(jìn)行10次的抓取實(shí)驗(yàn)，并與未改進(jìn)前的算法進(jìn)行比較，對(duì)比實(shí)驗(yàn)如圖9和表3所示。

其中，x軸代表每個(gè)角度進(jìn)行誤差實(shí)驗(yàn)的次數(shù)，y軸代表真實(shí)值與測量值的絕對(duì)誤差，單位為mm，圖9中橙色的線表示期望誤差，藍(lán)色的線表示改進(jìn)后的算法測得的誤差，綠色的線表示使用未改進(jìn)的算法測得的誤差，每組實(shí)驗(yàn)分別在白天光線較好和晚上光線較差的環(huán)境中進(jìn)行，結(jié)合圖9和表3可以看出，改進(jìn)后的模型在這五組實(shí)驗(yàn)中的平均置信度都明顯高于原始模型，而檢測的速度和總花費(fèi)的時(shí)間幾乎沒有受到影響。表明本文改進(jìn)的模型可以在不影響檢測速度的前提下提高檢測的精度，而且相比較原始模型，機(jī)器人使用改進(jìn)后的模型，抓取誤差更趨于穩(wěn)定，表明改進(jìn)后模型的魯棒性也有所提高。

同時(shí)，當(dāng)檢測物體的顏色相近時(shí)，原始模型會(huì)出現(xiàn)漏檢、誤檢的情況，而改進(jìn)后的模型這兩種情況都得到了很大的改善，部分效果圖如圖10所示。

圖9 各角度下原始模型與改進(jìn)模型的抓取誤差對(duì)比

表3 模型改進(jìn)前后抓取實(shí)驗(yàn)效果對(duì)比

7.4 機(jī)器人抓取實(shí)驗(yàn)

機(jī)器人在接收到指令以后，啟動(dòng)攝像頭拍攝圖片并檢測圖片中是否含有目標(biāo)物體，其中筆在機(jī)器人視野中的變化過程如圖11所示。

從圖11中可以看出，NAO根據(jù)筆在視野中的位置，不斷調(diào)整自己的姿勢(shì)，讓筆慢慢調(diào)整到視野的中心。從圖12中可以看出，NAO機(jī)器人在檢測到物體后，不斷地定位，并且慢慢移動(dòng)接近目標(biāo)，最終在調(diào)整到合適的距離之后實(shí)現(xiàn)對(duì)筆的抓取。

圖10 原始模型與改進(jìn)模型的檢測效果對(duì)比

圖11 筆在NAO視野中心的變化過程

圖12 NAO機(jī)器人檢測和抓取目標(biāo)物體過程

8 結(jié)論

本文以Tiny-YOLOV3 網(wǎng)絡(luò)為基礎(chǔ)，通過在原始的網(wǎng)絡(luò)中添加一層損失特征層、在損失函數(shù)中添加一項(xiàng)損失特征項(xiàng)來改進(jìn)Tiny-YOLOV3。通過增加損失特征層，優(yōu)化了輸出特征圖在模型訓(xùn)練過程中的分布，提高了模型的表達(dá)能力。改進(jìn)后的損失函數(shù)，可以平衡檢測損失和特征損失之間的誤差，進(jìn)一步促進(jìn)模型的收斂。并且將改進(jìn)后的算法應(yīng)用在NAO 平臺(tái)，在保證檢測速度的前提下，機(jī)器人實(shí)時(shí)檢測精度有了很大提升?？蓾M足硬件約束下機(jī)器人在分揀、采摘、監(jiān)控、服務(wù)等多樣實(shí)時(shí)性目標(biāo)檢測應(yīng)用場景需求。在今后的研究中如果采用更深的網(wǎng)絡(luò)，檢測的精度將有更進(jìn)一步的提升。