基于深度學習的競賽系統中機器人運動目標檢測

陽永清

（長沙師范學院信息與公共實驗管理中心，湖南長沙 410100）

攝像機是最為常用的視覺傳感器，將攝像機加入到機器人以后，可將攝像機作為控制器，使機器人通過對被測物體或工件的圖像獲取、目標特征提取、檢測與數據分析[1]，將機器人的機械運動與機器視覺的檢測技術融合起來，逼真地模擬出人體的頭眼或手眼功能，根據環境觀測與任務目標完成不同的作業任務，降低工業產品的工程設計難度[2]。競賽系統機器人運動目標檢測存在無用區域，易出現噪聲及空洞現象，存在誤檢率較高的問題，因此，有必要對競賽系統機器人運動目標檢測進行深入研究。

國內外都在積極研究機器人運動目標檢測方法，以期將機器人應用于重復性、高強度、勞動量大的工作領域，在國內外機器人競賽中取得了優異的成果，因此，研究了幀間差分法與背景差分法兩種機器人運動目標檢測方法[3]。雖然目前研究的幀間差分法與背景差分法都可以讓機器人檢測出運動目標，但是幀間差分法在應用的過程中會引起噪聲和空洞；背景差分法只能在特定的背景中檢測出運動目標。

因此，針對幀間差分法與背景差分法存在的問題，重點研究競賽系統中機器人運動目標檢測，利用深度學習算法，讓機器人可以在競賽系統中檢測運動中的目標時，不會受到無用區域因素的干擾，且適應競賽系統中場景變化。

1 檢測方法

1.1 建立目標圖像獲取模型

將機器人獲取運動目標圖像的攝像頭看作模型的中心Oc，Yc是機器人獲取運動目標時產生的光軸，這條光軸與投影平面A相互垂直，此時在機器人獲取運動目標圖像的攝像頭平面右側創建虛擬投影平面A′[4]。建立以Oc為原點，Yc為Y軸，Zc為X軸的機器人獲取運動目標圖像攝像頭的圖像獲取模型，如圖1所示。在圖1 機器人攝像頭運動目標圖像獲取模型中，P為機器人捕捉圖像過程中的任意一點，其成像在平面A上的投影點是P′，在平面A′的投影點是P″，Xc為X軸投影，并將x、o、y圖像的平面坐標以及像素坐標u、o、v設置在圖1模型中。

圖1 運動目標圖像獲取模型

根據圖1 建立數學關系式，設機器人獲取運動目標圖像攝像頭焦距為f，則有：

將式（1）帶入運動目標圖像獲取模型，則有：

式（2）為運動目標圖像獲取數學矩陣模型。機器人在競賽系統中尋找運動的目標機器人，通過圖1 或式（2）獲取運動目標圖像，且這個圖像屬于運動目標范圍圖[5]。因此機器人在獲取到運動目標圖像后，需要對運動目標進行標定，在標定運動目標圖像后，將獲取的圖像進行分割處理，進而提取運動目標特征。

1.2 運動目標標定

機器人獲取到圖像后，想要在機器人競賽系統中獲取運動中的準確位置，需要將圖1 模型中的幾何位置、屬性參數，與坐標系中的一一對應，進而分割圖像、提取運動目標特征、確定運動目標位置。因此提取圖1 模型中的像素坐標系u、o、v和圖像坐標系X、O、Y，如圖2 所示。

圖2 像素坐標系和圖像平面坐標系

圖1 中的光軸與圖像平面的中心重合，因此將這個重合點作為像素坐標系和圖像坐標系的中心點O，將像素坐標系提取為因此設圖像平面坐標系單位距離上的像素值為dx和dy，則有：

將式（3）帶入像素坐標系和圖像平面坐標系，則有：

式（4）即圖像平面坐標系矩陣。聯立式（2）和式（4），設則有：

式（5）中m即為機器人獲取圖像中標定的運動目標，根據標定的運動目標m即可分割機器人獲取的圖像。

1.3 圖像分割

機器人在檢測到運動目標時，需要將運動目標從背景圖像中提取出來，因此需要分割圖像，增強運動目標的辨識度，將檢測目標與背景圖像進行區分，進而提取運動目標的特征[7]。因此，設圖像中運動目標顏色閾值為H1和H2，并將圖像分割成3 個區域：背景區域Z1、Z3，目標區域Z2。由于顏色存在色調、亮度和飽和度3 個基點，而色調在顏色特征中具有單調唯一性，且由可見光光譜中各分量成分的波長來確定，因此采用顏色的色調基點區分圖像背景和運動目標[8]。所以，設色調值小于圖像閾值H1的像素組成背景區域Z1，色調值在圖像閾值H1和H2之間的像素組成目標區域Z2，色調值大于圖像閾值H2的像素組成背景區域Z3。由于顏色色調存在變化差異，因此需要設置顏色的基本色調，作為區分背景區域與目標區域的色調值[9]。因此，設基本色調值為H0，且H1=H2=H0，依照經驗取像素色調值為ε，目標區域Z2的圖像面積為N，背景區域Z1、Z3中重新歸類到目標區域Z2的像素數為n1、n2，背景區域Z1像素的色調值為Hi，背景區域Z3像素的色調值為Hj，則有：

當式（6）中背景區域Z1的像素色調值Hi符合H1-Hi＜ε時，將背景區域Z1這一部分像素重新歸類至目標區域Z2；當式（6）中背景區域Z3的像素色調值Hj符合Hj-H2＜ε時，將背景區域Z3這一部分像素重新歸類至目標區域Z2[10]。不斷重復這一步驟，直至將圖像所有區域都重新歸類，然后將背景區域Z1、Z3合并，即完成圖像分割。圖像分割結束，即可提取出目標區域Z2中運動目標特征。

1.4 基于深度學習提取運動目標特征

將深度學習看作可導的得分函數，通過將圖像目標區域的像素與深度學習中的每個元素按位置相乘、相加后作為該區域中心點的像素值，并在函數中輸入分割好的目標區域圖像Z2，輸出不同分類的圖像像素，并深度學習圖像特征，從而激活圖像上任意位置的特征激活值[11]。因此，設深度學習的卷積核w的大小為a?b，輸出圖像特征為g，則有：

在式（7）的運算過程中，深度學習的卷積核會按照一定的速度學習輸入目標圖像，然后激活目標圖像上任意位置的不同特征值，其特征值激活過程如圖3所示[12]。

圖3 深度學習特征值激活過程

深度學習可以反向傳播卷積核，讓卷積核在傳播過程中提取目標區域圖像的基本視覺特征，在深度學習中輸入卷積核，卷積會自動生成二維激活圖，將這些二維激活圖映射在深度方向上并疊加[13]。卷積核即可輸出目標區域圖像的特征值，此時即可檢測運動目標位置。

1.5 運動目標檢測

將機器人所處的競賽系統看成一個四維向量，設機器人在k時刻檢測運動目標時，競賽系統狀態為Xk，在x軸和y軸上的運動目標坐標為xsk、ysk，速度為xvk、yvk，機器人檢測運動目標間隔周期為T，則有競賽系統四維向量基于式（7）的計算結果可知，機器人觀測到的目標特征為g，目標所在區域為Z2，因此機器人在k時刻的觀測特征向量Z2gk為，m為機器人運動目標位置參數[15-16]。此時令機器人獲取運動目標圖像時間間隔為Δt，設運動目標在x軸和y軸上的加速度為xak、yak，則有機器人所獲取運動目標的運動方程：

若機器人在檢測運動目標時不存在誤差，即機器人檢測到的位置為運動目標位置，則有：

聯立式（8）、（9），則有：

式（10）計算結果即為機器人檢測到的運動目標。該檢測機器人運動目標將機器人獲取圖像中的目標進行標定，將目標從圖像中分割出來，進而提取出運動目標特征，從而可以實時檢測運動中的目標，以此達成機器人在競賽系統中檢測機器人運動時的位置。

2 實驗結果及分析

為了驗證文中研究設計的運動目標檢測方法，實驗在Delphi 7.0 集成開發環境和OpenCV 2.5 下完成，實驗采用視頻行為識別數據庫上的測試視頻，且該測試視頻拍攝鏡頭固定，視頻大小為300×400，真彩色格式，幀率為30 fps，使用TMi3-3110M 主頻2.4 GHz 的PC 機計算。競賽系統機器人實驗路徑如圖4 所示。

圖4 實驗路徑示意圖

機器人從啟動區A點出發，以曲線方式運動到B點，再由B點以直線方式回退到D點，最后D點原地扭轉航向角，直線運動到E點附近。

將文中提出的運動目標檢測方法記為實驗A組，將引言里提到的幀間差分法與背景差分法，分別記為實驗B 組和實驗C 組。基于機器人檢測運動目標的特點，從運動目標特征提取和運動目標檢測兩個方面分析3 組檢測方法，檢測機器人運動路線、背景和移動背景特征，是否符合實際目標特征和運動路線。為了保證實驗測試結果的可靠性和真實性，進行50 次實驗，并將所得特征和運動路線按實驗次序繪成圖形，直觀上比較不同檢測方法的差異。

2.1 第一組實驗測試

從行為識別數據庫上的測試視頻中選取一組背景移動視頻，機器人在運動過程中，觀察到的背景在不斷變化，采用PC 機檢測機器人運動過程中，提取變化背景特征實驗結果，如圖5 所示。

圖5 背景特征提取圖

從圖5 中可以看出，在只有室內背景時，實驗B組和實驗C 組檢測效果夸大，凡是出現在機器人視野內的，都會給機器人帶來干擾，當有移動背景出現時，機器人會將移動背景擴大化。而實驗A 組卻可以很好地屏蔽背景的干擾，準確識別出移動干擾背景的具體位置。因此，實驗A 組明顯優于實驗B 組和實驗C 組，可以準確提取目標特征，屏蔽背景干擾。

2.2 第二組實驗測試

從行為識別數據庫上的測試視頻中選取一組機器人競賽視頻，該視頻中記錄了一個機器人從右至左行駛的小段距離，該機器人的移動前和移動后的位置如圖6 所示。該機器人在行駛過程中為勻速行駛，且行駛的目標中心軌跡曲線應是從右至左的平滑曲線，且曲線的首尾位置應與圖6 中車輛移動前位置和移動后位置相符。

圖6 運動目標移動前后位置

針對該視頻，分別使用3 種檢測方法檢測該機器人，并提取了3 種檢測方法所檢測出的運動目標區域，利用重心法找出目標中心，在連續幀中記錄3種檢測方法所檢測到的運動目標軌跡，其檢測結果如圖7 所示。

圖7 機器人中心軌跡

從圖7 中可以看出，實驗B 組檢測到的機器人位置存在突變，與圖6 所示的目標機器人行駛的實際情況不符；實驗C 組提取到的機器人行駛軌跡明顯過短，且檢測到的移動前位置和移動后位置與圖6所示的目標機器人行駛的實際情況存在差別；實驗A 組移動前后位置與圖6 所示的目標車輛行駛的實際情況一致。由此可見，實驗A 組檢測方法可以準確檢測出運動目標運動前后位置，且在運動過程中，也不會失去運動目標，可以實時檢測運動目標所在位置。

通過機器人手臂與控制者手臂之間執行動作的一致性程度，判斷機器人上肢映射完成情況，該實驗包括左臂、右臂兩組動作測試[17-18]。

由圖8可以看出，從體感控制結果來看，機器人能夠較好地識別控制者的控制指令，完成相應的任務。

圖8 機器人上肢體感控制測試

為進一步驗證檢測方法的有效性及其時間性能，統計了兩次實驗機器人檢測運動目標過程中存在的檢測率、誤檢率以及平均每幀檢測時間，其檢測結果如表1 所示。

表1 檢測結果數據

從表1 中可以看出，3 種檢測方法對運動目標檢測率均高達90%以上，可以完整檢測到運動目標，但在檢測過程中，實驗A 組的誤檢率低于實驗B 組和實驗C 組，平均每幀檢測到運動目標的時間同樣高于實驗B 組和實驗C 組。綜合上述實驗結果可知，文中研究的檢查方法檢測率高，檢測速度快，可以準確提取背景和移動背景特征，并實時檢測運動目標。

3 結束語

文中研究的運動目標檢測方法，充分發揮了深度學習目標圖像特征提取的優勢，降低機器人對運動目標特征提取的困難度，特征提取誤差控制在最小范圍內，檢測運動目標結果控制在合理范圍內，且可以實時檢測運動目標。但是該研究檢測方法，并沒有考慮機器人檢測多運動目標的問題，也未曾考慮在極端復雜環境下，機器人對障礙物的識別功能。因此，在今后的研究與分析中，應該嘗試從三維角度來進行運動目標特性分析，考慮多個運動目標出現時，機器人對檢測目標的識別程度，將機器人的實時避障功能、路徑規劃功能與目標檢測及跟蹤功能相結合，讓機器人可以在極端復雜的環境下檢測跟蹤運動目標。