六足機器人動態目標檢測與跟蹤系統研究

王德鑫，常發亮

山東大學 控制科學與工程學院，濟南250061

自從計算機視覺技術發展以來，動態目標檢測就一直是研究熱點之一。動態目標檢測的核心問題是如何在一段連續的圖像中檢測出運動的物體，而不受運動背景的影響。一旦運動物體被檢測到，諸如目標分類[1]、行人重識別[2]、車輛重識別[3]等技術就可進行后續應用。目前，動態目標檢測在智能交通、安全監控、醫學和機器人視覺導航等領域都已經有了非常廣泛的應用。然而，目前的運動目標檢測技術依然存在兩個關鍵問題：首先，用于安全監控領域的運動目標檢測幾乎都通過固定在支架上的攝像機拍攝視頻[4-5]，即使攝像機可以繞固定點運動，單個攝像機可監控的場景也局限于其所在的小區域，使得安全監控的成本相當大。其次，應用于運動機器人領域的運動目標檢測技術多搭載在輪式機器人上[6-7]，如車站的電子巡警等，這就使得類似的機器人必須按照設計好的路線進行移動，一旦遇到崎嶇不平的路面或樓梯，就幾乎無法運行。為了解決第一個問題，需要讓攝像頭動起來，機器人載體是首選。為了解決第二個問題，機器人必須能夠在崎嶇的路面平穩運行，足式機器人是首選。足式移動機器人憑借連桿構型的腿使得足地接觸點非連續，在非結構化的地表行走，具有良好的地形適應性，并且連桿結構的末端活動空間大，因此足式機器人的越障能力強，通過性好[8-9]。綜上，基于六足機器人設計了動態目標檢測與跟蹤系統，并針對實驗過程中出現的六足機器人機體抖動、圖像場景變化大的問題，提出區域合并算法，實現在六足機器人運動過程中對運動目標的精確檢測。

在六足機器人運動過程中，可能會產生機體抖動、圖像場景運動較大的問題，需要更加精確的動態目標檢測方法。傳統的動態目標檢測主要基于運動補償法[10]和光流法[11]。以往的運動補償方法都存在將非剛體運動目標檢測為多分散區域的問題。光流法不需要對圖像進行預處理，且能處理運動目標重疊、遮擋等問題，但是計算量大。Wang等[12]通過結合頻域和時域的思想來優化時域運動目標檢測算法的速度和準確性，但是對復雜場景中的運動目標檢測精度較差。Wang等[13]采用首尾相接的金字塔形LK光流法對快速、大型運動目標進行檢測，但是存在計算量較大的問題。Zuo等[14]采用改進的高斯混合背景減法，在改善運動目標檢測的同時，降低噪聲和動態背景干擾。

算法首先通過對稱匹配和自適應外點濾除來提高運動補償的精度，并通過區域合并方法實現了對非剛體運動目標檢測的精確檢測。其次，對比了目前經典的目標跟蹤算法，設計了基于KCF（Kernel Correlation Filter）的六足機器人自適應跟蹤算法，結合無線通信、人機交互等技術，開發了一套具有感知能力、執行能力的運動目標檢測與跟蹤系統。

1 動態目標檢測與跟蹤算法研究

1.1 動態目標檢測

六足機器人在運動過程中無法精確保持機體平穩，導致所拍攝的圖像場景變化劇烈，而運動目標的整體位置變化較小，目標容易被檢測為多個離散小區域，影響動態目標檢測精度。針對此問題，首先提出區域合并算法將多個離散小區域合并為一個整體，并結合對稱匹配、自適應外點濾除算法，保證機器人在機體不穩定的情況下仍能達到對運動目標的精確檢測。

通過SURF（Speeded Up Robust Features）特征[15]檢測相鄰兩幀圖像中的特征點，使用KNN（K-Nearest Neighbor）[16]對連續兩幀中的特征點進行對稱匹配，篩除大部分錯誤的匹配點對。篩選后的特征點對包含靜止背景點和運動前景點，運動的前景點會使運動補償產生較大誤差，使用自適應外點濾除[17]篩除前景點對，只保留背景點進行單應矩陣變換。高斯濾波后，通過幀差法粗略去除背景，并使用形態學操作去除部分離群點和較小的噪點。

當場景中存在運動的非剛體目標時，目標不同部分的運動存在差異性，使得一個目標被檢測為多個分散區域，且當多個運動目標距離較近時無法區分。使用區域合并算法解決上述問題。

（1）幀內合并。若同一幀內的兩個區域質心小于閾值th1且HSV顏色空間的歐氏距離小于閾值th2，則將這兩個區域設置為連通域。

（2）幀間合并。若相鄰幀內兩個目標的質心距離小于閾值th3且HSV空間歐式距離小于閾值th4，設這兩個區域為等價區域對。迭代后可在連續兩幀內獲得多組等價區域對為等價區域對數。迭代計算任意兩對等價區域對的運動一致性（Motion Consistency，MC），若兩區域對中在當前幀的區域質心距離小于閾值th5且運動一致性小于閾值th6，則將這兩個等價區域對中在當前幀的區域連接為連通域。

運動一致性的計算公式如下：

其中，i,j=0,1,…,I,dx和dy分別為等價區域對的質心從第n-1幀到第n幀在x方向和y方向的移動像素距離。

區域合并的偽代碼如圖1。

圖1 區域合并算法偽代碼

區域合并算法結果如圖2，運動目標在區域合并前被檢測為多個離散區域，經區域合并后的結果為一個完整的目標。算法內的閾值參數全部由VTB-100數據集[18]中的視頻測試得到(th1=30,th2=3 000,th3=30,th4=8 000,th5=50,th6=30)，動態目標檢測流程如圖3。

圖2 區域合并結果對比

圖3 動態目標檢測流程

1.2 基于六足機器人的目標跟蹤

與輪式機器人的運動步態規劃不同，六足機器人的移動存在步態周期，即腿足的抬起、轉動和落下，耗時較長且控制復雜。在三角步態的基礎上，設計了自適應跟蹤方法，根據偏移距離自適應調整跟蹤速度，始終保持目標在視野中央附近。

表1對比了目標跟蹤的經典算法，測試對象為VTB-100數據集。視頻1（V1）背景簡單，目標較大且特征明顯；視頻2（V2）背景簡單，目標較小且與背景顏色接近；視頻3（V3）背景與目標顏色相近，有多個目標，目標較小且存在遮擋；視頻4（V4）背景簡單，目標特征明顯，但形狀和尺度變化較大；視頻5（V5）背景復雜，目標較多且存在目標遮擋。1表示在跟蹤過程中無跟丟現象，0表示有跟丟現象。結果顯示，KCF算法[19]對形狀和尺度變化具有較強的魯棒性，且幀率較高，符合六足機器人跟蹤運動目標的需求。

表1 經典跟蹤算法比較

為保證六足機器人在爬行過程中穩定，六足機器人的機體框架采用菱形結構，具有以下優點：（1）有效減少了各腿足在行走時的碰撞；（2）提高了機器人整體結構的穩定性；（3）增大了機器人腿部的轉動空間。同時為降低機器人總體重量，采用高強度鋁合金材料。6個腿部結構在機體兩側對稱安裝，機器人腿部為三自由度關節，各關節由舵機驅動。數字舵機可實現關節在正負90°范圍內運動，使腿部有較大的靈活性。通過控制相應關節上舵機的動作，可使機器人完成前行、轉彎等動作。腿部結構和機體一樣采用高強度鋁合金。除主要硬件結構以外，攝像頭、云臺、控制器、電源等模塊全部安裝在機體中心軸上，使機器人重心位于機體中心軸上，最大程度保證機器人在爬行過程中的穩定。六足機器人結構如圖4所示。

圖4 六足機器人

綜合考慮六足機器人的運動速度和穩定性，采用占地系數為0.5的三角步態[20]，即每條腿的接觸地面時間占步態周期的1/2。將機器人的6個腿部結構分為R和L兩組，步態周期分為R抬升、L前移、R落下、L抬升、R前移、L落下6個步驟。首先將上述6組動作在實驗環境中分別編程實現并保存為函數，按順序組合后運行可實現六足機器人的直行。轉彎步態包括沿中心轉彎和沿外點轉彎。采用沿中心轉彎，即機器人直行停止后再轉彎，實現過程與直行步態類似。

設置偏移閾值區域，區域中心為圖像中心，區域長寬均為圖像長寬的1/4，跟蹤目標出現在閾值區域以外時，六足機器人和攝像頭云臺開始運動。建立機器人與攝像頭云臺單次運動的轉角與軸向偏移量，當跟蹤目標位于閾值區域邊緣時，轉角弧度為0，當跟蹤目標在圖像邊緣時，轉角弧度為。圖5為跟蹤偏移示意圖，圖中的取值范圍（單位：像素）分別是(-320～320,-240～240)。

圖5 跟蹤偏移示意圖

六足機器人一次轉彎的弧度dθ與x軸偏移量dx的關系如式（2）所示：

攝像頭云臺一次轉動的弧度dα與y軸偏移量dy的關系如式（3）所示：

2 基于六足機器人的動態目標檢測與跟蹤系統設計

2.1 系統體系結構和系統架構

系統結構如圖6所示。基于六足機器人的動態目標檢測與完整跟蹤系統結構由操作人員、處理器和六足機器人組成。

圖6 系統結構

系統架構如圖7，主要包括操作系統層、驅動層和硬件層三部分。

圖7 系統總體架構

硬件層由六足機器人主體、相機、電機和電源組成。主體采用菱形結構，驅動關節采用20個MG995舵機，包括18個腿部關節和2個攝像頭云臺關節。

驅動層作為連通操作系統層與硬件層的中間環節，主要完成傳感器信息的傳輸以及控制指令的轉達。考慮到不涉及復雜運動控制的研究，機器人處理器采用STM32F103RCT6單片機，采用24路舵機控制板作為舵機驅動控制器。

操作系統層是控制核心，集成了機器人的功能模塊，負責圖像采集、圖像處理、人機交互等。

2.2 軟件框架

軟件結構采用模塊化設計方式，如圖8所示。

圖8 系統軟件結構

處理器內的軟件系統由頂層的人機交互和底層的智能算法組成。人機交互模塊負責顯示各項數據、手動發出控制指令（由鍵盤操控）等任務。智能算法模塊進行各項圖像處理、保存數據以及將控制指令轉碼為自定義的RCP（Robot Communication Protocol）通信協議。RCP通信協議如圖9所示。

圖9 RCP通信協議

RCP通信協議由21位二進制數組成。轉動標志位1和2分別表示是否轉彎和是否轉動攝像頭云臺，標志位為1時有效。dx和dy用10位二進制數表示，其中最高位為符號位，置1表示右轉，置0表示左轉，可表示的偏移范圍為(-512～512)。

六足機器人內的軟件系統由數據解碼模塊、運動控制模塊和圖像采集模塊組成。數據解碼模塊將處理器發送的RCP數據解碼得到運動控制數據，運動控制模塊則直接控制電機轉動。無線通信模塊由基于ESP8266的WIFI通信和5.8 GHz圖像傳輸模塊組成。

2.3 人機交互界面

人機交互界面由視頻監視模塊、運動控制模塊、狀態顯示模塊、無線通信模塊和參數設置模塊組成。操作人員可實時查看機器人的運行狀態、無線通信狀態、切換圖像模式以及手動控制機器人的運動。人機交互界面如圖10。若算法默認參數在當前場景下不適用，操作人員可重新設置參數優化算法。

圖10 人機交互界面

2.4 實驗環境

實驗環境如下所示：

硬件：Intel Skull，Core i7-6770HQ，2.6～3.5 GHz。

操作系統：Windows 10。

編程環境：Visual Studio 2017，Keil v5，C++，opencv3.4.0，opencv-contrib3.4.0。

3 實驗過程

測試六足機器人在移動過程中對運動目標的檢測性能。測試環境背景復雜度適中，六足機器人運動速度和目標運動速度均在每幀10像素以內。控制六足機器人在場景內隨機移動，多個運動目標由視野外進入機器人視野并相對行走。檢測結果如圖11，檢測幀率如表2。結果顯示，運動目標均被完整地檢測并標注，存在少量背景誤檢測，在當前場景下檢測幀率為17.5 frame/s。

圖11 動態目標檢測結果

圖12 目標跟蹤

六足機器人跟蹤運動目標結果如圖12。圖13繪制了連續330幀跟蹤過程中的x軸和y軸方向的像素偏移，目標在第0幀出現在視野邊緣，在第120幀向視野邊緣運動，在第250幀開始反向運動。從圖13中可以看出，當目標與視野中央的偏差大于80像素時，機器人快速轉動，使目標保持在視野中央附近。

圖13 目標跟蹤偏移

系統響應的實時性由數據傳輸時間和檢測時間同時決定。由于將機器人與算法處理器獨立設計，目標跟蹤過程主要包括六部分：機器人向處理器發送圖像，目標跟蹤，處理器向WIFI模塊發送控制命令，WIFI模塊向單片機轉發控制命令，單片機向舵機控制器發送命令，舵機控制器驅動舵機關節。其中機器人使用5.8 GHz圖傳模塊向處理器發送圖像數據，延時約為200 ms；舵機控制器驅動舵機關節部分延時約為300 ms；其余部分的延時共50 ms。因此從目標運動到機器人跟蹤其開始運動，延時約為550 ms。檢測過程由于只包括機器人向處理器發送圖像和運動目標檢測兩部分，延時約為250 ms。可以看出，主要的延時部分為無線圖像傳輸與驅動舵機關節部分。更換傳輸速度更快的無線傳輸設備和舵機對降低延時有幫助，在后續研究過程中將對其進行改進。

表2展示了運動目標檢測與跟蹤算法在不同場景下的幀率。跟蹤幀率在不同復雜程度的場景下并沒有較大差距，而檢測幀率相差6.8，原因是算法在復雜場景下檢測了更多特征點進行運動補償。

表2 檢測與跟蹤幀率frame/s

4 結束語

為探索動態目標檢測與跟蹤算法與機器人的交叉應用，基于六足機器人平臺，結合人機交互、智能算法、無線通信等開發了一套完整的檢測與跟蹤系統。其中，針對以往動態目標檢測算法易將非剛體運動目標檢測為多個分散區域的問題，通過區域合并與運動補償法相結合，使六足機器人在運動過程中可以精確檢測非剛體運動目標，幀率達到17.5 frame/s。采用基于KCF的目標跟蹤算法，通過自適應調整跟蹤速度，使目標保持在距視野中心100像素以內。后續研究將改進圖像抖動下的動態目標檢測效果以及提高六足機器人運行過程中的穩定性。