基于YOLOv2的雙足機器人目標檢測與拾取

劉超強 葉坤 李鶴喜

摘 ?要：本文采用YOLOv2深度學習模型對雙足機器人拍攝到的第一幀圖像進行目標定位檢測，接著通過傳統的Camshift算法對后續圖像中的目標進行跟蹤，直到逼近目標后利用機器人關節運動控制程序拾起目標。該方法的優點是：將深度學習算法與傳統圖像跟蹤技術相結合，增強了系統的魯棒性和實時性。

關鍵詞：YOLOv2;Camshift;目標檢測

中圖分類號：TP391.41;TP242 ? ? ?文獻標識碼：A 文章編號：2096-4706（2019）18-0137-04

Abstract：In this paper，we use YOLOv2 deep learning model to detect a target location through the first frame image captured by biped robot. Then we use traditional Camshift algorithm to track the target in the follow-up image until the target is approached and the robot joint motion control program is used to pick up the target. The advantage of this method is that the combination of deep learning algorithm and traditional image tracking technology enhances the robustness and real-time performance of the system.

Keywords：YOLOv2;Camsift;target detection

0 ?引 ?言

視覺感知是智能機器人的核心技術，特別是雙足行走的機器人，更需要靠視覺來感知環境、發現目標與規劃行走路線，從而實現自主導航。雙足機器人視覺任務中主要涉及到目標檢測和目標跟蹤。目標檢測與識別是當前計算機視覺領域中一個重要的研究方向，早期的目標檢測系統主要采用尺度不變特征變換（SIFT）和方向梯度直方圖（HOG）等傳統的特征提取方法[1]，將提取到的特征輸入至分類器中進行分類識別。這一時期的系統一般都是針對某個特定的目標并且數據規模不大的任務，對于復雜環境下目標識別能力的泛化性較差。本文將采用深度學習的方法解決雙足機器人運動過程中的目標檢測與定位問題，其中，YOLOv2是深度學習中目標檢測的有效方法之一[2]。運動目標跟蹤也一直是計算機視覺研究領域的熱門課題之一，在進行目標跟蹤時，利用簡單的模板匹配方法難以達到理想的效果，且容易出現誤匹配和目標跟蹤丟失等情況，Camshift算法可以較好地解決上述問題，故本文將YOLOv2與Camshift兩種方法結合起來實現雙足機器人對目標的自動檢測、跟蹤和拾取。

1 ?目標檢測與拾取系統的設計

系統可分為三大模塊：目標檢測模塊、目標跟蹤模塊、雙足機器人的運動控制模塊。目標檢測模塊的核心是YOLOv2，目標跟蹤模塊的核心是Camshift算法。具體流程如圖1所示。

1.1 ?目標檢測模塊

目標檢測模塊是整個系統中第一個起作用的模塊，該模塊的核心是YOLOv2。所以，訓練出一個適用于本文的YOLOv2神經網絡是關鍵的一步。在這一步中，面臨的問題有兩個。其一是用于訓練的樣本數據量的不足，要增加訓練樣本，可以采用數據增強的方法;第二個問題是，因YOLOv2的結構較深，有20多層，整個網絡的訓練耗時較長。要縮短訓練時間，本文采用遷移學習的方法。

1.1.1 ?數據增強

數據增強是常見的增加樣本量的手段。具體的方法有空間幾何變換、像素顏色變換、隨機裁剪等。聯系到數據增強的要求：增加的樣本（圖像）應是有可能出現在場景中的樣本，故應選擇合適的增強方法。因為本文機器人操作的目標是小物件，如抓起的球或端起的杯子，在通常情況下，鎖定目標的整體都在雙足機器人的攝像頭視野里，故我們可采用鏡像翻轉來進行數據增強。設圖像高度、寬度分別為height和width，則圖像水平與垂直翻轉按式（1）計算：

對機器人攝像機拍攝的目標杯子的原圖像如圖2（a）所示，下面是幾種典型的圖像數據增強實例，垂直翻轉后的圖像如圖2（b）所示，采用小半徑模糊的原圖像變換后如圖2（c）所示，采用大半徑高斯模糊處理的圖像如圖2（d）所示。

1.1.2 ?遷移學習

遷移學習是深度學習中被廣泛使用的學習策略，其重要性在于當數據樣本數量較小時可明顯改進學習效果。遷移學習的另一個更重要的作用是可以利用別人的學習成果來縮短自己的訓練時間。其基本思想是：遷移一個已有分類問題的信息源頭到另一個目標任務上去，從而增加網絡見過的數據量[3]，圖3給出了一個遷移學習的實例。

一般被遷移的是一些低級的特征信息，比如點、直線、曲線等。這些低級特征在不同的場景下，都能夠正常使用。因為即使是不同的場景，其低級特征也都是點、線。而這些低級特征通常保留在一個網絡的前面幾層甚至十余層。而高級特征，比如具體的顏色，以及低級特征的多種組合及其構成的不同的形狀，則因具體的場景而異，遷移高級特征意義不大，高級特征的信息，要通過對具體的數據進行學習，才能獲得。除非數據源相似，任務相似，否則不應該遷移高級特征。所以通常的具體做法是凍結網絡前面某些層，只訓練最后面的數層。在本項目中，訓練的是最后數層，其余的層均被凍結（參數不變）。由于只需訓練數層，故能有效縮短訓練時間。遷移的權重來源于YOLOv2在VOC數據集上的訓練（VOC數據集較為龐大，通過基于它的訓練能得到足夠多的低級特征）。

1.2 ?目標跟蹤模塊

目標跟蹤依賴于檢測模塊的輸出和Camshift算法。Camshift算法是對Mean-shift算法的改進。Camshift算法能夠根據目標的形變大小自動調節搜索窗口大小來適應目標尺寸的變化，從而在一定程度上有效地避免物體形變導致的目標丟失情況，Camshift算法主要包括反向投影、Mean-shift算法、自適應迭代過程。

1.2.1 ?反向投影

反向投影（Back Projection）是一種通過給定目標的像素分布直方圖模型計算圖像中目標概率的方式，即在圖像中利用目標顏色直方圖模型查找目標。RGB顏色空間對光照亮度變化敏感，在目標跟蹤任務中，為了減少光照強度變化對目標跟蹤的影響，將目標對象由RGB顏色空間映射到HSV顏色空間進行處理。H表示色調（Hue），S表示飽和度（Saturation），V代表亮度（Value）。我們利用Hue的值，建立關于Hue的顏色直方圖模型。Hue值的求取與RGB空間的顏色分量R，G和B的關系如下[4]：

得到目標對象的Hue之后，將[0，255]區間劃分成多個等長子區間，統計落在各個子區間的像素的個數Mk，將其與目標對象的總的像素個數TOTAL的比值（Mk/TOTAL）作為概率（以頻率代替概率），建立直方圖。接著以整幅圖像的Hue通道中的各個像素值所在區間對應的概率值代替像素值，得顏色概率分布圖，將其歸一化到[0，255]，得到新的圖像，稱該圖像為Back。

1.2.2 ?Mean-shift算法

Mean-shift算法是一種非參數密度梯度估計算法，它根據搜索框的樣本點反復迭代搜索目標圖像特征空間中樣本點最密集的區域，搜索點沿著樣本點密度增加最快的方向“漂移”到局部密度極大值點處，Mean-shift算法設立1個“漂移”閾值和最大迭代次數，設I（x，y）是Back的搜索窗中位于（x，y）處的像素值，其實現過程如下。

步驟1：在Back中設置搜索窗的初始大小和位置。

步驟2：按式（5）—（8）計算搜索窗的質心。

步驟4：移動搜索窗的中心到質心，如搜索窗的中心與質心間的移動距離小于預設的固定閾值，或者循環運算的次數達到某一最大值，停止計算;否則重復步驟2、3、4。

在本項目中，第一幀的搜索窗（主要包含目標物）由YOLOv2經過前向傳導輸出。YOLOv2的輸出為（x，y，w，h），其中（x，y）表示搜索窗的中心坐標，而w表示搜索窗的寬度，h表示搜索窗的高度。根據這個區域建立直方圖，對后續的每一幀進行反向投影。

1.2.3 ?自適應迭代過程

Camshift算法是對視頻序列中每幀圖像分別作Mean-shift運算，將位置結果和目標大小作為下一幀Mean-shift算法搜索窗位置的中心和搜索框大小的初始化值[5]。

Camshift算法在實際應用中要求幀率較高，實際上是希望前后兩幀中的同一目標物有重疊。而在本文中，目標物不動，雙足機器人移動，接著拍攝，如此反復。此時，通過設置比較慢的步速和較小的位移，可使相鄰兩幀中的同一目標物在位置上有一定的重疊。這是本文能夠使用Camshift的原因。

1.3 ?運動控制模塊

1.3.1 ?拾取動作

構建運動模塊的第一步是設計機器人可靠的操作目標物的動作。比如取杯子、撿球，要參考廠家給出的機器人各個關節的運動API參數的范圍，大致確定關節的運動幅度，確定運動順序，根據視覺反饋，按機器人關節運動的正向解，控制雙足機器人做出移動、端杯或撿球的動作。

1.3.2 ?目標物的中心區域

這里以撿球為例，當球落在圖像上的某個區域，機器人就執行撿球動作。故這個區域的確定，也是不可或缺的一個環節。確定該區域的方法較為簡單，將球置于不同的位置，并先調用攝像頭API拍照，并保存。然后撿球。如果能撿起來，則保留該位置對應的圖片，否則去掉。當保留足夠的照片，用標注工具Labeling對圖片中的小球做標注，然后從對應的位置數據中，得到一系列的中心點。這個中心點區域用一個矩形來描述。這個矩形用左上角頂點（Node1）和右下角頂點（Node2）來表示：Node1（x1，y1），Node2（x2，y2）。

1.3.3 ?機器人運動控制算法

結合一套設計好的撿球動作，和預先確定的一個關于球的中心的區域，判斷每一幀中的由Mean-shift得到的最終的移動搜索窗的中心點是否落在區域內，是則停止;否則，進行相應的移動。具體的步驟用偽代碼描述如下：

（1）得到搜索窗的中心（xc，yc）。

（2）如果xcx2，向右移動，重復（1）和（2），否則，跳轉至（3）。

（3）得到搜索窗的中心（xc，yc）。

（4）如果ycy2，向后移動，重復（3）和（4），否則跳轉至（5）。

（5）執行撿球操作。

2 ?實驗結果與分析

本文設計的系統圖像處理采用了OpenCV，深度學習采用了TensorFlow框架，雙足機器人運動控制采用自帶的SDK，下面以撿起地面上小球為目標考查系統軟件的有效性。雙足機器人的攝像頭的分辨率為640*480，拍到第一張圖片后，傳輸到PC機，將尺寸修改為416*416，經過YOLOv2的前向傳播，得到關于目標物的位置信息和大小信息，通過判斷由Mean-shift算法得到的搜索窗中心與區域的關系來決定移動與否。若移動，則PC機通過SDK的接口，發送移動相關的信息，否則發送撿球的信息。

2.1 ?目標檢測的結果

機器人攝像機拍攝獲取當前場景信息，輸入YOLOv2前向傳播后，獲取當前目標小球的結果如圖4所示。

2.2 ?目標跟蹤的結果

以YOLOv2輸出的（x，y，w，h），作為Camshift算法需要的第一個搜索窗，得到的下一幀的跟蹤結果如圖5所示。

2.3 ?運動模塊的結果

雙足機器人鎖定目標后，利用Camshift跟蹤算法和機器人運動控制，進行對目標的逼近，整個小球目標檢測與拾取過程如圖6所示。

3 ?結 ?論

本文將流行的YOLOv2目標檢測算法和經典的目標跟蹤算法結合起來應用到雙足機器人的目標視覺檢測與跟蹤系統中，實現了對預定目標的定位與拾取。其中，針對YOLOv2的訓練集數據不足的問題，采用數據增強的方法來獲得更多的數據;針對訓練完整的網絡耗時長的問題，采用遷移學習的手段來縮短訓練時間。

參考文獻：

[1] 李英豪，王華軍，汪緒彪，等.SIFT算法研究及在目標識別中的應用 [J].艦船科學技術，2016，38（10）：172-174.

[2] 雷維卓.基于YOLOv2的實時目標檢測研究 [D].重慶：重慶大學，2018.

[3] 莊福振，羅平，何清，等.遷移學習研究進展 [J].軟件學報，2015，26（1）：26-39.

[4] Gonzalez R. C. 數字圖像處理 [M].阮秋琦，等譯.北京：電子工業出版社，2009.

[5] 師慶敏.基于Camshift算法的目標跟蹤問題研究 [D].合肥：安徽大學，2013.

作者簡介：劉超強（1994.10-），男，漢族，廣東恩平人，本

科，學士學位，研究方向：圖像分析與機器學習;葉坤（1997.03-），男，漢族，廣東江門人，本科，學士學位，研究方向：圖像分析與機器學習;通訊作者：李鶴喜（1961.11-），男，漢族，遼寧昌圖人，教授，博士，研究方向：人工智能與機器視覺。