基于優化YOLO算法的多約束條件下視覺伺服系統目標的精準定位*

李石朋，方 赟

（1.中國國際海運集裝箱(集團)股份有限公司，廣東深圳 518067；2.浙江大學機械工程學院，杭州 310058）

0 引言

近年來，在機器人視覺控制領域中被研究最多的是視覺伺服技術。視覺伺服技術是一種利用圖像信息的實時閉環反饋完成機器人姿態動態調整的技術。該技術在完成系統的硬件部署后，首要任務就是獲取機器人視覺系統的操作對象，因此對具有目標特征的圖像有效識別是視覺伺服系統面臨的第一個關鍵問題。對視覺伺服的理解，可以形象地比喻為人類基于眼睛視野信息進行電腦鼠標尋找的過程，當視野中出現具有類似鼠標外在基本特征的物體時，即使目標被部分遮擋，大腦也可以根據經驗判斷出此物體是否為所要搜尋的目標，并完成對該目標的定位。在此過程中即使面對光照、遮擋等因素，人腦也能夠克服約束影響，所依賴的正是目標在大腦計算單元中所形成的印象深刻的特征形象。

與人類大腦的搜索和計算相比，機器人視覺處理系統并沒有此能力，但過程類似：首先，對目標的搜尋主要是匹配處理系統已有的有限目標模型，較大姿態的改變會導致匹配失敗，對于發生嚴重遮擋或非剛體目標形狀變化造成的目標信息約束無能為力，這也是機器人視覺控制系統嚴重依賴標準工作環境，系統魯棒性差的原因。在本文所關注的復雜工業生產環境中存在大量的非結構性因素，如目標特征的非標準化，其他機械設備運行產生的各種噪聲，相機視野范圍出現的遮擋，環境光線強度的變化等因素均會造成視覺目標識別失敗。因此，需要研究一種能夠適應各種非結構化環境信息影響的圖像識別和目標匹配算法，以完成系統任務的關鍵一步。

1 相關工作

基于YOLO 的深度學習算法的主要目的在于提高目標圖像檢測速度，在個別的工作中已實現了對整幅圖像和視頻的實時檢測[1]。在檢測算法實施的過程中，最關鍵的是如何提高網絡的運行效率，使得模型在計算能力較低的嵌入式設備上也能夠高效運行。從已有的研究成果來看[2]，考慮到通過提升現有上位機計算能力的方法提升網絡運行效率的效果有限，一般通過采用降低模型復雜度的手段，以犧牲目標模型完整度和精度的代價換取計算速度的提升，這種以刪減網絡結構，調整分辨率為主要手段的方法顯然不能從根本上解決問題。

ROI-Pooling是Pooling算法的一種，在傳統的卷積神經網絡中主要有以下作用[3]：首先是特征不變性，該算法更關注模型是否存在某種特征而非特征的具體位置，同時對目標圖像位置具有較強的旋轉和平移不變性，這是對機器人視覺伺服任務非常重要的一個性質；其次該算法還可以通過特征降維的方式使模型抽取更廣范圍的特征，減少各層輸入大小，減少特征計算量和計算個數，這也完美符合視覺伺服研究以簡單特征為目標降低系統計算負載而提高實時性的任務訴求；另外還可以在一定程度上防止過擬合，更方便優化。

基于上述ROI-Pooling 的特點，本文著重研究在目標圖像完全信息受到干擾或缺失的情況下，提高圖像檢測成功率以及對目標缺失信息進行預測的目標檢測算法。

YOLO 算法將目標物體的檢測轉換為一種回歸問題[4]，通過對邊界框和對應類的概率進行空間分離，其邊框和對應類的檢測只需在單一的神經網絡評估中就可以完成，該網絡通過將圖像分割成更細粒度的區域網格，實現任意區域邊框的檢測并計算出檢測概率，最后通過檢測概率來確定這些檢測邊框的權重。這種檢測通道為單一卷積神經網絡的方式，也為其檢測性能上完成端到端的優化提供了可能，這個特點也是其優于基于區域生成方法的地方，大量研究結果證實了其具有快速且精確的檢測效果（如實時圖像檢測傳輸幀率最高可達50幀），但該檢測方法也存在定位錯誤的缺點[5]。

YOLO 目前已經發展出了多個版本，相對于初代版本，最新的版本主要是針對以下幾個方面的改進[6]：首先是不同尺度的目標檢測，以13× 13、26 × 26 和52 ×52 作為3 個尺度預測選取值；其次是對網絡結構方面的優化，使用了Res-Net 的設計方法，通過加入殘差塊的方法來降低梯度消失的概率，不同的特征圖尺度負責檢測不同尺寸的物體，如大尺度特征圖來完成最小目標的檢出[7-8]。這種引入殘差塊的方法一方面降低了卷積的參數冗余，另一方面使梯度爆炸和梯度消失的情況也有所減少，從結構上優化了該網絡主體。

YOLO-V3網絡總體架構以Darknet-53為主干進行設計，具有置信度高、定位準確的特點，圖1 所示為其典型的網絡結構?；谝陨蟉OLO 網絡結構的研究基礎，結合本文研究目標，對本文采用的復雜環境檢測算法進行介紹。

圖1 YOLOv3總體采樣網絡結構示意

2 基于YOLO的目標檢測框架

本文主要結合視覺伺服系統在復雜環境中目標檢測的特點，利用基于YOLO 的目標檢測和特征提取一體化網絡結構，提出一種將上一幀目標位置與卡爾曼濾波得到的目標在當前幀的預測位置做關鍵點匹配，從而判斷預測位置是否存在目標的方法。該方法能夠有效提高圖像目標特征的檢測效率，目的在于克服現有技術在檢測速度和成功率上的不足，設計適合本文總體目標的檢測框架，其主要步驟可描述如下。

步驟1：通過圖像傳感器獲取視頻流；

步驟2：使用目標檢測網絡檢測輸入視頻，在這一步驟中如果檢測到目標則使用目標的檢測位置信息初始化卡爾曼濾波器，用目標在圖像中的外接矩形框表示目標的位置信息；如果未能檢測到目標，則持續使用YOLO網絡檢測輸入視頻；

步驟3：通過本文YOLO 檢測網絡獲取當前圖像幀，如果檢測到目標則計算當前幀圖像目標的檢測位置與預測位置的交并比，如果交并比大于預設閾值，則用目標的檢測位置作為目標在當前幀的位置，否則將目標在上一幀的位置與目標在當前幀的預測位置做關鍵點匹配，如果匹配對大于預設閾值，得到目標在當前幀的位置，否則重復執行步驟2；

步驟4：檢查視頻是否檢測結束，若是則結束跟蹤，否則執行步驟3。在這一步的執行過程中需要首先設置交并比閾值，計算當前圖像目標的檢測位置與預測位置的交并比，該比值的計算方法如下：

式中：IIoU為檢測位置與預測位置的交并比；Sdetection為目標檢測位置的外接矩形框的面積；Sprediction為目標預測位置的外接矩形框的面積。

當IIoU小于檢測算法中的預設閾值時，系統選擇目標檢測位置的值[9]，否則需要重新檢測輸入圖像流，即執行步驟2相關流程。更直觀的流程可見圖2。

圖2 目標圖像特征位置預測流程

需要指出的是，在實現進行上述圖像預測關鍵點匹配過程中，如SHIF 關鍵點檢測、RANSAC 的計算、放射矩陣的變換、卡爾曼濾波器的更新等步驟較為復雜，本文通過以下偽代碼進行主要算法實現流程的說明，作為上文如步驟3的補充。

其主要算法實現如下：

Input:image setI={I1,I2,…,Im,…,IM} ,image attributeIm=（Cm，Tm,max）.

Threshold detection setT={T1,T2,…Tn,…TN,}

YOLO target detection network intercepts the current frame imageI1

Obtain intersection ratio of detection position and the predicted position of the target in the current frame.

Match key points according to the thresholdTn.Output:Φ

Begin

Computing SIFT Key Points of Prediction Position

P={P1,P2,…Pn} ；

Extract feature vectorsVpcorresponding to each key point Calculated euclidean distancedeof feature vector；Get thedminanddsecmindistance；

for

judge whetherdmin ＜0.6·dsec min；If true,consider the SIFT point matching,Complete the matching task of all key points；

Determine whether the key point matching pairs are greater than 10；

Calculation of affine transformation matrix

by RANSAC algorithm；

for

Randomly selecting 4 pairs of key matching points；Gets four verticesV1,V2,V3,V4of the target bounding rectangle and calculates the widthwand height ? of the rectangleR；

Prediction of rectangular center coordinatesCo；

end for

Update Kalman Filter through Current Position；

end for

Get the final matching result Φ；

Return Φ；

End Begin

在上述算法中，涉及仿射矩陣的參數表示意義如下：?′0、?′、1?′0和?′0為縮放旋轉因子，Δx和Δy分別為目標在上一幀的檢測位置相對目標在當前幀的預測位置在X方向和Y方向上的偏移量，[x′,y′,1]T和[x,y,1]T分別為任一對SIFT 關鍵點在目標在上一幀的檢測位置與目標在當前幀的預測位置的齊次坐標。

根據上一節和緒論中的研究可知，無論從推斷過程或是訓練的角度考慮，回歸的方法都要優于候選框的方法。基于回歸的檢測方法雖能夠滿足視覺伺服對系統實時性的要求，但在視覺伺服研究中精度方面的檢出效果卻無法與基于候選框的方法相比，研究認為這種差距的存在歸結于卷積層在完成位置回歸和類別預測時造成的高分辨率丟失[10]。鑒于此，本文在YOLO 回歸概念的基礎上結合ROI目標檢測算法，通過將跨層的ROI結構池在回歸的過程中實現，利用高分辨率的方法對系統的檢測效果進行優化，這也有助于視覺伺服魯棒動態特性的提升。

圖3 所示為以木塊的特征檢測為例的YOLO 模型網絡結構。圖3（a）表示通過YOLO 框架完成目標圖像在C×C個網格中的輸入，若目標物體或其他物體的中心位置出現在某個網格（圖3（b）），那么就由該網格完成該目標的檢出工作（圖3（c）），最終檢測結果如圖3（d）?；瑒哟翱谟蒚(x,y,w,?,Cconfidence)等信息組表示，其中，預測目標的置信度中心坐標為（x,y)，此外寬度、高度、置信度依次由w、?、Cconfidence表示，這些數值可以客觀地說明檢測對象與滑動窗口的相對位置，同時做出準確性預測，計算方法為：

式中：P( object )為檢測對象出現在T(x,y,w,?,Cconfidence)中的概率，圖3 中表示的真實目標檢測區域與滑動窗口的重疊面積通過表示。若檢測目標存在于單元格中，則P( object )為1，此時置信度Cconfidence為，否則P( object )為0，置信度為0。這里候選框中某一類別的置信度可以通過下式計算。

式中：P(classi)為某目標圖像在候選框中的概率，通過與的乘積來計算目標物體匹配度。在YOLO 中引入錨機制、歸一化處理、維度聚類、高分辨率分類器、直接位置預測等技巧措施來提高檢測精度[11]，也可結合詞向量樹法擴大YOLO檢測目標的種類[12]。

圖3 本文優化算法檢測模型

3 優化融合路徑

為改善YOLO 的目標檢測精度，本文在圖像檢測過程中采取融合ROI的處理技術。

如圖4所示，經過卷積運算，特征圖像1中的ROI大于輸入圖像中的ROI，這是因為卷積操作會導致輸入圖像中的單個像素影響輸出圖像中的9 個像素（3像素× 3像素）的值。在圖4中，特征圖像2的ROI大于前一層的ROI。隨著卷積操作持續到網絡末端，ROI會變得越來越大，最終會和輸入圖像一樣。這意味著輸入圖像中的所有數據都將被視為感興趣的區域，將導致減少了最終ROI 的計算。因此，在進行卷積運算后，有必要推導出合適的ROI選擇方法。

圖4 未抽樣ROI變化情況示意

圖5 所示為在卷積層中確定的ROI 示例。每個方框對應一個像素N、I 代表RONI（Region of Non Interest）數據和ROI 數據，內核大小為3× 3。當內核窗口中的ROI 數據數為大于預定閾值，則輸出是ROI。在圖5（a）中，輸入圖像右下角的粗方塊指示當前卷積的滑動窗口操作，該卷積運算的輸出被視為ROI 數據，卷積后的輸出取決于輸入窗口中的ROI數據量，圖中3個數據在ROI中，其余6 個在RONI 中的預定義的閾值用于確定輸出層。當數據值為0、1 或2 時，將其輸出為ROI 區域，超過2的區域作為RONI區域輸出；在圖5（b）中，當閾值為0 時，表示當內核窗口至少包含一個ROI 數據，輸出為投資回報率。圖5（b）顯示了該條件何時為TH0，與ROI 邊界相鄰的數據變為ROI 數據，因此卷積層輸出的ROI 大小為大于輸入的ROI；圖5（c）顯示了條件是TH3時，閾值為3，則ROI不會增加。一旦輸出了ROI區域，避免了在RONI 區域生成數據的操作，在成功檢出目標的同時可以減少計算量，不會對系統計算負載造成影響。每一層只處理ROI 數據生成的操作，并將結果傳遞給下一層。

圖5 ROI的示意

一些說明：根據視覺伺服系統的特點，在比較了常用的卷積模型后可以發現，VGG 網絡在眾多的研究中都有出色的ROI 提取效果，在Image-Net 圖像分類工作的Top-5 的錯誤率穩定在7.1%，比Google-Net、Res-Net 等形式的卷積模型在特征提取中的精度雖無明顯優勢[13-14]，但在多個網絡中表現卻更穩定[15]，這對視覺伺服系統的魯棒性優化很重要，也是本文選取VGG-16 模型作為編碼器進行輸入圖像提取的原因。

有關本文檢測模型的效果將在實驗部分，視覺伺服系統在不同約束條件下目標圖像識別情況的對比中給出。

4 實驗驗證及結果分析

本文主要結合優化YOLO 圖像快速檢測與ROI Pooling候選框算法高檢測精度的特點，針對在工業環境下常見的約束條件下，研究目標特征圖像高效的檢測識別算法，并對部分信息缺失情況下目標的識別問題進行測試。

4.1 算法測試實驗系統的建立

如圖6 所示，實驗平臺包括一個七軸協作機器人Franka Panda、相機Realsense SR300 和Basler acA720-520uc（能夠自由設置相機頻率）；上位機操作系統Ubantu 16.04 LTS，配備英特爾I350-T2 V2網卡（需有較高配置，保證數據處理的實時性），開源圖像處理庫OpenCV 4.1，TensorFlow 2.0，LabelImg，Caffe，標注工具Labelme等。

圖6 視覺伺服算法測試實驗平臺

4.2 工業環境下本文圖像處理架構有效性驗證與分析

針對工業環境常見的約束條件，本文設計了復雜背景、強光照、陰暗空間、遮擋、形變等約束項，并在不同的姿態下對目標圖像進行10 000次左右的訓練，圖7所示為部分位置訓練結果。由圖可知，在不同條件下，本文基于YOLO-ROI 的圖像優化識別算法均能有效從非結構化環境中檢測出目標圖像，各約束條件下檢測效率較高，尤其在視覺伺服系統中影響大的遮擋和反光情況下也有理想的識別效果。在識別目標后進行系列增強、銳化等步驟。

圖7 不同條件下圖像訓練后識別情況

在實際工業環境中，目標圖像的位置和姿態不可能完全匹配ROI 池的目標特征，對于非訓練樣本空間的目標圖像的有效識別更有實際意義。如表1 所示，分別改變上述5 種約束條件，并在每種條件下進行10 000 次左右不同姿態的目標識別，并對非訓練樣本空間目標圖像進行識別率測試，其識別效率如表1所示。

在表1 中，反光和陰影條件的不同可以分別通過改變相機幀率進行數據設置，背景改變通過增加和減少干擾項數量實現（不對目標進行遮擋），遮擋情況中ROI訓練數據最大遮擋面積占總面積為50%，目標形變項以未發生形變目標圖像為基準進行改變，在不易量化的情況下以實驗人員經驗為參考。由表可知，除復雜背景一項外，在稍微增加環境約束量的情況下，系統有較高的概率正確識別目標，只有在目標受遮擋的情況下識別效率較差；而當增加環境約束權重，目標識別率則出現嚴重下降，但仍然可以在一定程度上識別圖像，顯示了本文算法良好的預測能力和對環境的魯棒性，可以有效提高視覺伺服系統環境適應性。

表1 非訓練樣本空間目標圖像識別率

5 結束語

本文主要研究在視覺伺服過程中圖像處理階段如何克服系統魯棒性因素帶來的影響，包括有效實現工業環境約束條件下（如光照、陰影、遮擋等情況）對目標特征圖像的識別和具有較強魯棒性和精度的目標模型匹配算法。在分析工業環境中所面臨的主要約束任務后，提出了以YOLO 算法為基礎的復雜工業環境目標檢測算法，利用端到端的規劃思路，將物體檢測轉換為單一的回歸問題。該方法避免了基于R-CNN 方法對每個模塊都單獨訓練，通過多個步驟來完成對目標物體檢測的必要過程，融合定位與分類任務后同時進行，在完成對圖片的單次掃描后利用CNN 網絡進行特征提取和定位，提高目標檢測的實時性，降低大規模計算帶來的影響，此外也能在一定程度上克服動態約束因素的干擾。