基于視覺的六自由度機器人搬運過程監控系統研究

李 柯，祁宇明，周旺發，楊璐璐

（1.天津職業技術師范大學機器人及智能裝備研究所，天津300222；2.天津博諾智創機器人技術有限公司，天津300222；3.天津科技大學電子信息與自動化學院，天津300222）

隨著“中國制造2025”及人工智能的實施和推廣，以機器視覺技術為基礎的工程檢測、測量、監控逐漸代替人工操作[1]，成為智能監控系統的重要發展方向之一[2]。早期國內設備主要依靠進口，但隨著視覺技術的發展，國內視覺應用也越來越廣泛。

在機器人搬運過程中，會因機器人故障或者吸盤故障導致吸取的物體嚴重偏離程序設計的預定軌跡，過大的偏離會產生巨大的影響，例如導致物體在搬運過程中掉落，或者無法放置到預設安全位置導致不必要的人身與財產損失，給整個搬運工程帶來了一定的不安全因素。本文以ABB IRB120六自由度機器人搬運藍色塑料物塊的過程為研究對象，采用固定攝像頭監控整個搬運過程，通過攝像頭采集圖像提出了基于視覺技術的六自由度機器人搬運過程監控方法。在一定程度上提高了搬運過程的可靠性和安全性。

1　搬運過程監控系統設計

IRB120是ABB制造的最小的機器人，廣泛應用于電子、食品飲料等領域，其結構設計緊湊，所占用的面積小，是物料搬運和裝配應用的理想選擇。機器人搬運過程在如圖1所示的實驗臺進行，ABB IRB120機器人移動至A位置物塊上方后，真空吸盤開啟，吸盤吸附物塊沿著圖中線條A-B-C-D的順序，機器人移動至位置D后，真空吸盤關閉，將物塊放置在左邊的平臺上，完成物塊的搬運過程。

圖1　機器人搬運過程

基于視覺的六自由度機器人搬運過程監控系統以視覺識別、追蹤搬運過程中的物塊為對象，監控并診斷搬運路線是否符合預設軌跡，當軌跡發生過大偏移時發出報警，整體包括ABB IRB120六自由度機器人、搬運平臺、彩色物塊、羅技攝像頭。系統流程如圖2所示，具體為：采用固定攝像頭采集圖像，利用Camshift算法識別并跟蹤機器人搬運的彩色物塊，計算物塊在圖像中的質心位置，將實際質心運動軌跡與預設的運動軌跡方程對比，計算得到圖像中實際偏離量。通過判定偏離量與設定閾值的大小決定系統的下一步運行：當偏離量小于設定閾值時，系統繼續讀取下一幀圖像，循環執行Camshift算法并計算對比質心位置；當偏離量大于設定閾值時，監控系統將發出提醒，并結束監控。

圖2　系統流程圖

2　攝像頭標定

選用羅技攝像頭C310，攝像頭采用CMOS感光芯片，像素達到500萬，捕獲幅面達到1 280×720.為了計算圖像中興趣目標的質心位置，將三維空間中的點與二維成像平面建立對應關系，需要對攝像頭進行標定。

本文攝像頭使用張正友標定法進行標定，自制棋盤格標定圖紙，每個方格尺寸為25×25[3]。使用羅技攝像頭拍攝10～30張角度不同的標定圖紙圖片，使用Microsoft Visual Studio 2012，基于Opencv2.4.9函數庫編寫標定程序，實現攝像頭標定。圖3為使用羅技攝像頭拍攝的幾張標定圖紙圖片及對應的角點提取結果。

圖3　羅技攝像頭拍攝的幾張標定圖紙圖片及對應的角點提取結果

最終得到羅技攝像頭內參數矩陣[4]為：

3　Camshift算法

Camshift算法是以顏色為目標特征的跟蹤算法，全稱為連續自適應均值漂移算法[5]。該算法是Meanshift算法的延伸計算，在獲得的多幀圖像中選取興趣目標的顏色，通過顏色的概率分布實現對興趣目標的追蹤[6]。算法的實現主要由以下步驟：

（1）反向投影

由于羅技攝像頭采集到圖像是以RGB色彩空間表示，所以需要將RGB色彩空間轉換成為HSV色彩空間在采集的圖像中選中興趣目標，并在HSV色彩空間中提取H分量，形成顏色直方圖，在顏色直方圖中確定像素概率分布，得到目標顏色概率分布圖。

（2）確定目標質心

計算圖像中的零階矩M00和水平、垂直方向上的一階矩M10、M01得到搜索區域的質心，并實時調整搜索區域大小，將區域中心移動到質心位置。計算區域中心與質心之間誤差是否滿足設定閾值，不符合設定值則重新計算并調整，直到滿足閾值條件或者達到循環迭代上限。

該算法具有計算速度快，實時效果好，準確度高等特點，并且對于興趣目標的形變和旋轉不敏感。因此在以顏色為特征的目標跟蹤算法中具有很高的穩定性，在背景顏色不是過于復雜的環境下具有很理想的跟蹤效果。

4　預設運動軌跡與偏差計算

首先，按照預設的運動軌跡，操縱ABB機器人運動，采用羅技攝像頭采集運動過程圖像，運行Camshift算法程序識別藍色物塊，計算物塊質心位置并將質心位置輸出，得到整個運動過程質心位置坐標。采用基于最小二乘法的線性函數y=k·x+b進行擬合，如圖4得出AB、BC、CD段方程。

圖4　運動軌跡線性擬合

AB段：v=7.909 9u-5 191.5

BC段：v=0.004 8u-414.3

CD段：v=-13.312u-3 960.4

因此在機器人搬運過程監控中，可以通過計算攝像頭識別的物塊質心位置與各個搬運階段的運動軌跡的距離得到物塊的偏離距離，即

其中，u、v為質心在圖像中的像素坐標，k為各階段方程的斜率，b為各階段方程的截距。

由于以上求出的物塊質心與預設運動軌跡的偏離距離是以像素為坐標，無法體現出偏離距離在圖像中的真實物理位置，因此，為了更加直觀的記錄偏離量的大小可以建立像素坐標與圖像平面坐標之間的轉化關系：

5　實驗驗證

在LabVIEW下編寫監控系統界面，開啟攝像頭，操縱機器人抓取物塊。在機器人完成如圖1中AB段搬運軌跡后，繼續將物塊向上提升，模擬機器人發生搬運路線遠離預設軌跡，仿真搬運故障，驗證系統監控效果，得到圖5所示。

圖5　實驗效果圖

由圖5可以看出在正常搬運過程下，系統實時計算物塊質心與預設軌跡位置，當完成AB段搬運，物塊超出預設軌跡后，系統彈出窗口報警提示。系統整體具有較好的實時性和準確性，監控效果良好。

6　結束語

本文利用基于顏色為特征的Camshift跟蹤算法，實時計算搬運過程中物塊的質心位置，利用最小二乘法擬合預設運動軌跡，得到預設的運動軌跡方程，通過對比質心位置與預設運動軌跡方程偏離量提出了一種基于視覺的六自由度搬運機器人過程監控的方法，為六自由度機器人搬運過程監控應用于實際工業生產環境提供了實驗依據。

參考文獻：

[1]周金麗.口服液中可見異物的機器視覺檢測系統研究[D].長沙：湖南大學，2012.

[2]趙慶磊.關于智能監控系統的探討[J].江西建材，2014（19）：269-269.

[3]劉 洋.基于圓形靶標建面的立體視覺測量方法研究[D].哈爾濱：哈爾濱工業大學，2016.

[4]沈義平.多機動模式下移動機器人目標跟蹤控制研究[D].哈爾濱：哈爾濱工程大學，2013.

[5]邱泰生.基于均值漂移的視頻目標跟蹤算法的研究[D].廣州：中山大學，2010.

[6]楊 杰，穆平安，戴曙光.一種改進Camshift算法的研究[J].計算機應用與軟件，2014，31（2）：167-170.