抗目標丟失的視覺機器人跟蹤算法

張子昂，楊 旗，馬千千，趙偉卓

(沈陽理工大學，機械工程學院，遼寧 沈陽 110159)

0 引言

隨著機器人應用技術及計算機視覺技術的蓬勃發展，搭載視覺系統的機器人成為了國內外學者研究的熱點。視覺機器人的應用中，往往需要機器人具備自主識別及跟蹤目標的能力。

在機器人跟蹤目標的過程中，目標往往會因為障礙物的遮擋或者目標運動到鏡頭外，導致跟蹤目標消失在機器人視野內，機器人無法獲得目標信息，從而無法準確跟蹤，大大影響了跟蹤性能。因此視覺跟蹤機器人需要可以一定程度上抗目標丟失的跟蹤性能。

均值漂移（Meanshift）算法[1]是目標跟蹤中常用的一種基于核密度的無參概率密度估計方法，選取目標顏色作為跟蹤特征時即利用物體顏色HSV值的特征，結合均值漂移（Meanshift）算法，實現對目標物體的自動識別與跟蹤功能。該算法相比以往識別跟蹤算法，計算速度更快，對目標物分辨率與輪廓完整程度要求小，精確度較高[2]。

但是當目標消失時，機械臂末端控制器因無法收到通過對圖像處理后獲得的正確的目標位置信息，導致跟蹤失敗，穩定性及魯棒性很差。本算法中，當目標為未丟失狀態時，利用Meanshift算法跟蹤目標，控制機器人運動；若判斷目標為丟失狀態，則對實時保存的圖像信息重檢測，處理與分析，并預測機器人的運動軌跡，獲得控制參數控制機器人運動找回目標，機器人重新偵測到目標位置信息，可以繼續跟蹤目標。

1 抗目標丟失的視覺機器人跟蹤算法

1.1 算法框架

在機械臂末端對目標的跟蹤過程中，目標的顏色信息一般來說不會發生很大的變化，有較強的抗形變能力，只要其顏色特征不變就能夠對目標進行跟蹤。本算法需要預先給出目標的顏色特征信息，根據特定的顏色信息對目標丟失前的 n幀圖像（根據相機FPS以及目標深度確定n的值）進行圖像閾值分割及形態學處理。該方法較為簡潔，不會對視覺跟蹤系統造成負擔，能夠有效提高跟蹤效率。

該算法由三部分構成，包括基于顏色信息的圖像分割、判斷目標丟失類別及機器人運動軌跡規劃。

（1）基于顏色特征的圖像分割

根據目標顏色特征信息，通過建立HSV顏色空間得到分割閾值，對重檢的每幀圖像進行分割、二值化、高斯濾波及形態學處理。

（2）判斷目標丟失類別

對于視覺跟蹤機器人來說，目標丟失有兩種狀態：一是目標被障礙物完全遮擋；二是目標移動到鏡頭外。

（3）機器人運動軌跡規劃

計算出處理后的每一幀圖像的分割區域的像素中心坐標(x, y)，將所有的坐標點繪制在圖像坐標系下，使用一元線性回歸分析方法對所有的坐標點擬合，得到一元線性回歸模型，從模型中獲取相關系數ρ、回歸系數r。相關系數ρ表征了變量間的線性相關程度即擬合程度的高低。回歸系數r表征了擬合曲線中像素坐標 x與 y的線性關系，通過手眼標定可獲得像素坐標系與世界坐標系的關系，回歸系數r相應的可以作為控制參數控制機器人的運動，重新獲取目標位置信息進行跟蹤。

1.2 基于HSV顏色空間的圖像分割

如圖1所示，HSV顏色空間模型是倒錐形模型：

圖1 HSV顏色空間模型Fig.1 HSV color space model

該顏色空間模型是按色調、飽和度、明度來描述的。H代表色調、S代表飽和度、V代表明度。在圓錐上，角度代表色調H，飽和度S表示為點到中心豎線的距離，而明度值V用中心豎線表示[3]。

RGB顏色空間由一個3維立方體表示，RGB模型簡化了計算機圖形系統的設計，但它并不適合所有紅、綠、藍顏色分量高度相關的應用程序，使得執行某些圖像處理算法變得較為困難。許多處理技術（例如直方圖均衡化）僅適用于圖像的強度分量。HSV圖像更適用于特征提取和分類，有助于需要加快速度的實時應用[4]。

本研究通過將每幀RGB圖像轉換為HSV顏色空間[4]來進行預處理。為了獲得準確的結果，本研究中的原始圖像首先進行圖像預處理，利用歸一化來生成準確的性能，然后把讀取的每幀圖像從RGB顏色空間轉到HSV顏色空間。

首先，將RGB顏色空間的三個分量(r, g, b)歸一化：

HSV是一種直觀的顏色模型。HSV在用于指定顏色分割時，通過獲取當前工作環境下的該顏色的H、S、V值，將閾值區間T設置為H±15、S±15、V±15分割效果較好，區間過大容易在分割的圖像中產生噪點，區間過小容易因光照，陰影，色塊顏色不均等因素丟失圖像信息。

對分割后的每幀圖像進行二值化操作，圖像的二值化有利于圖像的進一步處理，使圖像變得簡單，而且數據量減小，能凸顯出感興趣的目標區域[6]。

將每幀圖像上的滿足T的所有像素點的灰度值設置為255，其余點的灰度值設置為0，能夠直觀的觀測到分割效果。如圖2所示，截取色塊運動過程中的三幀圖像和分割效果。

圖2 基于HSV的閾值分割Fig.2 threshold segmentation based on HSV

可以看出分割效果較為理想，每幀圖像有明顯的黑白區域，由于光照，背景，色塊顏色不均等因素影響，會產生些許噪聲影響色塊的分割效果，進而影響對色塊位置的檢測準確度。

采用高斯濾波對每幀圖像去噪，由于去噪過程可能會存在色塊輪廓上的毛刺，所以再采用形態學操作，對圖像進行開運算：能夠去除孤立的小點、毛刺和小橋（即連通兩塊區域的小點），消除小物體、平滑較大物體的邊界，同時并不明顯改變其面積[7]；再采用閉運算：閉運算可以填平圖像中的孔洞，而圖像的形狀和位置能夠保持不變，處理結果如圖3所示。

圖3 高斯濾波及形態學處理Fig.3 gaussian filtering and morphological processing

1.3 目標丟失類別判斷

顏色直方圖模型反映的是圖像中各種顏色的分布，即各種顏色出現的概率，通過評估指定顏色特征在顏色直方圖模型中的比例，確定目前跟蹤器的跟蹤狀態即目標是否丟失。

對于視覺系統來說，目標丟失有兩種狀態，一是目標被障礙物完全遮擋；二是目標移動到鏡頭外。

遍歷處理后的二值圖像，獲取每一幀圖像的分割區域中心像素坐標，在讀取的視頻序列色塊目標丟失時，圖像中沒有目標存在，此時該圖像計算出的中心坐標是(0,0)，為了防止影響擬合效果，將這些點舍棄。計算出所有非零點的x，y坐標平均值；最小值MIN( x)，MIN( y)。

目標被障礙物完全遮擋判斷條件:

式中M，N表示色塊中心在像素坐標系下的像素偏移量閾值，滿足此條件可認為目標被遮擋，機器人將保持位置不變，等待目標重新回到視野；不滿足此條件可認為目標運動出鏡頭，機器人需要預測色塊軌跡來跟蹤目標。

1.4 線性回歸分析預測目標軌跡

如圖 4所示像素坐標系[7]下，O0代表像素坐標系下的零點，橫坐標X和縱坐標Y分別是圖像所在的行和列，X，Y最大值根據圖像分辨率決定，圖像像素寬度為X，像素高度為Y，O1為圖像中任意一點的像素坐標。

圖4 像素坐標系Fig. 4 pixel coordinate system

記錄每幀圖像處理后的像素中心坐標(x,y)，將所有坐標記錄在同一像素坐標系下，繪出散點圖，使用一元線性回歸模型對所有的散點進行擬合，一元線性回歸分析的是建立因變量y與自變量x之間關系的線性回歸方程，利用這個方程，來分析因變量和自變量之間的相關性以及回歸系數等[9]。

ρ是一個可以表征x和y之間線性關系緊密程度的量。計算方法為：

回歸系數r 在回歸方程中表示自變量x對因變量y影響大小的參數。回歸系數越大表示x對y影響越大，正回歸系數表示y隨 x增大而增大，負回歸系數表示y隨x增大而減小。

機器人的運動控制使用增量運動的方式，即預先設定機器人在像素坐標系X軸方向的跟蹤步長 S(mm)，機器人的運動方向則通過線性模型上的x，y坐標的變化來判斷。

2 實驗結果與分析

如圖5所示實驗環境，ABB機器人[10]末端執行器前端與單目相機組成 Eye-in-Hand（眼在手上）機器視覺系統進行目標跟蹤實驗。單目相機分辨率為640×480，FPS=30。

圖5 實驗環境Fig.5 experimental environment

如圖6所示色塊在不同方向消失在相機視野時，提取丟失前實時保存的視頻序列中的60幀圖像中各個圖像分割區域的像素中心點坐標在像素坐標系下繪制的散點圖及對所有坐標點的一元線性擬合曲線，圖中X軸為像素寬度（0～640），Y軸為像素高度（0～480）。圖 6(1)(3)(4)(5)(6)為目標移動到鏡頭外時所繪曲線，圖 6(2)為目標完全被障礙物遮擋時所繪曲線，可以看出能夠清晰準確的獲取目標出鏡頭前的各處位置即各個散點坐標，穩定性較好，繪制的線性回歸曲線擬合程度較高，可以準確反映目標的移動軌跡。

圖6 像素坐標點擬合曲線Fig.6 coordinate point fitting curve

從表1數據可以看出，跟蹤系統可以有效地分辨出目標丟失類別，圖 6(2)為目標被遮擋，其余為目標運動出鏡頭視野。相關系數的值大部分在 0.9左右，表明對各個坐標點的擬合程度較好，模型可有效反映出目標的運動軌跡，回歸系數r正值表示y隨x增大而增大，負值表示y隨x增大而減小，符合機器人運動軌跡，可作為機器人的控制參數控制機器人的運動方向對丟失的目標進行跟蹤。目標被遮擋情況下機器人成功保持位置不變，等待目標重新回到視野；目標移動出鏡頭時機器人均正確規劃路徑，按照預設步長 S成功找回目標位置信息，并可以繼續跟蹤。

表1 相關系數與回歸系數統計Tab.1 statistics of correlation coefficient and regression coefficient

3 結論

針對傳統的視覺跟蹤機器人不具備目標丟失判斷及跟蹤能力，本文在均值漂移（Meanshift）算法的基礎上，判別目標是否丟失。通過對實時保存的目標顏色信息并重檢測，確定目標丟失的類別，并在目標消失在鏡頭視野內時規劃機器人的路徑，重新找回目標。本文算法在ABB機器人上搭載視覺跟蹤系統進行實驗驗證，實驗結果表明本文算法可以有效判斷目標丟失狀態以及丟失類別。在視覺跟蹤機器人實際應用中可以更加靈活的對目標實施跟蹤任務，有效解決了視覺機器人在視野內丟失目標后的跟蹤失敗問題，提升了跟蹤性能以及跟蹤器的穩定性和可靠性。